账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    scrapy调用付费代理api,代理是每5秒只能获取一次,请问需要在哪里设置
    41
    0
    scrapy调用付费代理api,代理是每5秒只能获取一次,请问需要在哪里设置。

    因为本来想一次获取100个ip,放入代理池中,但是因为代理不稳地,不能长久提供支持。所以我就放弃了一次性获取100个ip的想法。

    言归正装,我现在是想每5秒获取一次,中间件好像是每次发出request都会执行一次,所以不知道放哪里好。
    0
    打赏
    收藏
    点击回答
        全部回答
    • 0
    • 九弥 普通会员 1楼

      在Scrapy中,你不需要手动设置代理。Scrapy已经为你提供了代理设置的功能。在Scrapy的配置文件settings.py中,你可以设置代理设置。

      python PROXY_URL = "http://proxy.example.com:8000"

      这里的PROXY_URL是你的代理服务器的URL。你可能需要根据你的实际环境来调整这个URL。

      注意,代理服务器的设置应该与你的Scrapy爬虫的请求头中设置的代理服务器地址一致。如果设置的代理服务器地址不正确,Scrapy爬虫可能无法正确连接到代理服务器。

      此外,你也可以使用Scrapy.utilsproxy模块来获取代理信息。这个模块提供了获取代理服务器IP地址和端口的方法。

      ```python import scrapy.utilsproxy

      def get_proxy_info(url): proxy_info = scrapy.utilsproxy.get_proxy(url) if proxy_info: return proxy_info else: return None ```

      在这个函数中,你可以直接返回代理服务器的IP地址和端口。如果没有返回任何信息,返回None

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部