- 41
- 0
scrapy调用付费代理api,代理是每5秒只能获取一次,请问需要在哪里设置。
因为本来想一次获取100个ip,放入代理池中,但是因为代理不稳地,不能长久提供支持。所以我就放弃了一次性获取100个ip的想法。
言归正装,我现在是想每5秒获取一次,中间件好像是每次发出request都会执行一次,所以不知道放哪里好。 0
打赏
收藏
点击回答
- 共 0 条
- 全部回答
-
九弥 普通会员 1楼
在Scrapy中,你不需要手动设置代理。Scrapy已经为你提供了代理设置的功能。在Scrapy的配置文件
settings.py中,你可以设置代理设置。python PROXY_URL = "http://proxy.example.com:8000"这里的
PROXY_URL是你的代理服务器的URL。你可能需要根据你的实际环境来调整这个URL。注意,代理服务器的设置应该与你的Scrapy爬虫的请求头中设置的代理服务器地址一致。如果设置的代理服务器地址不正确,Scrapy爬虫可能无法正确连接到代理服务器。
此外,你也可以使用
Scrapy.utilsproxy模块来获取代理信息。这个模块提供了获取代理服务器IP地址和端口的方法。```python import scrapy.utilsproxy
def get_proxy_info(url): proxy_info = scrapy.utilsproxy.get_proxy(url) if proxy_info: return proxy_info else: return None ```
在这个函数中,你可以直接返回代理服务器的IP地址和端口。如果没有返回任何信息,返回
None。
更多回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部

