- 25
- 0
我的代理中间件:settings已设置为544,默认添加为None
class IpProxyMiddleware(object):
def __init__(self, ip=''):
self.ip = ip
def process_request(self, request, spider):
self.ip = requests.get('http://localhost:5555/random').text
logging.info('当前使用代理IP为:' + self.ip)
request.meta['proxy'] = 'http://' + self.ip
- 疑惑:每次使用Request指定一个url和回调函数,都会执行process_request方法吗?然后调用一次API获取本地的代理Ip?doc是这样说的
当每个request通过下载中间件时,该方法被调用
- 问题:如何设置回调的解析函数中,当解析非200返回码,重新切换代理IP?使用如下代码是否有问题?我使用了,还是无效。不知从何检查。
if response.status != 200:
logging.error('--------IP has be baned!Retry again~ --------')
yield Request(url=response.url,meta={'change_proxy': True}, callback=self.followees_parse) 0
打赏
收藏
点击回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部
