- 23
- 0
我用crontab 启动一个爬虫,但是爬虫没有在2分钟内关掉
现在有个方案就是while 死循环内
2分钟内正常运行完毕就不管,如果运行的时间超过1小时 就把这个spider 关闭,如何操作
1
打赏
收藏
点击回答
- 共 0 条
- 全部回答
-
missyou 普通会员 1楼
Scrapy 是一个用于爬取网站数据的 Python 爬虫框架。如果你想让爬虫在没有定时关掉的情况下运行,你可以设置 Scrapy 的“保持连接”属性。默认情况下,Scrapy 会定期关闭连接,但你可以通过设置
connection维持时间参数来改变这一点。以下是一个示例:
```python import scrapy
class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://www.example.com'] settings = { 'connection维持时间': 60 # 这将使爬虫保持连接60秒 } def parse(self, response): # 在这里处理爬取的数据 ```
在这个例子中,Scrapy 会定期(每60秒)断开与
http://www.example.com的连接,但爬虫将保持连接60秒。你可以根据需要调整这个值。注意:
connection维持时间参数可能会导致一些性能问题,因为它可能会在每次请求之间保存连接状态。如果你的爬虫需要频繁地使用这些连接,你可能需要考虑其他方法,例如使用持久化的连接。
更多回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部
