账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    scrapy 启动爬虫的时候 爬虫没有定时关掉
    23
    0

    我用crontab 启动一个爬虫,但是爬虫没有在2分钟内关掉
    现在有个方案就是while 死循环内
    2分钟内正常运行完毕就不管,如果运行的时间超过1小时 就把这个spider 关闭,如何操作

    1
    打赏
    收藏
    点击回答
        全部回答
    • 0
    • missyou 普通会员 1楼

      Scrapy 是一个用于爬取网站数据的 Python 爬虫框架。如果你想让爬虫在没有定时关掉的情况下运行,你可以设置 Scrapy 的“保持连接”属性。默认情况下,Scrapy 会定期关闭连接,但你可以通过设置 connection维持时间 参数来改变这一点。

      以下是一个示例:

      ```python import scrapy

      class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://www.example.com'] settings = { 'connection维持时间': 60 # 这将使爬虫保持连接60秒 } def parse(self, response): # 在这里处理爬取的数据 ```

      在这个例子中,Scrapy 会定期(每60秒)断开与 http://www.example.com 的连接,但爬虫将保持连接60秒。你可以根据需要调整这个值。

      注意:connection维持时间 参数可能会导致一些性能问题,因为它可能会在每次请求之间保存连接状态。如果你的爬虫需要频繁地使用这些连接,你可能需要考虑其他方法,例如使用持久化的连接。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部