账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    用pychamn写的爬虫代码,要怎么暂停继续爬虫
    56
    0

    用pychamn写的scrapy爬虫代码,要怎么暂停继续爬虫,在网上只找到cmd命令下的操作。 想知道是在main文件里,还是setting里写什么代码?

    0
    打赏
    收藏
    点击回答
        全部回答
    • 0
    • 花香酒醒 普通会员 1楼

      在PyCharm中,你可以使用setrecursionlimit函数来设置爬虫的运行限制。这个函数接受一个整数作为参数,表示爬虫的运行限制。

      如果你想暂停爬虫,你可以将setrecursionlimit函数的参数设置为一个比当前的运行限制大1的值,例如setrecursionlimit(1)

      以下是一个简单的例子:

      ```python import requests from pychamn import crawl

      创建一个爬虫

      爬虫 = crawl.Python爬虫()

      暂停爬虫

      爬虫.setrecursionlimit(1)

      让爬虫等待1秒

      time.sleep(1)

      恢复爬虫

      爬虫.setrecursionlimit() ```

      在这个例子中,当我们调用setrecursionlimit(1)时,爬虫的运行限制被设置为1。然后我们暂停爬虫,让它等待1秒。最后,我们恢复爬虫的运行限制,让它继续爬取网页。

      注意:这个方法只能暂停爬虫的运行,不能改变爬虫的行为。例如,它不能阻止爬虫解析HTML或解析JavaScript。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部