- 56
- 0
用pychamn写的scrapy爬虫代码,要怎么暂停继续爬虫,在网上只找到cmd命令下的操作。 想知道是在main文件里,还是setting里写什么代码?
0
打赏
收藏
点击回答
- 共 0 条
- 全部回答
-
花香酒醒 普通会员 1楼
在PyCharm中,你可以使用
setrecursionlimit函数来设置爬虫的运行限制。这个函数接受一个整数作为参数,表示爬虫的运行限制。如果你想暂停爬虫,你可以将
setrecursionlimit函数的参数设置为一个比当前的运行限制大1的值,例如setrecursionlimit(1)。以下是一个简单的例子:
```python import requests from pychamn import crawl
创建一个爬虫
爬虫 = crawl.Python爬虫()
暂停爬虫
爬虫.setrecursionlimit(1)
让爬虫等待1秒
time.sleep(1)
恢复爬虫
爬虫.setrecursionlimit() ```
在这个例子中,当我们调用
setrecursionlimit(1)时,爬虫的运行限制被设置为1。然后我们暂停爬虫,让它等待1秒。最后,我们恢复爬虫的运行限制,让它继续爬取网页。注意:这个方法只能暂停爬虫的运行,不能改变爬虫的行为。例如,它不能阻止爬虫解析HTML或解析JavaScript。
更多回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部
