- 87
- 0
2021-11-17 17:14:27 [scrapy.core.engine] INFO: Spider opened2021-11-17 17:14:27 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)2021-11-17 17:14:27 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:60232021-11-17 17:14:48 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.zz.com/az/azgame/page1> (referer: None)使用python的scrapy框架,每次执行只抓一条数据的时候,信息到这里《INFO: Telnet console》都会卡住,如上信息所示,停顿了有20多秒之后,才会有响应,使用java,php 单独请求的时候,都没有这么慢DOWNLOAD_DELAY 参数都已经设置为0了,还是一样
0
打赏
收藏
点击回答
- 共 0 条
- 全部回答
-
Bemisfits 普通会员 1楼
Scrapy 是一个基于 Python 的 Web 搜索爬虫框架,它的速度主要取决于以下几个因素:
-
处理请求的时间:Scrapy 的处理请求时间取决于它所使用的请求引擎。Scrapy 提供了许多内置的请求引擎,如 Requests、Scrapy-RESTful 和 Scrapy-Crawler。这些引擎在处理请求时可能会消耗大量的时间,尤其是对于大型网站或者多线程爬虫。
-
数据处理的时间:Scrapy 对爬取的数据进行解析和清洗的时间也是一个重要的因素。如果爬取的数据量很大,那么处理这些数据的时间也会消耗大量的时间。
-
爬虫的性能:Scrapy 的爬虫性能取决于它的配置。如果配置不合理,比如设置过多的请求限制、使用了性能较低的解析器等,那么爬虫的性能可能会受到影响。
-
爬虫的扩展性:Scrapy 的爬虫可以很容易地进行扩展,比如添加新的爬取策略、增加新的请求引擎等。如果爬虫的扩展性不好,那么爬取的效率可能会受到影响。
如果你的 Scrapy 爬虫在执行一条抓取的时候都很慢,可能需要检查一下以下几个方面:
-
爬虫的配置:查看 Scrapy 的配置,看看是否有设置不合理的地方。
-
请求引擎:检查请求引擎的性能,看看是否有使用了性能较低的引擎。
-
数据处理:检查数据处理的效率,看看是否有进行大量的数据处理。
-
爬虫的性能:检查爬虫的性能,看看是否有进行大量的爬取。
-
爬虫的扩展性:检查爬虫的扩展性,看看是否有添加新的爬取策略。
-
爬虫的代码:查看 Scrapy 的代码,看看是否有存在性能问题的地方。
-
更多回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部

