账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    scrapy为什么每次执行一条抓取的时候都很慢
    87
    0
    2021-11-17 17:14:27 [scrapy.core.engine] INFO: Spider opened2021-11-17 17:14:27 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)2021-11-17 17:14:27 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:60232021-11-17 17:14:48 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.zz.com/az/azgame/page1>; (referer: None)使用python的scrapy框架,每次执行只抓一条数据的时候,信息到这里《INFO: Telnet console》都会卡住,如上信息所示,停顿了有20多秒之后,才会有响应,使用java,php 单独请求的时候,都没有这么慢DOWNLOAD_DELAY 参数都已经设置为0了,还是一样
    0
    打赏
    收藏
    点击回答
        全部回答
    • 0
    • Bemisfits 普通会员 1楼

      Scrapy 是一个基于 Python 的 Web 搜索爬虫框架,它的速度主要取决于以下几个因素:

      1. 处理请求的时间:Scrapy 的处理请求时间取决于它所使用的请求引擎。Scrapy 提供了许多内置的请求引擎,如 Requests、Scrapy-RESTful 和 Scrapy-Crawler。这些引擎在处理请求时可能会消耗大量的时间,尤其是对于大型网站或者多线程爬虫。

      2. 数据处理的时间:Scrapy 对爬取的数据进行解析和清洗的时间也是一个重要的因素。如果爬取的数据量很大,那么处理这些数据的时间也会消耗大量的时间。

      3. 爬虫的性能:Scrapy 的爬虫性能取决于它的配置。如果配置不合理,比如设置过多的请求限制、使用了性能较低的解析器等,那么爬虫的性能可能会受到影响。

      4. 爬虫的扩展性:Scrapy 的爬虫可以很容易地进行扩展,比如添加新的爬取策略、增加新的请求引擎等。如果爬虫的扩展性不好,那么爬取的效率可能会受到影响。

      如果你的 Scrapy 爬虫在执行一条抓取的时候都很慢,可能需要检查一下以下几个方面:

      1. 爬虫的配置:查看 Scrapy 的配置,看看是否有设置不合理的地方。

      2. 请求引擎:检查请求引擎的性能,看看是否有使用了性能较低的引擎。

      3. 数据处理:检查数据处理的效率,看看是否有进行大量的数据处理。

      4. 爬虫的性能:检查爬虫的性能,看看是否有进行大量的爬取。

      5. 爬虫的扩展性:检查爬虫的扩展性,看看是否有添加新的爬取策略。

      6. 爬虫的代码:查看 Scrapy 的代码,看看是否有存在性能问题的地方。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部