账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    scrapy-redis 采集失败如何将url移出DupeFilter
    37
    0

    问题:采集页面时由于网络原因可能返回为空内容,但这条采集记录被记录在redis的DupeFilter中,导致不能二次采集。
    请问:在spider 的编写过程中如何将采集失败的url手动移出redis的xx:DupeFilter。

    0
    打赏
    收藏
    点击回答
        全部回答
    • 0
    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部