账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    scrapy 下载管道报301
    31
    0

    7886 2019-01-01 19:21:38 searchwww DEBUG: Crawled (301) <GET http://www.sec.gov/Archives/e...; (referer: None)
    7887 2019-01-01 19:21:38 searchwww WARNING: File (code: 301): Error downloading file from <GET http://www.sec.gov/Archives/e...

    from scrapy.pipelines.files import FilesPipeline
    from scrapy import Request

    class download_pipeline(FilesPipeline):

    def file_path(self, request, response=None, info=None):
        return request.meta.get('filename', '')
    
    def get_media_requests(self, item, info):
        file_url = item['file_url']
        meta = {'filename': item['name']}
        yield Request(url=file_url, meta=meta)
    
    0
    打赏
    收藏
    点击回答
        全部回答
    • 0
    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部