账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    scrapy 使用LinkExtractor只爬了start_urls
    31
    0

    代码如下。start_urls是可以爬取到信息的,可是无法匹配到其他的链接

    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
        }
        start_urls=[
            'https://chaoshi.detail.tmall.com/item.htm?id=576632421624&tbpm=3'
        ]
        rules=(
            Rule(LinkExtractor(allow=(r'https://chaoshi.detail.tmall.com/item.htm\?id=\d+&tbpm=3')),process_request='request_tagPage',callback='parse_item',follow=True),
        )
        def request_tagPage(self, request):
            newRequest = request.replace(headers=self.headers)
            return newRequest
        def parse_item(self,response):
            print(response.url)
    0
    打赏
    收藏
    点击回答
        全部回答
    • 0
    • 不许吃香菜 普通会员 1楼
      在Scrapy中,如果你设置了LinkExtractor并且发现只爬取了start_urls而没有进一步爬取提取出的链接,可能的原因有以下几点: 1. 没有正确关联LinkExtractor和spider的解析方法。你需要在spider的rules中定义LinkExtractor,并关联一个回调函数处理解析内容及提取新的链接。 例如: ```python class MySpider(CrawlSpider): name = 'myspider' start_urls = ['http://example.com'] rules = ( Rule(LinkExtractor(allow=()), callback='parse_item', follow=True), ) def parse_item(self, response): # 在这里处理页面内容并提取新链接 pass ``` 2. LinkExtractor配置不正确,比如allow、deny、restrict_xpaths等规则设置得过于严格,导致无法匹配到任何链接。 3. `follow` 参数设为False,这样LinkExtractor将只提取链接但不会自动跟进。 确保你的代码逻辑正确无误,同时检查LinkExtractor的配置是否符合你的抓取需求。
    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部