- 31
- 0
代码如下。start_urls是可以爬取到信息的,可是无法匹配到其他的链接
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}
start_urls=[
'https://chaoshi.detail.tmall.com/item.htm?id=576632421624&tbpm=3'
]
rules=(
Rule(LinkExtractor(allow=(r'https://chaoshi.detail.tmall.com/item.htm\?id=\d+&tbpm=3')),process_request='request_tagPage',callback='parse_item',follow=True),
)
def request_tagPage(self, request):
newRequest = request.replace(headers=self.headers)
return newRequest
def parse_item(self,response):
print(response.url) 0
打赏
收藏
点击回答
- 共 0 条
- 全部回答
-
不许吃香菜 普通会员 1楼在Scrapy中,如果你设置了LinkExtractor并且发现只爬取了start_urls而没有进一步爬取提取出的链接,可能的原因有以下几点: 1. 没有正确关联LinkExtractor和spider的解析方法。你需要在spider的rules中定义LinkExtractor,并关联一个回调函数处理解析内容及提取新的链接。 例如: ```python class MySpider(CrawlSpider): name = 'myspider' start_urls = ['http://example.com'] rules = ( Rule(LinkExtractor(allow=()), callback='parse_item', follow=True), ) def parse_item(self, response): # 在这里处理页面内容并提取新链接 pass ``` 2. LinkExtractor配置不正确,比如allow、deny、restrict_xpaths等规则设置得过于严格,导致无法匹配到任何链接。 3. `follow` 参数设为False,这样LinkExtractor将只提取链接但不会自动跟进。 确保你的代码逻辑正确无误,同时检查LinkExtractor的配置是否符合你的抓取需求。
更多回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部
