- 23
- 0
用requests.post就可以有返回值,用formrequest就是400错误。
import scrapy
import requests
import json
class testform(scrapy.Spider):
name = 'testform'
def start_requests(self):
url='https://www.jiqizhixin.com/graphql'
headers={
'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Content-Length': '320',
# 'Content-Type': "application/x-www-form-urlencoded",
'Content-Type': "application/json",
'Host': 'www.jiqizhixin.com',
'Origin': 'https://www.jiqizhixin.com',
'Referer': 'https://www.jiqizhixin.com/categories/zi-xun',
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'X-CSRF-Token': 'DfeIz+CdfLWv86lTgKmBu5xDl+hpbIxoE8wmxWIuhzECfwvWfO62+uO2dtqXaKh4nzSM4xRh3/TsTKrEbw73/Q=='
}
payload={
'operationName': 'Search',
'query': "query Search($cursor: String, $count: Int, $keywords: String!, $filter_tags: [String]) {\n elastic_search(first: $count, after: $cursor, keywords: $keywords, filter_tags: $filter_tags) {\n edges {\n node {\n id\n title\n tag_list\n content\n author_name\n categories\n cover_image_url\n published_at\n friendly_path\n __typename\n }\n __typename\n }\n total_count\n pageInfo {\n endCursor\n hasNextPage\n __typename\n }\n __typename\n }\n}\n",
'variables': {'count': 50, 'keywords':'NLP', 'filter_tags': []},
}
# req=requests.post(url,json=payload,headers=headers)
req = requests.post(url, data=json.dumps(payload), headers=headers)
yield scrapy.FormRequest(url,formdata=payload,headers=headers)
def parse(self, response):
print(response)
原网页是https://www.jiqizhixin.com/,右上角搜索按钮,在搜索框输入NLP,经过chrome分析发现向https://www.jiqizhixin.com/gr... 发送post请求
0
打赏
收藏
点击回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部

