- 28
- 0
爬虫文学网站,获取了章节数, 点击量, 章节字数, 想写入一个csv文件,可是爬出来的内容和我设的colum 对应不上, 章节字数出现在章节数和点击量前面。我想让它出现在wordcount这个colum下面。
代码如下:
import requests
import re
import json
import csv
from bs4 import BeautifulSoup as bs
start_url = "http://www.jjwxc.net/onebook.php?novelid=3601"
res = requests.get(start_url)
res.encoding = "gb2312"
soup = bs(res.text, "html.parser")
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36"}
url = "http://s8-static.jjwxc.net/getnovelclick.php?novelid=3601&jsonpcall\
back=novelclick"
web_data = requests.get(url, headers=headers)
web_data.encoding = "gzip"
result = web_data.content.decode()
string = re.findall(r'({.*?})', result)[0]
tmp_dict = json.loads(string)
wordcount = soup.find_all("td", {"itemprop": "wordCount"})
with open("JJWXC Scraping.csv","w") as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['Chapters','Views', 'Wordcount'])
for w in wordcount:
writer.writerow(w)
for k in tmp_dict.items():
writer.writerow(k)
打印出来在csv file 里面显示这样:
Chapters,Views,Wordcount
500
2592
819
1720
2862
4862
1988
1559
1069
2570
1812
2441
3549
2841
6222
1485
5002
2330
1795
3620
3969
5120
4943
4892
4818
6707
5014
6140
2553
4587
1,82799
2,73460
3,52374
4,49213
5,46872
6,43722
7,36363
8,36089
9,35938
10,35594
11,32933
12,34381
13,33675
14,31390
15,33825
16,32669
17,30706
18,32187
19,29489
20,31241
21,30233
22,28571
23,30078
24,28894
25,29471
26,29500
27,29411
28,29703
29,31449
30,53456
wordcount出现在所有文章数和点击量前面了。
- 共 0 条
- 全部回答
-
想起曾經的思念 普通会员 1楼
在Python中,我们可以使用内置的csv模块来将爬取的数据写入csv文件。以下是一个简单的示例:
```python import csv
创建一个csv文件
with open('data.csv', 'w', newline='') as file: writer = csv.writer(file)
# 写入数据 writer.writerow(['name', 'age', 'city']) # 写入更多数据 for item in爬取的数据: writer.writerow([item['name'], item['age'], item['city']])```
在这个示例中,我们首先创建了一个名为'data.csv'的文件,并打开了它。然后,我们创建了一个csv.writer对象,它用于写入csv文件。
我们使用writerow方法将数据写入csv文件的每一行。'writerow'方法的第一个参数是行号,第二个参数是每行的值,第三个参数是数据的格式。
最后,我们使用一个for循环遍历爬取的数据,将每一行的数据写入csv文件的每一行。
注意:在实际使用中,你可能需要根据爬取的数据和csv文件的结构进行适当的修改。
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部
