账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    Python3爬虫数据写入csv
    28
    0

    爬虫文学网站,获取了章节数, 点击量, 章节字数, 想写入一个csv文件,可是爬出来的内容和我设的colum 对应不上, 章节字数出现在章节数和点击量前面。我想让它出现在wordcount这个colum下面。
    代码如下:

    import requests
    import re
    import json
    import csv
    from bs4 import BeautifulSoup as bs
    start_url = "http://www.jjwxc.net/onebook.php?novelid=3601"
    res = requests.get(start_url)
    res.encoding = "gb2312"
    soup = bs(res.text, "html.parser")
    
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 \
        (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36"}
    
    url = "http://s8-static.jjwxc.net/getnovelclick.php?novelid=3601&jsonpcall\
    back=novelclick"
    web_data = requests.get(url, headers=headers)
    web_data.encoding = "gzip"
    result = web_data.content.decode()
    string = re.findall(r'({.*?})', result)[0]
    tmp_dict = json.loads(string)
    wordcount = soup.find_all("td", {"itemprop": "wordCount"})
    with open("JJWXC Scraping.csv","w") as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(['Chapters','Views', 'Wordcount'])
        for w in wordcount:
            writer.writerow(w)
        for k in tmp_dict.items():
            writer.writerow(k)

    打印出来在csv file 里面显示这样:
    Chapters,Views,Wordcount
    500
    2592
    819
    1720
    2862
    4862
    1988
    1559
    1069
    2570
    1812
    2441
    3549
    2841
    6222
    1485
    5002
    2330
    1795
    3620
    3969
    5120
    4943
    4892
    4818
    6707
    5014
    6140
    2553
    4587
    1,82799
    2,73460
    3,52374
    4,49213
    5,46872
    6,43722
    7,36363
    8,36089
    9,35938
    10,35594
    11,32933
    12,34381
    13,33675
    14,31390
    15,33825
    16,32669
    17,30706
    18,32187
    19,29489
    20,31241
    21,30233
    22,28571
    23,30078
    24,28894
    25,29471
    26,29500
    27,29411
    28,29703
    29,31449
    30,53456

    wordcount出现在所有文章数和点击量前面了。

    0
    打赏
    收藏
    点击回答
        全部回答
    • 共 0 条
    • 想起曾經的思念 普通会员 1楼

      在Python中,我们可以使用内置的csv模块来将爬取的数据写入csv文件。以下是一个简单的示例:

      ```python import csv

      创建一个csv文件

      with open('data.csv', 'w', newline='') as file: writer = csv.writer(file)

      # 写入数据
      writer.writerow(['name', 'age', 'city'])
      
      # 写入更多数据
      for item in爬取的数据:
          writer.writerow([item['name'], item['age'], item['city']])
      

      ```

      在这个示例中,我们首先创建了一个名为'data.csv'的文件,并打开了它。然后,我们创建了一个csv.writer对象,它用于写入csv文件。

      我们使用writerow方法将数据写入csv文件的每一行。'writerow'方法的第一个参数是行号,第二个参数是每行的值,第三个参数是数据的格式。

      最后,我们使用一个for循环遍历爬取的数据,将每一行的数据写入csv文件的每一行。

      注意:在实际使用中,你可能需要根据爬取的数据和csv文件的结构进行适当的修改。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部