ToB企服应用市场:ToB评测及商务社交产业平台

标题: Python爬虫爬取B站up主所有动态内容 [打印本页]
作者: 勿忘初心做自己    时间: 2024-5-19 11:03
标题: Python爬虫爬取B站up主所有动态内容
请注意，爬虫的利用应服从网站的爬虫政策和法律法规，不要对网站造成不必要的负担或违背服务条款。
通过浏览器审查元素查看网络日记，发现每次获取动态信息的请求地址都相同，首次加载时offset为空：
https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/space?host_mid=25470223&offset=
随着网页的不断下拉，offset参数无规律变换，第二次及以后的offset就在上一次次请求返回的json里的"offset"中，将"offset"的值带入下一次请求的参数中即可循环爬取。动态下拉到头时，json中"has_more"会由true变为false，可以以此判断是否末端。此时的代码如下：
  1. def fetch_data(offset):
  3.     # 请求的URL
  4.     url = "https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/space"
  6.     # 请求参数
  7.     params = {
  8.         "offset": offset,
  9.         "host_mid": 25470223
  10.     }
  12.     # 发送请求
  13.     response = requests.get(url, params=params, headers=headers)
  14.     print(response.text)
  16.     # 检查是否还有更多数据
  17.     if data['data']['has_more']:
  18.         # 如果有更多数据，使用新的offset发起新的请求
  19.         fetch_data(data['data']['offset'])
  21. # 从offset为空开始
  22. fetch_data("")
复制代码
直接爬取时，无法直接获取到数据，经网上查询为鉴权错误
{"code":-352,"message":"-352","ttl":1}
这时需要添加请求头及必要的cookie，添加后可以正常爬取，"response.text"即为响应json字符串，可自行存储后单独处置惩罚。并添加延时参数防止以后都逛不了B站：
  1. import json
  2. import time
  3. import requests
  5. # 添加请求头
  6. headers = {
  7.     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
  8.     'Accept-Language': 'zh-CN,zh;q=0.9',
  9.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
  10.     'Cookie':'buvid3=...; b_nut=...; _uuid=...; buvid4=...;' # up主动态页审查元素自行获取，必传
  11. }
  13. def fetch_data(offset):
  15.     # 每次请求时延时0.1秒
  16.     time.sleep(0.1)
  18.     # 请求的URL
  19.     url = "https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/space"
  21.     # 请求参数
  22.     params = {
  23.         "offset": offset,
  24.         "host_mid": 25470223 # up主id，up主动态页审查元素自行获取
  25.     }
  27.     # 发送请求
  28.     response = requests.get(url, params=params, headers=headers)
  29.     print(response.text) #自行处理json
  31.     # 检查是否还有更多数据
  32.     if data['data']['has_more']:
  33.         # 如果有更多数据，使用新的offset发起新的请求
  34.         fetch_data(data['data']['offset'])
  36. # 从offset为空开始
  37. fetch_data("")
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4