ToB企服应用市场:ToB评测及商务社交产业平台

标题: 2024版蒲公英平台收罗软件，批量爬取小红书优质博主！ [打印本页]

---

作者: 丝    时间: 2024-6-22 07:47
标题: 2024版蒲公英平台收罗软件，批量爬取小红书优质博主！
目录

• 一、配景先容
  
  
  
  • 1.0 爬取目标
    
  • 1.1 演示视频
    
  • 1.2 软件阐明
    
  
  
• 二、代码讲解
  
  
  
  • 2.0 关于接口
    
  • 2.1 爬虫收罗模块
    
  • 2.2 cookie获取
    
  • 2.3 软件界面模块
    
  • 2.4 日志模块
    
  
  
• 三、转载声明
  

一、配景先容

1.0 爬取目标

众所周知，蒲公英是小红书推出的优质创作者商业合作服务平台，致力于为品牌和博主提供内容合作服务，可以高效的为品牌匹配出最符合的优质博主。
蒲公英平台，必要有一定权限的企业资质账号才能申请开通。开通之后，进入【探求博主】页面，即可根据一定的筛选条件过滤出满意的博主列表，如下:

上面是筛选条件，下面是筛选结果。
爬虫功能分为2大类模块：第一是根据筛选条件爬取博主列表，第二是根据爬取到的博主id进入详情页面爬取详细数据，详情页如下：

通太过析网页接口，开发出了爬虫GUI软件，界面如下：

共爬取到34个字段，字段如下：

1. 1        关键词
2. 2        页码
3. 3        小红书昵称
4. 4        小红书号
5. 5        地址
6. 6        机构
7. 7        数据更新至
8. 8        小红书链接
9. 9        粉丝数
10. 10        账号类型
11. 11        图文报价
12. 12        视频报价
13. 13        合作笔记数
14. 14        预估阅读单价_图文
15. 15        图文3秒阅读
16. 16        日常_阅读中位数
17. 17        日常_互动中位数
18. 18        日常_阅读来源发现页占比
19. 19        日常_阅读来源搜索页占比
20. 20        合作_阅读中位数
21. 21        合作_互动中位数
22. 22        合作_阅读来源发现页占比
23. 23        合作_阅读来源搜索页占比
24. 24        女性粉丝占比
25. 25        年龄占比最多的
26. 26        账号评估
27. 27        合作笔记1阅读数
28. 28        合作笔记2阅读数
29. 29        合作笔记3阅读数
30. 30        合作笔记4阅读数
31. 31        合作笔记5阅读数
32. 32        合作笔记6阅读数
33. 33        合作笔记7阅读数
34. 34        合作笔记8阅读数

复制代码

详细演示数据：（看《蒲公英》这个sheet页）

见原文

1.1 演示视频

软件操作演示视频：见原文
1.2 软件阐明

重要阐明，请详读：

• Windows用户可直接双击打开使用，无需Python运行情况，非常方便！
  
• 必要在cookie.txt中填入cookie值，持久存储，方便长期使用
  
• 支持筛选笔记搜索关键词、笔记类型(不限/图文笔记为主/视频笔记为主)、粉丝数目、图文报价、搜索页范围。其他个性化筛选条件，可以和我沟通定制
  
• 爬取过程中，有log文件详细记录运行过程，方便回溯
  
• 爬取过程中，自动保存结果到csv文件（每爬一条存一次，防止数据丢失）
  
• 可爬34个关键字段，含：关键词,页码,小红书昵称,小红书号,地点,机构,数据更新至,小红书链接,粉丝数,账号类型,图文报价,视频报价,合作笔记数,预估阅读单价_图文,图文3秒阅读,一样平常_阅读中位数,一样平常_互动中位数,一样平常_阅读来源发现页占比,一样平常_阅读来源搜索页占比,合作_阅读中位数,合作_互动中位数,合作_阅读来源发现页占比,合作_阅读来源搜索页占比,女性粉丝占比,年龄占比最多的,账号评估,合作笔记1阅读数,合作笔记2阅读数,合作笔记3阅读数,合作笔记4阅读数,合作笔记5阅读数,合作笔记6阅读数,合作笔记7阅读数,合作笔记8阅读数。
  
• 以上爬取字段已经包含，如无法满意个性化要求，可定制开发（接口已调通）
  以上。
  

二、代码讲解

2.0 关于接口

由于收罗字段较多，开发者模式中分析接口不止一个，收罗程序整合多个接口开发而成，归纳如下：

• 博主列表接口
  
• 一样平常笔记接口
  
• 合作笔记接口
  
• 粉丝数接口
  
• 阅读单价接口
  
• 合作笔记阅读数接口
  
• 所属机构接口
  

以上。
2.1 爬虫收罗模块

此软件开发本钱较高，代码量大、实现逻辑复杂，为掩护个人知识版权，防止恶意盗版软件，不展示爬虫核心代码。
2.2 cookie获取

运行软件之前，必要填写cookie值到txt配置文件中，获取方法如下：

2.3 软件界面模块

主窗口部分：

1. # 创建主窗口
2. root = tk.Tk()
3. root.title('蒲公英爬虫-公开版p1.4 | 马哥python说 | 定制')
4. # 设置窗口大小
5. root.minsize(width=850, height=650)

复制代码

部分界面控件：

1. # 笔记关键词
2. tk.Label(root, justify='left', text='笔记关键词:').place(x=30, y=65)
3. entry_kw = tk.Text(root, bg='#ffffff', width=22, height=2, )
4. entry_kw.place(x=105, y=65, anchor='nw')  # 摆放位置

复制代码

日志输出控件：

1. # 运行日志
2. tk.Label(root, justify='left', text='运行日志:').place(x=30, y=250)
3. show_list_Frame = tk.Frame(width=780, height=300)  # 创建<消息列表分区>
4. show_list_Frame.pack_propagate(0)
5. show_list_Frame.place(x=30, y=270, anchor='nw')  # 摆放位置

复制代码

2.4 日志模块

好的日志功能，方便软件运行出题目后快速定位缘故原由，修复bug。
核心代码：

1. def get_logger(self):
2.         self.logger = logging.getLogger(__name__)
3.         # 日志格式
4.         formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
5.         # 日志级别
6.         self.logger.setLevel(logging.DEBUG)
7.         # 控制台日志
8.         sh = logging.StreamHandler()
9.         log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
10.         # info日志文件名
11.         info_file_name = time.strftime("%Y-%m-%d") + '.log'
12.         # 将其保存到特定目录
13.         case_dir = r'./logs/'
14.         info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
15.                                                 when='MIDNIGHT',
16.                                                 interval=1,
17.                                                 backupCount=7,
18.                                                 encoding='utf-8')

复制代码

软件运行过程中天生的日志文件：

三、转载声明

转载已获原作者@马哥python说授权：
博客园原文链接: 【GUI软件】小红书蒲公英数据批量爬取！高效筛选优质博主，助力品牌商!

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4