Python爬虫 - 豆瓣图书数据爬取、处理与存储

---

前言

在数字化时代，网络爬虫技能为我们提供了强盛的数据获取本领，使得从各类网站提取信息变得更加高效和便捷。豆瓣读书作为一个广受接待的图书评价和保举平台，汇聚了大量的册本信息，包括书名、作者、出书社、评分等。这些信息不仅对读者选择图书有帮助，也为出书商和研究职员提供了宝贵的数据资源。
本项目旨在通过 Python 爬虫技能，系统性地抓取豆瓣读书网站上的图书信息，并将其存储为结构化的数据格式，以便后续分析和研究。我们将使用 requests 和 BeautifulSoup 库进行网页请求和数据剖析，利用 pandas 进行数据处理，末了将洗濯后的数据存储到 MySQL 数据库中。

---

一、使用版本

pythonrequestsbs4beautifulsoup4soupsievelxmlpandassqlalchemymysql-connector-pythonselenium版本3.8.52.31.00.0.24.12.32.64.9.32.0.32.0.369.0.04.15.2

---

二、需求分析

1. 分析要爬取的内容

1.1 分析要爬取的单个图书信息

点击进入豆瓣读书官网：https://book.douban.com/
随便点开一本图书

如下图，在图书首页可以看到标题、作者、出书社、出书日期、页数、代价和评分等信息。那我们的目的就是要把这些信息爬取下来生存到csv文件中作为原始数据。

鼠标右击，选择查抄，找到相关信息的网页源码。

当鼠标悬浮在如下图红色箭头所指的标签上之后，我们发现左侧我们想要爬取的信息范围被表现出来，阐明我们要爬取的单个图书信息内容就在该标签中。

复制了该标签的内容如下图所示，从该标签中可以看到需要爬取的信息都有。
   我们的目的就是把单个图书的hmtl文件爬取下来，然后使用BeautifulSoup剖析后把数据生存到csv文件中。

1. <div class="subjectwrap clearfix">
2. <div class="subject clearfix">
3. <div id="mainpic" class="">
4.   <a class="nbg" href="https://img1.doubanio.com/view/subject/l/public/s34971089.jpg" title="再造乡土">
5.       <img src="https://img1.doubanio.com/view/subject/s/public/s34971089.jpg" title="点击看大图" alt="再造乡土" rel="v:photo" style="max-width: 135px;max-height: 200px;">
6.   </a>
7. </div>
8. <div id="info" class="">
9.     <span>
10.       <span class="pl"> 作者</span>:
11.             <a class="" href="/author/4639586">（美）萨拉·法默</a>
12.     </span><br>
13.     <span class="pl">出版社:</span>
14.       <a href="https://book.douban.com/press/2476">广西师范大学出版社</a>
15.     <br>
16.     <span class="pl">出品方:</span>
17.       <a href="https://book.douban.com/producers/795">望mountain</a>
18.     <br>
19.     <span class="pl">副标题:</span> 1945年后法国农村社会的衰落与重生<br>
20.     <span class="pl">原作名:</span> Rural Inventions: The French Countryside after 1945<br>
21.     <span>
22.       <span class="pl"> 译者</span>:
23.             <a class="" href="/search/%E5%8F%B6%E8%97%8F">叶藏</a>
24.     </span><br>
25.     <span class="pl">出版年:</span> 2024-11<br>
26.     <span class="pl">页数:</span> 288<br>
27.     <span class="pl">定价:</span> 79.20元<br>
28.     <span class="pl">装帧:</span> 精装<br>
29.       <span class="pl">ISBN:</span> 9787559874597<br>
30. </div>
31. </div>
32. <div id="interest_sectl" class="">
33.   <div class="rating_wrap clearbox" rel="v:rating">
34.     <div class="rating_logo">
35.             豆瓣评分
36.     </div>
37.     <div class="rating_self clearfix" typeof="v:Rating">
38.       <strong class="ll rating_num " property="v:average"> 8.5 </strong>
39.       <span property="v:best" content="10.0"></span>
40.       <div class="rating_right ">
41.           <div class="ll bigstar45"></div>
42.             <div class="rating_sum">
43.                 <span class="">
44.                     <a href="comments" class="rating_people"><span property="v:votes">55</span>人评价</a>
45.                 </span>
46.             </div>
47.       </div>
48.     </div>
49. <span class="stars5 starstop" title="力荐">
50.     5星
51. </span>
52. <div class="power" style="width:37px"></div>
53.             <span class="rating_per">29.1%</span>
54.             <br>
55. <span class="stars4 starstop" title="推荐">
56.     4星
57. </span>
58. <div class="power" style="width:64px"></div>
59.             <span class="rating_per">49.1%</span>
60.             <br>
61. <span class="stars3 starstop" title="还行">
62.     3星
63. </span>
64. <div class="power" style="width:26px"></div>
65.             <span class="rating_per">20.0%</span>
66.             <br>
67. <span class="stars2 starstop" title="较差">
68.     2星
69. </span>
70. <div class="power" style="width:2px"></div>
71.             <span class="rating_per">1.8%</span>
72.             <br>
73. <span class="stars1 starstop" title="很差">
74.     1星
75. </span>
76. <div class="power" style="width:0px"></div>
77.             <span class="rating_per">0.0%</span>
78.             <br>
79.   </div>
80. </div>
81. </div>

复制代码

1.2 爬取步调

1.2.1 爬取豆瓣图书标签分类页面

豆瓣图书标签分类所在：https://book.douban.com/tag/?view=type&icn=index-sorttags-all
爬取图书标签分类页面生存为../douban/douban_book/douban_book_tag/douban_book_all_tag.html文件。然后使用BeautifulSoup剖析../douban/douban_book/douban_book_tag/douban_book_all_tag.html文件，获取每个分类标签的名称和链接。

1.2.2 爬取分类页面

例如，点进小说标签后的页面如下：
可以看到访问的网址是https://book.douban.com/tag/小说，由此可以推断不同分类标签第一页的网址是https://book.douban.com/tag/标签名称。

在上面的两个页面中可以看到每一页表现了多个小说的大概信息（这些信息并不能满足我的爬取要求），那我就需要获取每个分页的链接，然后根据每个分页的链接生存每一页的html文件。
如下图所示，查抄后发现每一页是20条数据，而且带有两个参数（start、type；start体现每页开始位置，每页20条数据），由此可以推断每一页的链接为：https://book.douban.com/tag/<标签名称>?start=<20的倍数>&type=T。然后从每一页中剖析出每个图书的链接。

1.2.3 爬取单个图书页面

获得每个图书的链接后，就可以根据链接生存每个图书的html文件。然后就可以使用BeautifulSoup从该页面中剖析出图书的信息。
单个图书的页面如下图所示：

1.3 内容所在的标签定位

可以使用CSS选择器定位需要爬取的内容所在的标签位置。
示例：标题标签定位
鼠标右击标题部分，选择查抄，表现出标题部分的源码之后；右击有标题的源码，点击复制，选择复制selector。

复制后的selector如下：

1. #wrapper > h1 > span

复制代码

2. 数据用途

2.1 基础分析

• 形貌性统计：
  
  
  
  • 盘算册本代价、页数等数值型字段的平均值、中位数、最大值、最小值以及标准差。
    
  • 统计不同装帧类型（binding）或出书社（publisher）的册本数量。
    
  
  
• 频率分布：
  
  
  
  • 制作出书年份（publication_year）的频率分布图，观察每年的出书趋势。
    
  • 分析各星级评分（stars5_starstop至stars1_starstop）所占的比例，了解整体评分分布情况。
    
  
  
• 简单关系探索：
  
  
  
  • 探索册本代价与评分之间的简单相关性。
    
  • 研究册本页数与评分的关系，看是否有显着的关联。
    
  
  
• 分类汇总：
  
  
  
  • 按作者（author）、出书社（publisher）或者丛书系列（series）对册本进行分组，并盘算每组的平均评分、总销量等指标。
    
  
  

2.2 高级分析

• 预测建模：
  
  
  
  • 使用机器学习算法预测一本书的可能评分，基于如作者、出书社、代价、出书年份等因素。
    
  • 构建模型预测册本销售量，帮助出书社或书店优化库存管理。
    
  
  
• 聚类分析：
  
  
  
  • 对册本进行聚类，找出具有相似特性的册本群体，例如相似的主题、读者群体或市场体现。
    
  • 根据用户批评链接中的文本信息进行主题建模，以辨认常见的读者关注点或反馈类型。
    
  
  
• 因果分析：
  
  
  
  • 通过控制其他变量，研究特定因素（如封面设计、翻译质量等）对册本评分或销量的影响。
    
  • 使用实验设计或准实验方法评估营销活动对册本销量的影响。
    
  
  
• 时间序列分析：
  
  
  
  • 如果有一连多年的数据，可以对出书年份和销量等进行时间序列分析，预测将来的趋势。
    
  • 研究特定变乱（如作者获得奖项）对册本销量的时间影响。
    
  
  
• 网络分析：
  
  
  
  • 构建作者相助网络或册本引用网络，探索学术或文学领域内的相助模式和影响力传播。
    
  
  
• 感情分析：
  
  
  
  • 对用户批评链接指向的内容进行感情分析，理解读者对册本的感情倾向。
    
  
  
• 多变量回归分析：
  
  
  
  • 研究多个变量（如代价、页数、出书年份等）如何共同影响一本书的评分或销量。
    
  
  

3. 应对反爬机制的策略

3.1 使用 User-Agent 模拟真实欣赏器请求

许多网站通过查抄HTTP请求头中的 User-Agent 字段来判定请求是否来自真实的欣赏器。默认情况下，Python库发送的请求可能带有显着的标识，容易被辨认为自动化工具。因此，修改 User-Agent 来模拟不同的欣赏器和操纵系统可以有用地绕过这一检测。
3.2 实验随机延时策略

频繁且规律性的请求频率是典型的爬虫举动特性之一。通过在每次请求之间加入随机延伸，不仅可以模拟人类用户的访问模式，还能减少服务器负载，降低被封禁的风险。
3.3 构建和使用署理池

直接从同一个IP所在发起大量请求容易引起封禁。通过构建并使用署理池，您可以轮换不同的IP所在来进行请求，从而分散风险。这不仅增加了爬虫的潜伏性，也减轻了单个IP所在的压力。
3.4 其他

• 验证码处理：某些网站可能还会使用验证码来验证用户身份。针对这种情况，可以考虑使用第三方OCR服务或专门的验证码辨认API。
  
• JavaScript渲染页面：部分现代网站依赖JavaScript动态加载内容，普通的HTML剖析可能无法获取完备数据。这时可以使用像Selenium如许的工具，它能启动一个真实的欣赏器实例实验JavaScript。
  

---

三、编写爬虫代码

1. 爬取标签分类html

页面如下图所示：

代码实现：

1. import random
2. import time
3. from pathlib import Path
5. import requests
8. def get_request(url, **kwargs):
9.     time.sleep(random.uniform(0.1, 2))
10.     print(f'===============================地址：{url} ===============================')
11.     # 定义一组User-Agent字符串
12.     user_agents = [
13.         # Chrome
14.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
15.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
16.         'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
17.         # Firefox
18.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/117.0',
19.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:109.0) Gecko/20100101 Firefox/117.0',
20.         'Mozilla/5.0 (X11; Linux i686; rv:109.0) Gecko/20100101 Firefox/117.0',
21.         # Edge
22.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2040.0',
23.         # Safari
24.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Safari/605.1.15',
25.     ]
27.     # 请求头
28.     headers = {
29.         'User-Agent': random.choice(user_agents)
30.     }
32.     # 用户名密码认证(私密代理/独享代理)
33.     username = ""
34.     password = ""
35.     proxies = {
36.         "http": "http://%(user)s:%(pwd)s@%(proxy)s/" % {"user": username, "pwd": password,
37.                                                         "proxy": '36.25.243.5:11768'},
38.         "https": "http://%(user)s:%(pwd)s@%(proxy)s/" % {"user": username, "pwd": password,
39.                                                          "proxy": '36.25.243.5:11768'}
40.     }
42.     max_retries = 3
43.     for attempt in range(max_retries):
44.         try:
45.             response = requests.get(url=url, timeout=10, headers=headers, **kwargs)
46.             # response = requests.get(url=url, timeout=10, headers=headers, proxies=proxies, **kwargs)
47.             if response.status_code == 200:
48.                 return response
49.             else:
50.                 print(f"请求失败，状态码: {response.status_code}，正在重新发送请求 (尝试 {attempt + 1}/{max_retries})")
51.         except requests.exceptions.RequestException as e:
52.             print(f"请求过程中发生异常: {e}，正在重新发送请求 (尝试 {attempt + 1}/{max_retries})")
54.         # 如果不是最后一次尝试，则等待一段时间再重试
55.         if attempt < max_retries - 1:
56.             time.sleep(random.uniform(1, 2))
57.     print('================多次请求失败，请查看异常情况================')
58.     return None  # 或者返回最后一次的响应，取决于你的需求
61. def save_book_html_file(save_dir, file_name, content):
62.     dir_path = Path(save_dir)
63.     # 确保保存目录存在，如果不存在则创建所有必要的父级目录
64.     dir_path.mkdir(parents=True, exist_ok=True)
65.     # 使用 'with' 语句打开文件以确保正确关闭文件流
66.     with open(save_dir + file_name, 'w', encoding='utf-8') as fp:
67.         print(f"==============================={save_dir + file_name} 文件已保存===============================")
68.         fp.write(str(content))
71. def download_book_tag():
72.     save_dir = '../douban/douban_book/douban_book_tag/'
73.     file_name = 'douban_book_all_tag.html'
74.     book_tag_url = 'https://book.douban.com/tag/?view=type&icn=index-sorttags-all'
75.     tag_file_path = Path(save_dir + file_name)
76.     if tag_file_path.exists() and tag_file_path.is_file():
77.         print(f'\n===============================文件 {tag_file_path} 已存在===============================')
78.     else:
79.         print(f'===============================文件 {tag_file_path} 不存在，正在下载...===============================')
80.         save_book_html_file(save_dir=save_dir, file_name=file_name, content=get_request(book_tag_url).text)
83. if __name__ == '__main__':
84.     download_book_tag()

复制代码

运行结果如下图所示：

该代码可以重复实验，重复实验会自动查抄文件是否已下载，如下图所示：

生存后的文件如下图：

2. 爬取单个分类的所有页面

基于上面的爬取标签分类继承实现的代码，使用BeautifulSoup剖析标签分类html后，根据获取的标签分类名称和链接循环获取每个分类下的所有html页面。

1. import random
2. import time
3. from pathlib import Path
5. import requests
6. from bs4 import BeautifulSoup
9. # 快代理试用：https://www.kuaidaili.com/freetest/
12. def get_request(url, **kwargs):
13.     time.sleep(random.uniform(0.1, 2))
14.     print(f'===============================地址：{url} ===============================')
15.     # 定义一组User-Agent字符串
16.     user_agents = [
17.         # Chrome
18.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
19.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
20.         'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
21.         # Firefox
22.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/117.0',
23.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:109.0) Gecko/20100101 Firefox/117.0',
24.         'Mozilla/5.0 (X11; Linux i686; rv:109.0) Gecko/20100101 Firefox/117.0',
25.         # Edge
26.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2040.0',
27.         # Safari
28.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Safari/605.1.15',
29.     ]
31.     # 请求头
32.     headers = {
33.         'User-Agent': random.choice(user_agents)
34.     }
35.     # 用户名密码认证(私密代理/独享代理)
36.     username = "17687015657"
37.     password = "qvbgms8w"
38.     proxies = {
39.         "http": "http://%(user)s:%(pwd)s@%(proxy)s/" % {"user": username, "pwd": password,
40.                                                         "proxy": '36.25.243.5:11768'},
41.         "https": "http://%(user)s:%(pwd)s@%(proxy)s/" % {"user": username, "pwd": password,
42.                                                          "proxy": '36.25.243.5:11768'}
43.     }
45.     max_retries = 3
46.     for attempt in range(max_retries):
47.         try:
48.             response = requests.get(url=url, timeout=10, headers=headers, **kwargs)
49.             # response = requests.get(url=url, timeout=10, headers=headers, proxies=proxies, **kwargs)
50.             if response.status_code == 200:
51.                 return response
52.             else:
53.                 print(f"请求失败，状态码: {response.status_code}，正在重新发送请求 (尝试 {attempt + 1}/{max_retries})")
54.         except requests.exceptions.RequestException as e:
55.             print(f"请求过程中发生异常: {e}，正在重新发送请求 (尝试 {attempt + 1}/{max_retries})")
57.         # 如果不是最后一次尝试，则等待一段时间再重试
58.         if attempt < max_retries - 1:
59.             time.sleep(random.uniform(1, 2))
60.     print('================多次请求失败，请查看异常情况================')
61.     return None  # 或者返回最后一次的响应，取决于你的需求
64. def save_book_html_file(save_dir, file_name, content):
65.     dir_path = Path(save_dir)
66.     # 确保保存目录存在，如果不存在则创建所有必要的父级目录
67.     dir_path.mkdir(parents=True, exist_ok=True)
68.     # 使用 'with' 语句打开文件以确保正确关闭文件流
69.     with open(save_dir + file_name, 'w', encoding='utf-8') as fp:
70.         print(f"==============================={save_dir + file_name} 文件已保存===============================")
71.         fp.write(str(content))
74. def download_book_tag():
75.     save_dir = '../douban/douban_book/douban_book_tag/'
76.     file_name = 'douban_book_all_tag.html'
77.     book_tag_url = 'https://book.douban.com/tag/?view=type&icn=index-sorttags-all'
78.     tag_file_path = Path(save_dir + file_name)
79.     if tag_file_path.exists() and tag_file_path.is_file():
80.         print(f'\n===============================文件 {tag_file_path} 已存在===============================')
81.     else:
82.         print(f'===============================文件 {tag_file_path} 不存在，正在下载...===============================')
83.         save_book_html_file(save_dir=save_dir, file_name=file_name, content=get_request(book_tag_url).text)
86. def get_soup(markup):
87.     return BeautifulSoup(markup=markup, features='lxml')
90. def get_book_type_and_href():
91.     # 定义HTML文件路径
92.     file = '../douban/douban_book/douban_book_tag/douban_book_all_tag.html'
93.     # 初始化一个空字典用于存储标签名称和对应的链接
94.     name_href_result = {}
95.     # 定义豆瓣书籍的基础URL，用于拼接完整的链接
96.     book_base_url = 'https://book.douban.com'
97.     # 打开并读取HTML文件内容
98.     with open(file=file, mode='r', encoding='utf-8') as fp:
99.         # 使用BeautifulSoup解析HTML内容
100.         soup = get_soup(fp)
101.         # 选择包含所有标签链接的主要容器
102.         tag = soup.select_one('#content > div > div.article > div:nth-child(2)')
103.         # 选择所有包含标签链接的表格行（每个类别下的标签表）
104.         tables = tag.select('div > a.tag-title-wrapper + table.tagCol')
105.         # 遍历每个表格
106.         for table in tables:
107.             # 选择表格中的所有行（tr标签）
108.             tr_tags = table.select('tr')
109.             # 遍历每一行
110.             for tr_tag in tr_tags:
111.                 # 选择行中的所有单元格（td标签）
112.                 td_tags = tr_tag.select('td')
113.                 # 遍历每个单元格
114.                 for td_tag in td_tags:
115.                     # 选择单元格中的第一个a标签（如果存在）
116.                     a_tag = td_tag.select_one('a')
117.                     # 如果找到了a标签，则提取文本和href属性
118.                     if a_tag:
119.                         # 提取a标签的文本内容，并去除两端空白字符
120.                         tag_text = a_tag.string
121.                         # 获取a标签的href属性，并与基础URL拼接成完整链接
122.                         tag_href = book_base_url + a_tag.attrs.get('href')
123.                         # 将提取到的标签文本和链接添加到结果字典中
124.                         name_href_result[tag_text] = tag_href
125.     # 返回包含所有标签名称和对应链接的字典
126.     return name_href_result
129. def get_book_data_dagai(name, start):
130.     book_tag_base_url = 'https://book.douban.com/tag/' + name
131.     payload = {
132.         'start': start,
133.         'type': 'T'
134.     }
135.     response = get_request(book_tag_base_url, params=payload)
136.     if response is None:
137.         return None
138.     return response.text
141. def download_book_data_dagai(name, start):
142.     save_dir = '../douban/douban_book/douban_book_data_dagai/'
143.     file_name = f'douban_book_data_dagai_{name}_{start}.html'
144.     dagai_file_path = Path(save_dir + file_name)
145.     if dagai_file_path.exists() and dagai_file_path.is_file():
146.         print(f'===============================文件 {dagai_file_path} 已存在===============================')
147.     else:
148.         print(
149.             f'===============================文件 {dagai_file_path} 不存在，正在下载...===============================')
150.         content = get_book_data_dagai(name, start)
151.         if content is None:
152.             return None
153.         # 判断是否是最后一页
154.         soup = get_soup(content)
155.         p_tag = soup.select_one('#subject_list > p')
156.         if p_tag is not None:
157.             print(f"===============================分类 {name} 的网页爬取完成===============================")
158.             return True
159.         save_book_html_file(save_dir=save_dir, file_name=file_name, content=content)
162. if __name__ == '__main__':
163.     download_book_tag()
165.     book_type = get_book_type_and_href()
166.     book_type_name = book_type.keys()
167.     print(book_type_name)
168.     for type_name in book_type_name:
169.         print(f'===============================图书分类标签：{type_name}===============================')
170.         start_ = 0
171.         while True:
172.             flag = download_book_data_dagai(type_name, start_)
173.             start_ = start_ + 20
174.             if flag is None:
175.                 continue
176.             if flag:
177.                 print(f'======================================图书分类标签 {type_name} 的大概html下载完成======================================')
178.                 break

复制代码

实验过程中打印的部分信息如下图所示：

爬取后生存的部分html文件如下图所示：

3. 爬取单个图书的html

基于上面的爬取单个分类的所有页面继承实现的代码，使用BeautifulSoup剖析每一页的html后，根据获取的单个图书链接获取html页面。

1. import random
2. import time
3. from pathlib import Path
5. import requests
6. from bs4 import BeautifulSoup
9. # 快代理试用：https://www.kuaidaili.com/freetest/
12. def get_request(url, **kwargs):
13.     time.sleep(random.uniform(0.1, 2))
14.     print(f'===============================地址：{url} ===============================')
15.     # 定义一组User-Agent字符串
16.     user_agents = [
17.         # Chrome
18.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
19.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
20.         'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
21.         # Firefox
22.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/117.0',
23.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:109.0) Gecko/20100101 Firefox/117.0',
24.         'Mozilla/5.0 (X11; Linux i686; rv:109.0) Gecko/20100101 Firefox/117.0',
25.         # Edge
26.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2040.0',
27.         # Safari
28.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Safari/605.1.15',
29.     ]
31.     # 请求头
32.     headers = {
33.         'User-Agent': random.choice(user_agents)
34.     }
35.     # 用户名密码认证(私密代理/独享代理)
36.     username = ""
37.     password = ""
38.     proxies = {
39.         "http": "http://%(user)s:%(pwd)s@%(proxy)s/" % {"user": username, "pwd": password,
40.                                                         "proxy": '36.25.243.5:11768'},
41.         "https": "http://%(user)s:%(pwd)s@%(proxy)s/" % {"user": username, "pwd": password,
42.                                                          "proxy": '36.25.243.5:11768'}
43.     }
45.     max_retries = 3
46.     for attempt in range(max_retries):
47.         try:
48.             response = requests.get(url=url, timeout=10, headers=headers, **kwargs)
49.             # response = requests.get(url=url, timeout=10, headers=headers, proxies=proxies, **kwargs)
50.             if response.status_code == 200:
51.                 return response
52.             else:
53.                 print(f"请求失败，状态码: {response.status_code}，正在重新发送请求 (尝试 {attempt + 1}/{max_retries})")
54.         except requests.exceptions.RequestException as e:
55.             print(f"请求过程中发生异常: {e}，正在重新发送请求 (尝试 {attempt + 1}/{max_retries})")
57.         # 如果不是最后一次尝试，则等待一段时间再重试
58.         if attempt < max_retries - 1:
59.             time.sleep(random.uniform(1, 2))
60.     print('================多次请求失败，请查看异常情况================')
61.     return None  # 或者返回最后一次的响应，取决于你的需求
64. def save_book_html_file(save_dir, file_name, content):
65.     dir_path = Path(save_dir)
66.     # 确保保存目录存在，如果不存在则创建所有必要的父级目录
67.     dir_path.mkdir(parents=True, exist_ok=True)
68.     # 使用 'with' 语句打开文件以确保正确关闭文件流
69.     with open(save_dir + file_name, 'w', encoding='utf-8') as fp:
70.         print(f"==============================={save_dir + file_name} 文件已保存===============================")
71.         fp.write(str(content))
74. def download_book_tag():
75.     save_dir = '../douban/douban_book/douban_book_tag/'
76.     file_name = 'douban_book_all_tag.html'
77.     book_tag_url = 'https://book.douban.com/tag/?view=type&icn=index-sorttags-all'
78.     tag_file_path = Path(save_dir + file_name)
79.     if tag_file_path.exists() and tag_file_path.is_file():
80.         print(f'\n===============================文件 {tag_file_path} 已存在===============================')
81.     else:
82.         print(f'===============================文件 {tag_file_path} 不存在，正在下载...===============================')
83.         save_book_html_file(save_dir=save_dir, file_name=file_name, content=get_request(book_tag_url).text)
86. def get_soup(markup):
87.     return BeautifulSoup(markup=markup, features='lxml')
90. def get_book_type_and_href():
91.     # 定义HTML文件路径
92.     file = '../douban/douban_book/douban_book_tag/douban_book_all_tag.html'
93.     # 初始化一个空字典用于存储标签名称和对应的链接
94.     name_href_result = {}
95.     # 定义豆瓣书籍的基础URL，用于拼接完整的链接
96.     book_base_url = 'https://book.douban.com'
97.     # 打开并读取HTML文件内容
98.     with open(file=file, mode='r', encoding='utf-8') as fp:
99.         # 使用BeautifulSoup解析HTML内容
100.         soup = get_soup(fp)
101.         # 选择包含所有标签链接的主要容器
102.         tag = soup.select_one('#content > div > div.article > div:nth-child(2)')
103.         # 选择所有包含标签链接的表格行（每个类别下的标签表）
104.         tables = tag.select('div > a.tag-title-wrapper + table.tagCol')
105.         # 遍历每个表格
106.         for table in tables:
107.             # 选择表格中的所有行（tr标签）
108.             tr_tags = table.select('tr')
109.             # 遍历每一行
110.             for tr_tag in tr_tags:
111.                 # 选择行中的所有单元格（td标签）
112.                 td_tags = tr_tag.select('td')
113.                 # 遍历每个单元格
114.                 for td_tag in td_tags:
115.                     # 选择单元格中的第一个a标签（如果存在）
116.                     a_tag = td_tag.select_one('a')
117.                     # 如果找到了a标签，则提取文本和href属性
118.                     if a_tag:
119.                         # 提取a标签的文本内容，并去除两端空白字符
120.                         tag_text = a_tag.string
121.                         # 获取a标签的href属性，并与基础URL拼接成完整链接
122.                         tag_href = book_base_url + a_tag.attrs.get('href')
123.                         # 将提取到的标签文本和链接添加到结果字典中
124.                         name_href_result[tag_text] = tag_href
125.     # 返回包含所有标签名称和对应链接的字典
126.     return name_href_result
129. def get_book_data_dagai(name, start):
130.     book_tag_base_url = 'https://book.douban.com/tag/' + name
131.     payload = {
132.         'start': start,
133.         'type': 'T'
134.     }
135.     response = get_request(book_tag_base_url, params=payload)
136.     if response is None:
137.         return None
138.     return response.text
141. def download_book_data_dagai(name, start):
142.     save_dir = '../douban/douban_book/douban_book_data_dagai/'
143.     file_name = f'douban_book_data_dagai_{name}_{start}.html'
144.     dagai_file_path = Path(save_dir + file_name)
145.     if dagai_file_path.exists() and dagai_file_path.is_file():
146.         print(f'===============================文件 {dagai_file_path} 已存在===============================')
147.     else:
148.         print(
149.             f'===============================文件 {dagai_file_path} 不存在，正在下载...===============================')
150.         content = get_book_data_dagai(name, start)
151.         if content is None:
152.             return None
153.         # 判断是否是最后一页
154.         soup = get_soup(content)
155.         p_tag = soup.select_one('#subject_list > p')
156.         if p_tag is not None:
157.             print(f"===============================分类 {name} 的网页爬取完成===============================")
158.             return True
159.         save_book_html_file(save_dir=save_dir, file_name=file_name, content=content)
162. def download_book_data_detail():
163.     save_dir = '../douban/douban_book/douban_book_data_detail/'
164.     dagai_dir = Path('../douban/douban_book/douban_book_data_dagai/')
165.     dagai_file_list = dagai_dir.rglob('*.html')
166.     for dagai_file in dagai_file_list:
167.         soup = get_soup(markup=open(file=dagai_file, mode='r', encoding='utf-8'))
168.         a_tag_list = soup.select('#subject_list > ul > li  h2 > a')
169.         for a_tag in a_tag_list:
170.             href = a_tag.attrs.get('href')
171.             book_id = href.split('/')[-2]
172.             file_name = f'douban_book_data_detail_{book_id}.html'
173.             detail_file_path = Path(save_dir + file_name)
174.             if detail_file_path.exists() and detail_file_path.is_file():
175.                 print(f'===============================文件 {detail_file_path} 已存在===============================')
176.             else:
177.                 print(
178.                     f'===============================文件 {detail_file_path} 不存在，正在下载...===============================')
179.                 response = get_request(href)
180.                 if response is None:
181.                     continue
182.                 save_book_html_file(save_dir, file_name, response.text)
185. def print_in_rows(items, items_per_row=20):
186.     for index, name in enumerate(items, start=1):
187.         print(f'{name}', end=' ')
188.         if index % items_per_row == 0:
189.             print()
192. if __name__ == '__main__':
193.     download_book_tag()
195.     book_type = get_book_type_and_href()
196.     book_type_name = book_type.keys()
197.     print(book_type_name)
198.     for type_name in book_type_name:
199.         print(f'===============================图书分类标签：{type_name}===============================')
200.         start_ = 0
201.         while True:
202.             flag = download_book_data_dagai(type_name, start_)
203.             start_ = start_ + 20
204.             if flag is None:
205.                 continue
206.             if flag:
207.                 print(f'======================================图书分类标签 {type_name} 的大概html下载完成======================================')
208.                 break
209.     download_book_data_detail()

复制代码

实验过程中打印的部分信息如下图所示：

爬取后生存的部分html文件如下图所示：

---

四、数据处理与存储

1. 剖析html并把数据生存到csv文件

使用BeautifulSoup从html文档中剖析出单个图书的信息，循环剖析出多个图书数据后，把数据生存到csv文件。
1.1 字段阐明

字段名称阐明book_id册本的唯一标识符。title书名。img_src封面图片的网络所在。author作者姓名。publisher出书社名称。producer制作人或出品方（如果有的话）。original_title原版书名（如果是翻译作品，则为原语言书名）。translator翻译者姓名（如果有）。publication_year出书年份。page_count页数。price订价。binding装帧类型（如平装、精装等）。series丛书系列名称（如果有的话）。isbn国际标准书号。rating平均评分。rating_sum参与评分的人数。comment_link用户批评链接。stars5_starstop五星评价所占的比例。stars4_starstop四星评价所占的比例。stars3_starstop三星评价所占的比例。stars2_starstop二星评价所占的比例。stars1_starstop一星评价所占的比例。 1.2 代码实现

每剖析出100条数据，就把剖析出的数据生存到csv文件中。

1. from pathlib import Pathimport pandas as pdfrom bs4 import BeautifulSoupdef get_soup(markup):    return BeautifulSoup(markup=markup, features='lxml')def parse_detail_html_to_csv():    # 定义CSV文件路径    csv_file_dir = '../douban/douban_book/data_csv/'    csv_file_name = 'douban_books.csv'    csv_file_path = Path(csv_file_dir + csv_file_name)    csv_file_dir_path = Path(csv_file_dir)    csv_file_dir_path.mkdir(parents=True, exist_ok=True)    detail_dir = Path('../douban/douban_book/douban_book_data_detail/')    detail_file_list = detail_dir.rglob('*.html')    book_data = []    count = 0    for detail_file in detail_file_list:        book_id = str(detail_file).split('_')[-1].split('.')[0]        soup = get_soup(open(file=detail_file, mode='r', encoding='utf-8'))        title = soup.select_one('#wrapper > h1 > span
2. ').string        tag_subjectwrap = soup.select_one('#content > div > div.article > div.indent > div.subjectwrap.clearfix')        img_src = tag_subjectwrap.select_one('#mainpic > a > img').attrs.get('src')        tag_info = tag_subjectwrap.select_one('div.subject.clearfix > #info')        tag_author = tag_info.find(name='span', attrs={'class': 'pl'}, string=' 作者')        if tag_author is None:            author = ''        else:            author = tag_author.next_sibling.next_sibling.text.strip()        tag_publisher = tag_info.find(name='span', attrs={'class': 'pl'}, string='出书社:')        if tag_publisher is None:            publisher = ''        else:            publisher = tag_publisher.next_sibling.next_sibling.text.strip()        tag_producer = tag_info.find(name='span', attrs={'class': 'pl'}, string='出品方:')        if tag_producer is None:            producer = ''        else:            producer = tag_producer.next_sibling.next_sibling.text.strip()        tag_original_title = tag_info.find(name='span', attrs={'class': 'pl'}, string='原作名:')        if tag_original_title is None:            original_title = ''        else:            original_title = tag_original_title.next_sibling.strip()        tag_translator = tag_info.find(name='span', attrs={'class': 'pl'}, string=' 译者')        if tag_translator is None:            translator = ''        else:            translator = tag_translator.next_sibling.next_sibling.text.strip()        tag_publication_year = tag_info.find(name='span', attrs={'class': 'pl'}, string='出书年:')        if tag_publication_year is None:            publication_year = ''        else:            publication_year = tag_publication_year.next_sibling.strip()        tag_page_count = tag_info.find(name='span', attrs={'class': 'pl'}, string='页数:')        if tag_page_count is None:            page_count = ''        else:            page_count = tag_page_count.next_sibling.strip()        tag_price = tag_info.find(name='span', attrs={'class': 'pl'}, string='订价:')        if tag_price is None:            price = ''        else:            price = tag_price.next_sibling.strip()        tag_binding = tag_info.find(name='span', attrs={'class': 'pl'}, string='装帧:')        if tag_binding is None:            binding = ''        else:            binding = tag_binding.next_sibling.strip()        tag_series = tag_info.find(name='span', attrs={'class': 'pl'}, string='丛书:')        if tag_series is None:            series = ''        else:            series = tag_series.next_sibling.next_sibling.text.strip()        tag_isbn = tag_info.find(name='span', attrs={'class': 'pl'}, string='ISBN:')        if tag_isbn is None:            isbn = ''        else:            isbn = tag_isbn.next_sibling.strip()        # 评分信息        tag_rating_wrap_clearbox = tag_subjectwrap.select_one('#interest_sectl > div')        # 评分        tag_rating = (tag_rating_wrap_clearbox.select_one('#interest_sectl > div > div.rating_self.clearfix > strong'))        if tag_rating is None:            rating = ''        else:            rating = tag_rating.string.strip()        # 批评人数        tag_rating_sum = tag_rating_wrap_clearbox.select_one('#interest_sectl > div > div.rating_self.clearfix > div > div.rating_sum > span > a > span')        if tag_rating_sum is None:            rating_sum = ''        else:            rating_sum = tag_rating_sum.string.strip()        # 批评链接        comment_link = f'https://book.douban.com/subject/{book_id}/comments/'        # 五星比例        tag_stars5_starstop = tag_rating_wrap_clearbox.select_one('#interest_sectl > div > span.stars5.starstop')        if tag_stars5_starstop is None:            stars5_starstop = ''        else:            stars5_starstop = tag_stars5_starstop.next_sibling.next_sibling.next_sibling.next_sibling.text.strip()        # 四星比例        tag_stars4_starstop = tag_rating_wrap_clearbox.select_one('#interest_sectl > div > span.stars4.starstop')        if tag_stars4_starstop is None:            stars4_starstop = ''        else:            stars4_starstop = tag_stars4_starstop.next_sibling.next_sibling.next_sibling.next_sibling.text.strip()        # 三星比例        tag_stars3_starstop = tag_rating_wrap_clearbox.select_one('#interest_sectl > div > span.stars3.starstop')        if tag_stars3_starstop is None:            stars3_starstop = ''        else:            stars3_starstop = tag_stars3_starstop.next_sibling.next_sibling.next_sibling.next_sibling.text.strip()        # 二星比例        tag_stars2_starstop = tag_rating_wrap_clearbox.select_one('#interest_sectl > div > span.stars2.starstop')        if tag_stars2_starstop is None:            stars2_starstop = ''        else:            stars2_starstop = tag_stars2_starstop.next_sibling.next_sibling.next_sibling.next_sibling.text.strip()        # 一星比例        tag_stars1_starstop = tag_rating_wrap_clearbox.select_one('#interest_sectl > div > span.stars1.starstop')        if tag_stars1_starstop is None:            stars1_starstop = ''        else:            stars1_starstop = tag_stars1_starstop.next_sibling.next_sibling.next_sibling.next_sibling.text.strip()        data_dict = {            'book_id': book_id,            'title': title,            'img_src': img_src,            'author': author,            'publisher': publisher,            'producer': producer,            'original_title': original_title,            'translator': translator,            'publication_year': publication_year,            'page_count': page_count,            'price': price,            'binding': binding,            'series': series,            'isbn': isbn,            'rating': rating,            'rating_sum': rating_sum,            'comment_link': comment_link,            'stars5_starstop': stars5_starstop,            'stars4_starstop': stars4_starstop,            'stars3_starstop': stars3_starstop,            'stars2_starstop': stars2_starstop,            'stars1_starstop': stars1_starstop        }        print(f'===========================文件路径：{detail_file}，剖析后的数据如下：===========================')        print(data_dict)        print('===========================================================')        # 把数据生存到列表中        book_data.append(data_dict)        count = count + 1        if count == 100:            df = pd.DataFrame(book_data)            if not csv_file_path.exists():                df.to_csv(csv_file_dir + csv_file_name, index=False, encoding='utf-8-sig')            else:                df.to_csv(csv_file_dir + csv_file_name, index=False, encoding='utf-8-sig', mode='a', header=False)            book_data = []            count = 0if __name__ == '__main__':    parse_detail_html_to_csv()

复制代码

实验过程中打印的部分信息如下图所示：

csv文件位置及内容如下图所示：

2. 数据洗濯与存储

2.1 数据洗濯

使用pandas进行数据洗濯。
空值：除下列阐明外，对于空值同一使用未知来添补。
日期：空值使用1970-01-01来添补，缺失月或日用01添补。
页数：空值使用0来添补。
订价：空值使用0来添补。
评分：空值使用0来添补。
评分人数：空值使用0来添补。
星级评价：空值使用0来添补。
2.2 数据存储

把洗濯后的数据生存到MySQL中。
2.2.1 表设计

根据图片中的字段，以下是设计的MySQL表结构。我将使用标准的SQL语法来定义这个表，并以表格形式展示。
字段名称数据类型阐明book_idINT册本的唯一标识符。titleVARCHAR(255)书名。img_srcVARCHAR(255)封面图片的网络所在。authorVARCHAR(255)作者姓名。publisherVARCHAR(255)出书社名称。producerVARCHAR(255)制作人或出品方（如果有的话）。original_titleVARCHAR(255)原版书名（如果是翻译作品，则为原语言书名）。translatorVARCHAR(255)翻译者姓名（如果有）。publication_yearDATE出书年份。page_countINT页数。priceDECIMAL(10, 2)订价。bindingVARCHAR(255)装帧类型（如平装、精装等）。seriesVARCHAR(255)丛书系列名称（如果有的话）。isbnVARCHAR(20)国际标准书号。ratingDECIMAL(3, 1)平均评分。rating_sumINT参与评分的人数。comment_linkVARCHAR(255)用户批评链接。stars5_starstopDECIMAL(5, 2)五星评价所占的比例。stars4_starstopDECIMAL(5, 2)四星评价所占的比例。stars3_starstopDECIMAL(5, 2)三星评价所占的比例。stars2_starstopDECIMAL(5, 2)二星评价所占的比例。stars1_starstopDECIMAL(5, 2)一星评价所占的比例。 2.2.2 表实现

创建数据库douban。

1. create database douban;

复制代码

切换到数据库douban。

1. use douban;

复制代码

创建数据表cleaned_douban_books，用于存储洗濯后的数据。

1. CREATE TABLE cleaned_douban_books (
2.     book_id INT PRIMARY KEY,
3.     title VARCHAR(255),
4.     img_src VARCHAR(255),
5.     author VARCHAR(255),
6.     publisher VARCHAR(255),
7.     producer VARCHAR(255),
8.     original_title VARCHAR(255),
9.     translator VARCHAR(255),
10.     publication_year DATE,
11.     page_count INT,
12.     price DECIMAL(10, 2),
13.     binding VARCHAR(255),
14.     series VARCHAR(255),
15.     isbn VARCHAR(20),
16.     rating DECIMAL(3, 1),
17.     rating_sum INT,
18.     comment_link VARCHAR(255),
19.     stars5_starstop DECIMAL(5, 2),
20.     stars4_starstop DECIMAL(5, 2),
21.     stars3_starstop DECIMAL(5, 2),
22.     stars2_starstop DECIMAL(5, 2),
23.     stars1_starstop DECIMAL(5, 2)
24. );

复制代码

2.3 代码实现

1. import re
3. import pandas as pd
4. from sqlalchemy import create_engine
7. def read_csv_to_df(file_path):
8.     # 加载CSV文件到DataFrame
9.     df = pd.read_csv(file_path, encoding='utf-8')
10.     return df
13. def unify_date_format(date_str):
14.     # 检查是否为 NaN 或 None
15.     if pd.isna(date_str) or date_str is None:
16.         return None
18.     # 定义一个函数来处理特殊格式的日期
19.     def preprocess_date(date_str):
20.         # 如果是字符串并且包含中文格式的日期，则进行替换
21.         if isinstance(date_str, str) and '年' in date_str and '月' in date_str:
22.             return date_str.replace('年', '-').replace('月', '-').replace('日', '')
23.         return date_str
25.     # 预处理日期字符串
26.     processed_date = preprocess_date(date_str)
28.     try:
29.         # 使用pd.to_datetime尝试转换日期格式
30.         date_obj = pd.to_datetime(processed_date, errors='coerce')
32.         # 如果只有年份，则添加默认的月份和日子为01
33.         if isinstance(date_obj, pd.Timestamp) and len(str(processed_date).split('-')) == 1:
34.             date_obj = date_obj.replace(month=1, day=1)
36.         # 返回标准化的日期字符串
37.         return date_obj.strftime('%Y-%m-%d') if not pd.isna(date_obj) else None
39.     except Exception as e:
40.         print(f"Error parsing date '{date_str}': {e}")
41.         return '1970-01-01'
44. def clean_price(price_str):
45.     if pd.isna(price_str) or not isinstance(price_str, str):
46.         return 0
48.     # 移除所有非数字字符，保留数字和小数点
49.     cleaned = re.sub(r'[^\d./]+', '', price_str)
51.     # 处理包含多个价格的情况，这里选择平均值作为代表
52.     prices = []
53.     for part in cleaned.split('/'):
54.         # 进一步清理每个部分，移除非数字和非小数点字符
55.         sub_parts = re.findall(r'\d+\.\d+|\d+', part)
56.         if sub_parts:
57.             try:
58.                 # 取每个部分的第一个匹配的价格
59.                 price = float(sub_parts[0])
60.                 prices.append(price)
61.             except ValueError:
62.                 continue
64.     if not prices:
65.         return 0
67.     # 根据需要选择不同的策略，这里选择平均值
68.     avg_price = sum(prices) / len(prices)
70.     # 确保保留两位小数
71.     return round(avg_price, 2)
74. def clean_percentage(percentage_str):
75.     if pd.isna(percentage_str) or not isinstance(percentage_str, str):
76.         return 0
77.     # 移除百分比符号并转换为浮点数
78.     cleaned = re.sub(r'[^\d.]+', '', percentage_str)
79.     return round(float(cleaned), 2)
82. def clean_page_count(page_str):
83.     if not isinstance(page_str, str) or not page_str.strip():
84.         return 0
86.     # 移除非数字字符，保留数字和分号
87.     cleaned = re.sub(r'[^\d;；]+', '', page_str)
89.     # 分离多个页数
90.     pages = [int(p) for p in cleaned.split('；') if p]
92.     if not pages:
93.         return 0
95.     # 根据需要选择不同的策略，这里选择最大值
96.     max_page = max(pages)
98.     return max_page
101. # 定义函数：清理和转换数据格式
102. def clean_and_transform(df):
103.     # 删除book_id相同的数据
104.     df.drop_duplicates(subset=['book_id'])
106.     df['author'].fillna('未知', inplace=True)
107.     df['publisher'].fillna('未知', inplace=True)
108.     df['producer'].fillna('未知', inplace=True)
109.     df['original_title'].fillna('未知', inplace=True)
110.     df['translator'].fillna('未知', inplace=True)
112.     # 日期：空值使用1970-01-01来填充，缺失月或日用01填充
113.     df['publication_year'] = df['publication_year'].apply(unify_date_format)
115.     df['page_count'].fillna(0, inplace=True)
116.     df['page_count'] = df['page_count'].apply(clean_page_count)
117.     df['page_count'] = df['page_count'].astype(int)
118.     df['price'] = df['price'].apply(clean_price)
119.     df['binding'].fillna('未知', inplace=True)
120.     df['series'].fillna('未知', inplace=True)
121.     df['isbn'].fillna('未知', inplace=True)
122.     df['rating'].fillna(0, inplace=True)
123.     df['rating_sum'].fillna(0, inplace=True)
124.     df['rating_sum'] = df['rating_sum'].astype(int)
126.     df['stars5_starstop'] = df['stars5_starstop'].apply(lambda x: clean_percentage(x))
127.     df['stars4_starstop'] = df['stars4_starstop'].apply(lambda x: clean_percentage(x))
128.     df['stars3_starstop'] = df['stars3_starstop'].apply(lambda x: clean_percentage(x))
129.     df['stars2_starstop'] = df['stars2_starstop'].apply(lambda x: clean_percentage(x))
130.     df['stars1_starstop'] = df['stars1_starstop'].apply(lambda x: clean_percentage(x))
132.     return df
135. def save_df_to_db(df):
136.     # 设置数据库连接信息
137.     db_user = 'root'
138.     db_password = 'zxcvbq'
139.     db_host = '127.0.0.1'  # 或者你的数据库主机地址
140.     db_port = '3306'  # MySQL默认端口是3306
141.     db_name = 'douban'
143.     # 创建数据库引擎
144.     engine = create_engine(f'mysql+mysqlconnector://{db_user}:{db_password}@{db_host}:{db_port}/{db_name}')
145.     # 将df写入MySQL表
146.     df.to_sql(name='cleaned_douban_books', con=engine, if_exists='append', index=False)
147.     print("所有csv文件的数据已成功清洗并写入MySQL数据库")
150. if __name__ == '__main__':
151.     csv_file = r'..\douban\douban_book\data_csv\douban_books.csv'
152.     df = read_csv_to_df(csv_file)
153.     df = clean_and_transform(df)
154.     save_df_to_db(df)

复制代码

查看cleaned_douban_books表中的图书数据：

1. select * from cleaned_douban_books limit 10;

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。