抓取小说

思绪：

• 解析小说HTML解构，抓取主要元素（例如：小说目次元素及小说内容元素）
  
• 抓取小说目次及链接，将链接合并生成详细章节的链接（为避免对网站造成压力，仅爬取前几章）
  
• 运行代码抓取所有小说内容
  

1. # 导入requests库，用于发送HTTP请求
2. import requests
3. # 导入BeautifulSoup类，用于解析HTML和XML文档
4. from bs4 import BeautifulSoup
6. # 定义要爬取的小说目录页URL
7. url = 'https://www.biqu04.cc/book/46176/'
8. # 定义请求头，模拟浏览器访问
9. headers = {
10.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
11. }
13. try:
14.     # 发送HTTP GET请求到指定URL，并传入请求头
15.     response = requests.get(url, headers=headers)
16.     # 检查请求是否成功，如果不成功则抛出异常
17.     response.raise_for_status()
18.    
19.     # 使用BeautifulSoup解析响应的HTML内容
20.     soup = BeautifulSoup(response.text, 'html.parser')
21.     # 查找class为'listmain'的div元素
22.     listmain_div = soup.find('div', class_='listmain')
23.    
24.     # 初始化一个空列表，用于存储提取的链接信息
25.     links = []
26.     # 检查是否找到了'listmain' div元素
27.     if listmain_div:
28.         # 遍历'listmain' div元素下的所有a标签
29.         for a_tag in listmain_div.find_all('a'):
30.             # 获取a标签的href属性值
31.             href = a_tag.get('href')
32.             # 当遇到目标链接时，停止采集
33.             if href == '/book/46176/20.html':
34.                 # 将目标链接的文本和href信息添加到links列表中
35.                 links.append({
36.                     'text': a_tag.get_text(strip=True),
37.                     'href': href
38.                 })
39.                 # 跳出循环
40.                 break
41.             # 创建一个字典，包含链接的文本和href信息
42.             link = {
43.                 'text': a_tag.get_text(strip=True),
44.                 'href': href
45.             }
46.             # 将链接信息添加到links列表中
47.             links.append(link)
48.    
49.     # 遍历所有提取的链接
50.     for link in links:
51.         # 拼接完整的章节URL
52.         full_url = f"https://www.biqu04.cc{link['href']}"
53.         try:
54.             # 发送HTTP GET请求到章节URL，并传入请求头
55.             chapter_response = requests.get(full_url, headers=headers)
56.             # 检查请求是否成功，如果不成功则抛出异常
57.             chapter_response.raise_for_status()
58.             # 使用BeautifulSoup解析章节页面的HTML内容
59.             chapter_soup = BeautifulSoup(chapter_response.text, 'html.parser')
60.             # 查找class为'Readarea ReadAjax_content'的div元素，即章节内容区域
61.             content_div = chapter_soup.find('div', class_='Readarea ReadAjax_content')
62.             # 检查是否找到了章节内容区域
63.             if content_div:
64.                 # 打印章节标题
65.                 print(f"\n=== 章节：{link['text']} ===")
66.                 # 打印章节内容，去除首尾空白字符
67.                 print(content_div.get_text(strip=True))
68.         except Exception as e:
69.             # 打印抓取章节失败的信息和错误原因
70.             print(f"抓取章节失败：{link['text']}，错误：{e}")
72. except requests.exceptions.RequestException as e:
73.     # 打印请求失败的信息和错误原因
74.     print(f"请求失败: {e}")
75. except Exception as e:
76.     # 打印发生其他错误的信息和错误原因
77.     print(f"发生错误: {e}")

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。