爬虫实战总结

万万哇  金牌会员 | 2024-10-15 23:33:51 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 629|帖子 629|积分 1887

总结一下爬虫学习中的实例实战 
  1.金山翻译

  1. # -*- coding: utf-8 -*-
  2. import requests
  4. # 获取翻译包的url,需要去掉多余的保护壳:
  5. # https://ifanyi.iciba.com/index.php?c=trans&m=fy&client=6&auth_user=key_web_new_fanyi&sign=9X%2BHAviAKqteMMuVvr%2B0X9RriqVIAJSQ%2BxmfU0q7dIE%3D
  6. url = 'https://ifanyi.iciba.com/index.php?c=trans'
  7. # 构建请求头
  8. headers = {
  9.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
  10.     'Referer': 'https://www.iciba.com/',
  11.     'Host': 'ifanyi.iciba.com'
  12. }
  13. while True:
  14.     # 实现用户输入的功能
  15.     content = input('请输入您想翻译的内容（输入"exit"结束程序）：')
  16.     # 检查是否需要退出
  17.     if content.lower() == 'exit':
  18.         break
  20.     # 构建参数字典
  21.     post_data = {
  22.         'from': 'auto',
  23.         'to': 'auto',
  24.         'q': content,
  25.     }
  26.     # 发送请求
  27.     res = requests.post(url, headers=headers, data=post_data)
  28.     res_1 = res.content.decode()
  29.     # 输出翻译结果
  30.     print(eval(res_1)['out'])
复制代码
2.github模仿登录

  1. # -*- coding: utf-8 -*-
  2. import re
  4. # 1.获取并模拟登录操作 2.保存登录会话信息 3.验证是否登录成功
  5. import requests
  6. from requests import Session
  8. def do_auth_token(session: Session):
  9.     global response
  10.     response = session.get('https://github.com/login')
  11.     if response.status_code != 200:
  12.         print("请求失败，请稍后再试！")
  13.         exit(0)
  14.     login_html = response.content.decode()
  15.     auth_token = re.findall(r'name="authenticity_token" value="(.*?)"', login_html)[0]
  16.     return auth_token
  19. def do_auth_login(session: Session):
  20.     post_data = {
  21.         "commit": "Sign in",
  22.         "authenticity_token": auth_token,
  23.         "login": "2834438515@qq.com",
  24.         "password": "991016csq",  # 登录密码，为了个人账号安全我这里不是真实密码
  25.         "webauthn-conditional": "undefined",
  26.         "javascript-support": "true",
  27.         "webauthn-support": "supported",
  28.         "webauthn-iuvpaa-support": "unsupported",
  29.         "return_to": "https://github.com/login"
  30.     }
  31.     response = session.post(url='https://github.com/session', data=post_data)
  32.     if response.status_code != 200:
  33.         print("请求失败，请检查参数！")
  34.     else:
  35.         print("请求session 成功！")
  38. def do_login_status(session: Session):
  39.     response = session.get('https://github.com/csqting')
  40.     html_content = response.content
  41.     response1 = re.findall(r'<title>(.+?)(GitHub)?</title>', html_content.decode('utf-8'))
  42.     try:
  43.         end_str = response1[0][1]
  44.     except IndexError:
  45.         end_str = ""
  47.     if end_str == "":
  48.         # 个人主页的title内容如果结尾没有GitHub，说明登录成功
  49.         print("登录成功！")
  50.     else:
  51.         print("登录失败！")
  53.     with open("github_profile.html", "wb") as f:
  54.         f.write(html_content)
  58. if __name__ == '__main__':
  59.     # 使用session进行状态保持
  60.     session = requests.session()
  61.     session.headers = {
  62.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36'
  63.     }
  64.     # 1. 获取并模拟登录操作
  65.     auth_token = do_auth_token(session)
  66.     # 2. 保存登录会话信息
  67.     do_auth_login(session)
  68.     # 3. 验证是否登录成功
  69.     do_login_status(session)
复制代码
3.百度贴吧爬取

  1. # -*- coding: utf-8 -*-
  2. import requests
  3. from lxml import etree
  6. # url
  7. # headers
  8. # 发送请求获取响应
  9. # 从响应中提取数据
  10. # 判断结束
  11. class Tieba(object):
  12.     def __init__(self, name):
  13.         self.url = "https://tieba.baidu.com/f?kw={}".format(name)
  14.         print(self.url)
  15.         self.headers = {
  16.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
  17.             # "User-Agent": "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T132461)"
  19.         }
  21.     def get_data(self, url):
  22.         response = requests.get(url, headers=self.headers)
  23.         with open("temp.html", "wb") as f:
  24.             f.write(response.content)
  25.         return response.content
  27.     def parse_data(self, data):
  28.         # 创建element对象
  29.         data = data.decode().replace("<!--", "").replace("-->", "")
  30.         html = etree.HTML(data)
  31.         el_list = html.xpath('//*[@id="thread_list"]/li/div/div[2]/div[1]/div[1]/a')
  32.         # print(len(el_list))
  34.         data_list = []
  35.         for el in el_list:
  36.             temp = {}
  37.             temp['title'] = el.xpath('./text()')[0]
  38.             temp['link'] = 'https://tieba.baidu.com' + el.xpath('./@href')[0]
  39.             data_list.append(temp)
  41.         # 获取下一页url
  42.         try:
  43.             next_url = 'https:' + html.xpath('//a[contains(text(),"下一页>")]/@href')[0]
  44.         except:
  45.             next_url = None
  47.         return data_list, next_url
  49.     def save_data(self, data_list):
  50.         for data in data_list:
  51.             print(data)
  53.     def run(self):
  55.         next_url = self.url
  56.         while True:
  57.             # 发送请求获取响应
  58.             data = self.get_data(next_url)
  59.             # 从响应中提取数据，数据和翻页用的url
  60.             data_list, next_url = self.parse_data(data)
  61.             self.save_data(data_list)
  62.             print(next_url)
  63.             # 判断是否结束
  64.             if next_url == None:
  65.                 break
  68. if __name__ == '__main__':
  69.     tieba = Tieba("美食天下")
  70.     tieba.run()
复制代码
4.斗鱼直播

  1. # -*- coding: utf-8 -*-
  2. from selenium import webdriver
  3. from selenium.webdriver.common.by import By
  4. import time
  6. class Douyu(object):
  7.     def __init__(self):
  8.         self.url = 'https://www.douyu.com/directory/all'
  9.         self.driver = webdriver.Chrome()
  10.         self.driver.implicitly_wait(10)  # 设置隐式等待，最大等待10秒
  12.     def parse_data(self):
  13.         room_list = self.driver.find_elements(By.XPATH, '//*[@id="listAll"]/section[2]/div[2]/ul/li/div')
  14.         print(len(room_list))
  15.         data_list = []
  17.         # 遍历房间列表，从每一个房间节点获取数据
  18.         for room in room_list:
  19.             temp = {}
  20.             # temp['title'] = room.find_element(By.XPATH, './div[2]/div[1]/a').text
  21.             # temp['type'] = room.find_element(By.XPATH, './div[2]/div[2]/span/a').text
  22.             # temp['owner'] = room.find_element(By.XPATH, './div[1]/div/a/div/div[2]/div/div[1]/div').text
  23.             # temp['num'] = room.find_element(By.XPATH, './div[1]/div/a/div/div[2]/div/div[2]/span').text
  24.             temp['picture'] = room.find_element(By.XPATH, './div[1]/picture/source[1]').get_attribute('srcset')
  25.             # print(temp)
  26.             data_list.append(temp)
  27.         return data_list
  30.     def run(self):
  31.         self.driver.get(self.url)
  32.         total_rooms = 0
  33.         last_count = 0  # 上一次获取的房间数量
  34.         while True:
  35.             # 滚动到页面底部
  36.             self.driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
  37.             time.sleep(2)  # 等待页面加载新内容
  39.             # 获取当前房间数据
  40.             new_data = self.parse_data()
  41.             total_rooms += len(new_data)
  42.             print(f"Total rooms : {total_rooms}")
  44.             # 检查当前房间数量
  45.             if total_rooms == last_count:  # 如果新加载的房间数量没有增加，停止滚动
  46.                 print("No more new data to load.")
  47.                 break
  48.             last_count = total_rooms  # 更新最后一次的房间数量
  50.         print(f"Final total rooms fetched: {total_rooms}")
  51.         self.driver.quit()  # 退出浏览器
  54. if __name__ == '__main__':
  55.     douyu = Douyu()
  56.     douyu.run()
复制代码
5.黑马贴吧

  1. import requests
  2. import re
  5. def fetch_page(url):
  6.     headers = {
  7.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36',
  8.     }
  10.     response = requests.get(url, headers=headers)
  11.     if response.status_code == 200:
  12.         # 使用正则表达式提取文章标题
  13.         titles = re.findall(r'class="s xst">([^<]+)</a>', response.text)
  14.         # 提取发布时间和作者
  15.         details = re.findall(
  16.             r'<span style="margin-left: 0;">([^<]+)</span></a><span style="margin-left: 5px;">@ ([^<]+)</span>',
  17.             response.text)
  18.         authors = [detail[0] for detail in details]
  19.         dates = [detail[1] for detail in details]
  21.         # 输出提取的结果
  22.         for title, date, author in zip(titles, dates, authors):
  23.             print(f"文章标题: {title}")
  24.             print(f"发布时间: {date}")
  25.             print(f"文章作者: {author}")
  26.             print('-' * 40)
  28.         # 使用正则表达式提取下一页的链接,search第一次出现
  29.         next_page_link = re.search(r'<a href="([^"]+)" class="nxt">下一页</a>', response.text)
  30.         if next_page_link:
  31.             return next_page_link.group(1)  # 返回完整的链接
  32.         else:
  33.             return None
  34.     else:
  35.         print("访问失败", response.status_code)
  36.         return None
  39. # 初始页面
  40. current_url = 'https://bbs.itheima.com/forum-425-1.html'
  42. # 循环遍历每一页，直到没有下一页
  43. while current_url:
  44.     print(f"正在爬取: {current_url}")
  45.     next_url = fetch_page(current_url)
  46.     current_url = next_url
复制代码
6.网易云

  1. # -*- coding: utf-8 -*-
  2. # document.charset 查看源码编码格式
  3. import requests
  4. import time
  5. import re
  6. import os
  8. filename = 'musics\\'
  9. # 如果没有则创建文件夹,os与操作系统实现交互功能（创建文件夹和目录）
  10. if not os.path.exists(filename):
  11.     os.makedirs(filename)
  13. url = 'https://music.163.com/discover/toplist?id=3778678'
  14. headers = {
  15.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36'}
  17. response = requests.get(url, headers=headers)
  18. time.sleep(5)
  19. # re.findall
  20. # 这个函数用于在字符串中查找所有与正则表达式模式匹配的部分，并返回一个包含所有匹配项的列表
  21. # r 前缀表示这是一个原始字符串，其中的反斜杠不会被解释为转义字符
  22. # (\d+): 捕获组，匹配一个或多个数字
  23. # (.*?): 捕获组，非贪婪匹配任何字符（包括空字符），直到遇到 </a>
  24. # print(response.text)
  25. html_data = re.findall(r'<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text)
  27. for num_id, title in html_data:
  28.     #  f-string 直接嵌入表达式
  29.     music_download = f'https://music.163.com/song/media/outer/url?id={num_id}.mp3'
  30.     music_content = requests.get(music_download, headers=headers)
  31.     with open('musics\\' + title + '.mp3', 'wb') as f:
  32.         f.write(music_content.content)
  33.         print(num_id, title)
复制代码
 7.微博热榜

  1. # # -*- coding: utf-8 -*-
  2. # import time
  3. # from lxml import etree
  4. # import requests
  5. #
  6. # url = 'https://m.weibo.cn/p/106003type=25&t=3&disable_hot=1&filter_type=realtimehot'
  7. # headers = {
  8. #     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36'}
  9. # response = requests.get(url, headers=headers)
  10. # time.sleep(3)
  11. # print(response.text)
  12. # html = etree.HTML(response.text)
  13. # el_list = html.xpath('//*[@id="app"]/div[1]/div[2]/div[3]/div/div/div/div/div/div/div/span[2]/span[1]/text()')
  14. # print(len(el_list))
  16. import time
  17. from selenium import webdriver
  18. from selenium.webdriver.common.by import By
  20. url = 'https://m.weibo.cn/p/106003type=25&t=3&disable_hot=1&filter_type=realtimehot'
  21. driver = webdriver.Chrome()
  22. driver.get(url)
  23. time.sleep(3)
  24. el_list = driver.find_elements(By.XPATH,'//*[@id="app"]/div[1]/div[2]/div[3]/div/div/div/div/div/div/div/span[2]/span[1]')
  25. # print(len(el_list))
  26. el_list1 = driver.find_elements(By.XPATH,'//*[@id="app"]/div[1]/div[2]/div[3]/div/div/div/div/div/div/div/span[2]/span[2]')
  27. # print(len(el_list1))
  28. # save_out = []
  29. i=1
  30. for title,hot in zip(el_list,el_list1):
  31.     # save_out.append(f"{i}\n")  # 添加行号
  32.     # save_out.append(f"文章标题: {title.text}\n")  # 添加文章标题
  33.     # save_out.append(f"热度: {hot.text}\n")  # 添加热度
  34.     print(f"{i}")
  35.     print(f"文章标题: {title.text}")
  36.     print(f"热度: {hot.text}")
  37.     i += 1
  38.     print('-' * 40)
  40. # with open("weibo.txt","w") as file:
  41. #     file.writelines(save_out)
  43. driver.quit()
复制代码
8.驾校自动答题

  1. # -*- coding: utf-8 -*-
  2. import time
  3. from selenium import webdriver
  4. from selenium.webdriver.common.by import By
  6. url = 'https://www.jsyks.com/kmy-mnks'
  7. driver = webdriver.Chrome()
  8. driver.get(url)
  10. # 1.获取答案xpath
  11. # 2.替换匹配答案
  12. # 3.执行滑动点击操作
  13. time.sleep(3)
  14. el_list = driver.find_elements(By.XPATH, '/html/body/div[4]/div[1]/div[1]/ul/li')
  15. # print(len(el_list))
  16. # 使用get_attribute('标签名')获取标签值，保存正确选项
  17. k_values = []
  18. for li in el_list:
  19.     k_values.append(li.get_attribute('k'))  # 'E'表示错误，'R'表示正确
  21. # 使用列表推导式替换字符，E R都不是保持原样字符
  22. replaced_list = ["正确" if x == 'R' else "错误" if x == 'E' else x for x in k_values]
  24. for index, li in enumerate(el_list):
  25.     answer = replaced_list[index]
  26.     if answer == '正确' or answer == '错误':
  27.         option = li.find_element(By.XPATH, f".//b[contains(text(),'{answer}')]")
  28.     else:
  29.         # 使用 starts-with 函数查找以特定字符开始的文本，答案为A、B、C、D的情况
  30.         option = li.find_element(By.XPATH, f".//b[starts-with(normalize-space(text()), '{answer}')]")
  31.     # 滚动到指定元素
  32.     driver.execute_script('arguments[0].scrollIntoView();', option)
  33.     # 使用JavaScript点击选项
  34.     driver.execute_script("arguments[0].click();", option)
复制代码
  后期学习路线：继续在实战中总结反爬本领，学习反调式，以及之后的爬虫完备项目学习。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

万万哇

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表