ToB企服应用市场:ToB评测及商务社交产业平台

标题: Python 爬虫项目实战（一）：破解网易云 VIP 免费下载付费歌曲 [打印本页]

---

作者: 反转基因福娃    时间: 2024-8-3 23:11
标题: Python 爬虫项目实战（一）：破解网易云 VIP 免费下载付费歌曲
前言

网络爬虫（Web Crawler），也称为网页蜘蛛（Web Spider）或网页机器人（Web Bot），是一种按照既定规则主动欣赏网络并提取信息的程序。爬虫的主要用途包罗数据收罗、网络索引、内容抓取等。
爬虫的基本原理

• 种子 URL：爬虫从一个或多个种子 URL 开始，这些 URL 是起点。
  
• 发送请求：爬虫向这些种子 URL 发送 HTTP 请求，通常是 GET 请求。
  
• 获取相应：服务器返回网页的 HTML 内容作为相应。
  
• 剖析内容：爬虫剖析 HTML 内容，提取所需的数据（如文本、链接、图片等）。
  
• 提取链接：从网页中提取出所有链接，并将这些链接加入待访问队列。
  
• 重复过程：爬虫重复上述步骤，直到到达某个制止条件，如爬取了一定数目的页面，或所有页面都被爬取完毕。
  

爬虫的分类

• 通用爬虫
  
  
  
  • 设计用于抓取整个互联网的大量网页。搜索引擎（如 Google、Bing）的爬虫就是通用爬虫。
    
  
  
• 聚焦爬虫
  
  
  
  • 专注于特定主题或范畴，抓取相干网页。比如，一个新闻爬虫只抓取新闻网站的内容。
    
  
  
• 增量爬虫
  
  
  
  • 仅抓取自上次爬取以来发生变革或更新的网页，适用于动态内容更新频繁的网站。
    
  
  

爬虫的合法性和道德
在编写和运行爬虫时，必须遵照以下原则：

• 遵守网站的 robots.txt：
  
  
  
  • 大多数网站都有一个 robots.txt 文件，规定了哪些页面答应被爬取，哪些不答应。爬虫应当尊重这些规则。
    
  
  
• 制止过分抓取：
  
  
  
  • 设置适当的抓取频率，制止对服务器造成过大负担。
    
  
  
• 尊重版权和隐私：
  
  
  
  • 不应抓取或使用受版权保护的内容，或涉及用户隐私的数据。
    
  
  
• 获取许可：
  
  
  
  • 在某些环境下，最好获得网站管理员的许可，特别是当你打算频繁地抓取大量数据时。
    
  
  

通过以上方法和原则，可以编写高效、可靠且合规的网络爬虫来满足数据收罗的需求。 
侦探

打开页面

F12 查抄定位关键元素

在网络中刷新页面

搜索关键字

查看在页面中的渲染环境是不是我们想要的数据，可以看到这里列出了200首歌那么就是的

在标头中确定数据来源地点及请求方法

源代码

1. import re
2. import os
3. import requests
6. filename = 'music\\'
8. # 如果没有则创建文件夹
9. if not os.path.exists(filename):
10.     os.makedirs(filename)
12. # 请求网址（如果想要爬取其他的榜单的歌曲内容，只需要改这个 url 即可）
13. url = 'https://music.163.com/playlist?id=3778678'
15. # 伪造请求头
16. headers = {
17.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36'
18. }
20. # 发送请求
21. response = requests.get(url, headers=headers)
23. # re.findall
24. # 这个函数用于在字符串中查找所有与正则表达式模式匹配的部分，并返回一个包含所有匹配项的列表
25. # r 前缀表示这是一个原始字符串，其中的反斜杠不会被解释为转义字符
26. # (\d+): 捕获组，匹配一个或多个数字
27. # (.*?): 捕获组，非贪婪匹配任何字符（包括空字符），直到遇到 </a>
28. html_data = re.findall(r'<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text)
30. # 正则表达式提取出来的一个内容返回是列表 里面每一个元素都是元组
31. for num_id, title in html_data:
32.     # 调用接口
33.     music_url = f'https://music.163.com/song/media/outer/url?id={num_id}.mp3'
35.     # 发送请求获取二进制数据
36.     music_content = requests.get(music_url, headers=headers)
38.     # 保存
39.     with open('music\\' + title + '.mp3', 'wb') as f:
40.         f.write(music_content.content)
41.         print(num_id, title)

复制代码

项目效果

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4