ToB企服应用市场:ToB评测及商务社交产业平台

标题: Python采集某网站小视频内容, m3u8内容下载 [打印本页]
作者: 曂沅仴駦    时间: 2022-8-20 13:38
标题: Python采集某网站小视频内容, m3u8内容下载
前言

嗨喽，大家好呐！这里是魔王~

 
 
环境使用:

模块使用:

内置模块 你安装好python环境就可以了
如果安装python第三方模块:

实现案例

一. 数据来源分析

采集数据内容, 要知道我们想要内容是来自哪里

正常情况, 一个完整的内容
m3u8内容 会整个完整内容,分割成很多个小视频片段  一个ts文件 可能只有几秒钟的时间
所以我们得去找一个文件内容  包含我们所有ts文件内容
最好的搜索方式, 是根据ts文件url去搜索m3u8文件
请求获取网页源代码 就可以得到m3u8文件 >>> 所有片段就得到了 >>> 合成为一个整体的内容
 
 
二. 代码实现步骤:

 
 
代码
  1. import time
  3. import requests  # 数据请求模块
  4. import re  # 正则表达式模块
  5. import json
  6. import pprint
  8. for page in range(3, 29):
  9.     print(f'正在采集第{page}页的数据')
  10.     time.sleep(1)
  11.     link = 'https://www.acfun.cn/u/29946310'
  12.     data = {
  13.         'quickViewId': 'ac-space-video-list',
  14.         'reqID': page+1,
  15.         'ajaxpipe': '1',
  16.         'type': 'video',
  17.         'order': 'newest',
  18.         'page': page,
  19.         'pageSize': '20',
  20.         't': '1653659024877',
  21.     }
  22.     headers = {
  23.         'referer': 'https://www.acfun.cn/u/29946310',
  24.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
  25.     }
  26.     response = requests.get(url=link, params=data, headers=headers)
  27.     # pprint.pprint(response.text)
  28.     ac_id_list = re.findall('atomid.*?:.*?"(\d+).*?"', response.text)
  29.     print(ac_id_list)
  32.     for ac_id in ac_id_list:
  33.         url = f'https://www.acfun.cn/v/ac{ac_id}'
  34.         headers = {
  35.             'referer': f'https://www.acfun.cn/u/{ac_id}',
  36.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
  37.         }
  38.         response = requests.get(url=url, headers=headers)
  39.         title = re.findall('<title >(.*?) - AcFun弹幕视频网 - 认真你就输啦 \(\?ω\?\)ノ- \( ゜- ゜\)つロ</title>', response.text)[0]
  40.         html_data = re.findall('window.pageInfo = window.videoInfo = (.*?);', response.text)[0]
  41.         json_data = json.loads(html_data)
  42.         m3u8_url = json.loads(json_data['currentVideoInfo']['ksPlayJson'])['adaptationSet'][0]['representation'][0]['backupUrl'][0]
  43.         m3u8_data = requests.get(url=m3u8_url, headers=headers).text
  44.         m3u8_data = re.sub('#E.*', '', m3u8_data).split()
  45.         print(title)
  46.         print(m3u8_url)
  47.         # for ts in m3u8_data:
  48.         #     ts_url = 'https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/' + ts
  49.             # ts_content = requests.get(url=ts_url, headers=headers).content
  50.             # with open('video\\' + title + '.mp4', mode='ab') as f:
  51.             #     f.write(ts_content)
  52.             # print(ts_url)
复制代码
 
 
 
 
 
Python的应用学习方向有哪些?

网站开发:

如目前优秀的全栈的 django、框架flask ，都继承了python简单、明确的风格，开发效率高、易维护，与自动化运维结合性好。
python已经成为自动化运维平台领域的事实标准；
爬虫程序

在爬虫领域，Python几乎是霸主地位，将网络一切数据作为资源，通过自动化程序进行有针对性的数据采集以及处理。
从事该领域应学习爬虫策略、高性能异步IO、分布式爬虫等，并针对Scrapy框架源码进行深入剖析，从而理解其原理并实现自定义爬虫框架。
数据分析

Python语言相对于其它解释性语言最大的特点是其庞大而活跃的科学计算生态，在数据分析、交互、可视化方面有相当完善和优秀的库.
自动化脚本

执行许多重复的任务，例如阅读 pdf、播放音乐、查看天气、打开书签、清理文件夹等等，使用自动化脚本
就无需手动一次又一次地完成这些任务，非常方便。
人工智能

各种人工智能算法都基于Python编写，尤其PyTorch之后，Python作为AI时代头牌语言的位置基本确定。
游戏开发/辅助 自动化测试 运维 图像处理 树莓派
 
 
尾语

成功没有快车道，幸福没有高速路。
所有的成功，都来自不倦地努力和奔跑，所有的幸福都来自平凡的奋斗和坚持
——励志语录
本文章就写完啦~感兴趣的小伙伴可以复制代码去试试

你们的支持是我最大的动力！！记得三连哦~
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4