爬虫案例2-爬取视频的三种方式之一：selenium篇(2) - ToB企服应用市场:ToB评测及商务社交产业平台

from selenium import webdriver # 浏览器驱动
from selenium.webdriver.common.by import By # 用来定位web页面上的元素
import time # 时间函数
import os # 文件管理模块
import requests # 数据请求模块
if not os.path.exists('./videos1'): # 创建文件夹
os.mkdir('./videos1')
def video(data): # 定义请求每个详细视频的函数
for url in data: # 遍历每个详细视频的地址
driver=webdriver.Chrome() # 初始化浏览器实例
driver.get(url) # 打开url页面
src=driver.find_element(by=By.CLASS_NAME, value='art-video') # 获取每个详细视频的详细地址
src=src.get_attribute('src')
name=driver.find_element(by=By.CLASS_NAME, value='videoinfo-title') # 获取每个详细视频的标题
name=name.text
video_detail=requests.get(src).content # 对每个详细视频进行请求
with open('./videos1/'+name+'.mp4','wb') as f: # 存储视频
f.write(video_detail)
print(name,src)
driver.quit() # 关闭浏览器
driver=webdriver.Chrome() # 初始化浏览器实例
driver.get("https://haokan.baidu.com/") # 打开网址
for i in range(1,6):
driver.execute_script("document.documentElement.scrollTop=2000") # 页面下滑
time.sleep(1)
time.sleep(2)
data_video=driver.find_elements(by=By.CLASS_NAME,value='videoItem_videoitem__Z_x08') # 对视频信息进行定位
data=[] # 定义空列表，用来存储每个时评的地址
for a in data_video: #
href=a.get_attribute("href") # 获取视频地址
data.append(href)
print(data)
time.sleep(2)
driver.quit() # 关闭浏览器
video(data) # 调用video()函数

复制代码