哔哩哔哩IT私塾python爬虫视频教程中的项目文件

视频链接：
Python课程天花板,Python入门+Python爬虫+Python数据分析5天项目实操/Python根本.Python教程_哔哩哔哩_bilibili

视频教程中要访问的链接：
豆瓣影戏 Top 250
httpbin.org
seo推广公司网站模板_站长素材
Examples - Apache ECharts
WordCloud for Python documentation — wordcloud 1.8.1 documentation

BeautifulSoup：
用于剖析HTML/XML文档，提取和使用网页数据，常用于网页抓取。
re（正则表达式库）：
提供正则表达式支持，用于字符串匹配、搜刮和更换，得当数据洗濯和验证。
urllib：
处置处罚URL和从网络获取数据，包罗打开URL、处置处罚非常息争析URLs，便于网页数据抓取。
xlwt：
将数据写入旧版Excel文件（.xls），提供创建工作簿、工作表和写入数据的API。
Flask：
轻量级Web应用框架，使用WSGI，提供路由和模板引擎，得当快速开辟Web应用。
jieba：
中文分词库，将中文文本切分为词语，是天生词云前的紧张步调。
matplotlib：
画图库，提供丰富的画图功能，用于体现或生存天生的图表，如词云图。
wordcloud：
天生词云的库，词云中词语巨细体现其在文本中的出现频率，用于文本可视化。
PIL (Pillow)：
图像处置处罚库，用于打开、操纵和生存多种格式图像，常用于天生词云时的遮罩图片处置处罚。
numpy：
数学函数库，提供大型多维数组和矩阵运算支持，常用于图像处置处罚（如转换为数组）和数据分析。
sqlite3：
SQLite数据库接口库，提供轻量级、嵌入式的关系型数据库管理功能，用于数据检索和存储。

第一个项目douban（纯python项目）：爬取数据并生存到xls和数据库
spider.py

1. # -*- coding = utf-8 -*-
3. from bs4 import BeautifulSoup
4. import re
5. import urllib.request, urllib.error, urllib.parse
6. import xlwt
7. import sqlite3
10. def main():
11.     baseurl = 'https://movie.douban.com/top250?start='
12.     # 1、爬取网页
13.     datalist = getData(baseurl)
15.     savepath1 = "./豆瓣电影Top250.xls"
16.     saveData(datalist,savepath1)
18.     savepath2 = "./豆瓣电影Top250.db"
19.     initDB(savepath2)
20.     saveData2DB(datalist,savepath2)
23. # 影片链接的匹配规则
24. findLink = re.compile(r'<a href="(.*?)">')    # 匹配规则的正则表达式对象
25. # 影片图片
26. findImg = re.compile(r'<img.*src="(.*?)"', re.S)    #re.S忽略换行符
27. # 影片片名
28. findTitle = re.compile(r'<span class="title">(.*)</span>')
29. # 影片的评分
30. findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
31. # 影片评价人数
32. findJudge = re.compile(r'<span>(\d*)人评价</span>', re.S)
33. # 影片的概况
34. findInq = re.compile(r'<span class="inq">(.*)</span>')
35. # 影片的相关内容
36. findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
39. def getData(baseurl):
40.     datalist = []
41.     num = 0
42.     # 2、逐一解析数据
43.     for i in range(0, 25):   # 调用获取页面信息的函数 10次
44.         url = baseurl + str(i*25)
45.         html = askURL(url)  # 保存获取到的单个页面的网页源码
46.         # html = urllib.request.urlopen(url).read()
47.         # 逐一解析数据
48.         soup = BeautifulSoup(html, 'html.parser')
49.         for item in soup.find_all("div", class_="item"):# 定位获取所需的标签内容
50.             # print(item) # 测试：单个电影item
51.             data = []
52.             item = str(item)
54.             link = re.findall(findLink, item)[0].replace('\xa0', "")    # \xa0（不间断空白符）
55.             data.append(link)
57.             imgSrc = re.findall(findImg, item)[0].replace('\xa0', "")
58.             data.append(imgSrc)
60.             title = re.findall(findTitle, item)
61.             if(len(title) >= 2):
62.                 ctitle = title[0].replace('\xa0', "")
63.                 data.append(ctitle)
64.                 ftitle = title[1].replace('/',"").replace('\xa0', "")
65.                 data.append(ftitle)
66.             elif(len(title) == 1):
67.                 data.append(title[0].replace('\xa0', ""))
68.                 data.append(" ")    # 第二个名称留空
70.             rating = re.findall(findRating, item)[0].replace('\xa0', "")
71.             data.append(rating)
73.             judge = re.findall(findJudge, item)[0].replace('\xa0', "")
74.             data.append(judge)
76.             inq = re.findall(findInq, item)
77.             if len(inq) != 0:
78.                 inq = inq[0].replace('。',"").replace('\xa0', "")
79.                 data.append(inq)
80.             else:
81.                 data.append(" ")
83.             bd = re.findall(findBd, item)[0].replace('\xa0', "")
84.             bd = re.sub(r'<br(\s+)?/>(\s+)?', " ", bd)
85.             bd = re.sub('/', ' ', bd)
86.             data.append(bd.strip())
88.             if data:
89.                 num +=1
90.             datalist.append(data)
92.     print(datalist)
93.     print(num)
94.     return datalist
97. # 得到指定一个URL的网页内容
98. def askURL(url):
99.     # 模拟浏览器头部信息
100.     head = {    # 这里访问的是www.douban.com，加上cookie才成功访问，不然会403
101.         "cookie":'''bid=lmDVVK_MwCE; dbcl2="287312225:gaIljLl3paE"; ck=A87B; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1740403496%2C%22https%3A%2F%2Faccounts.douban.com%2F%22%5D; _pk_id.100001.4cf6=c5aee2ffb5a4b0b1.1740403496.; push_noty_num=0; push_doumail_num=0; __yadk_uid=FMUehx3EWLsxQlgs8OU0iEQf5rgnlRfM''',
102.         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36 Edg/133.0.0.0" }
103.     # 用户代理： 表示告诉浏览器我们是什么类型的机器、浏览器（我们能接受什么信息）
104.     req = urllib.request.Request(url, headers=head)
106.     html = ""
107.     try:
108.         response = urllib.request.urlopen(req)
109.         html = response.read().decode("utf-8")
110.         # print(html)
111.     except urllib.error.URLError as e:
112.         if hasattr(e, 'code'):  # hasattr 含有指定变量与否
113.             print(e.code)
114.         if hasattr(e, 'reason'):
115.             print(e.reason)
117.     return html
120. def saveData(datalist,savepath):
121.     print("save...")
122.     book = xlwt.Workbook(encoding='utf-8', style_compression = 0)
123.     sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)
124.     col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概括", "相关信息")
125.     for i in range(0, 8):
126.         sheet.write(0, i, col[i])
127.     for i in range(0,250):
128.         print("第%d条"%(i+1))
129.         data = datalist[i]
130.         for j in range(0,8):
131.             sheet.write(i+1, j, data[j])
133.     book.save(savepath)
136. def saveData2DB(datalist,savepath):
137.     conn = sqlite3.connect(savepath)
138.     c = conn.cursor()
139.     print("豆瓣电影-------------------------------------------",len(datalist))
140.     for data in datalist:
141.         for i in range(len(data)):
142.             if i == 4 or i == 5:
143.                 pass
144.             else:
145.                 data[i] = '"'+str(data[i])+'"'
146.         sql = '''
147.             insert into movie250 (info_link,pic_link,cname,fname,score,rated,instroduction,relax_info)
148.             values (%s)'''%",".join(data)
149.         print(sql)
150.         c.execute(sql)
152.     conn.commit()
153.     conn.close()
155.     print("成功保存到数据库")
158. def initDB(dbpath):
159.     sql = '''
160.         create table if not exists movie250 (
161.             id integer primary key autoincrement,
162.             info_link text,
163.             pic_link text,
164.             cname varchar,
165.             fname varchar,
166.             score numeric,
167.             rated numeric,
168.             instroduction text,
169.             relax_info text
170.         )
171.     '''
172.     conn = sqlite3.connect(dbpath)
173.     c = conn.cursor()
174.     c.execute(sql)
175.     conn.commit()
176.     conn.close()
179. if __name__ == '__main__':
180.     main()

复制代码

第二个项目douban_flask（flask项目）：把第一个项目得到的数据库文件的数据可视化
这里只给出python文件，其他文件看教程视频自行下载或看上传的资源又大概GitHub - chenzanhong/Douban_DataVis: 把项目douban获取到的数据（movie.db）可视化：
app.py：

1. from flask import Flask,render_template
2. import sqlite3
5. app = Flask(__name__)
8. @app.route('/')
9. def index():  # put application's code here
10.     return render_template('index.html')
13. @app.route('/index')
14. def home():  # put application's code here
15.     return render_template('index.html')
16.     # return index()    # 请求转发
19. @app.route('/movie')
20. def movie():  # put application's code here
21.     datalist = []
22.     conn = sqlite3.connect('豆瓣电影Top250.db')
23.     c = conn.cursor()
24.     sql = '''select * from movie250'''
25.     data = c.execute(sql)
26.     for item in data:
27.         datalist.append(item)
28.     c.close()
29.     conn.close()
30.     return render_template('movie.html', movies=datalist)
33. @app.route('/score')
34. def score():  # put application's code here
35.     score = []  # 评分
36.     num = []    # 每个评分的电影数
37.     conn = sqlite3.connect('豆瓣电影Top250.db')
38.     c = conn.cursor()
39.     sql = '''select score,count(score) from movie250 group by score'''
40.     data = c.execute(sql)
41.     for item in data:
42.         score.append(item[0])
43.         num.append(item[1])
44.     c.close()
45.     conn.close()
46.     return render_template('score.html', score=score, num=num)
49. @app.route('/word')
50. def word():  # put application's code here
51.     return render_template('word.html')
54. @app.route('/team')
55. def team():  # put application's code here
56.     return render_template('team.html')
61. if __name__ == '__main__':
62.     app.run()

复制代码

test_WordCloud.py：

1. import jieba    # 分词
3. # 设置 Matplotlib 后端（如果需要）
4. import matplotlib
5. matplotlib.use('TkAgg')  # 或者 'Agg', 'Qt5Agg', 等，取决于你的系统支持
7. from matplotlib import pyplot as plt    # 绘图，数据可视化
8. from wordcloud import WordCloud # 词云
9. from PIL import Image   # 图片处理
10. import numpy as np  # 矩阵运算
11. import sqlite3  # 数据库
14. # 准备词云所需的句子
15. conn = sqlite3.connect('豆瓣电影Top250.db')
16. c = conn.cursor()
17. sql = '''select instroduction from movie250'''
18. data = c.execute(sql)
19. text = ""
20. for item in data:
21.     text += item[0]
22.     # print(item[0])
23. print(text)
24. c.close()
25. conn.close()
27. # 分词
28. cut = jieba.cut(text)
29. str = ' '.join(cut)
30. print(len(str))
33. # 准备
34. img = Image.open(r'static\assets\img\b.jpg') # 打开遮罩图片
35. img_array = np.array(img)   # 将图片转换为数据
36. wc = WordCloud(
37.     background_color = 'white',
38.     mask = img_array,
39.     font_path = r"C:\Windows\Fonts\STXINWEI.TTF",    # 改为自己电脑下的路径
40.     scale = 4,  # 缩放
41.     # width
42.     # height
44. )
45. wc.generate_from_text(str)
48. # 绘制图片
49. fig = plt.figure(1)
50. plt.imshow(wc)
51. plt.axis('off') # 是否显示坐标轴
52. # plt.show()  # 显示生成的图片
53. plt.savefig(r'static\assets\img\b2wc.jpg',dpi=500)  # dpi为清晰度，可选

复制代码

效果：
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告