【机器学习】数据准备--python爬虫

前言

我们在学习机器学习相关内容时，一般是不需要我们自己去爬取数据的，因为很多的算法学习很友好的帮助我们打包好了相关数据，但是这并不代表我们不需要进行学习和了解相关知识。在这里我们了解三种数据的爬取：鲜花/明星图像的爬取、中国艺人图像的爬取、股票数据的爬取。分别对着三种爬虫进行学习和使用。

• 体会
  个人感觉爬虫的难点就是URL的获取，URL的获取与自身的经验有关，这点我也很难把握，一般URL获取是通过访问该网站通过抓包进行分析获取的。一般也不一定需要抓包工具，通过浏览器的开发者工具（F12/Fn+F12）即可进行获取。
  

鲜花/明星图像爬取

URL获取

• 百度搜索鲜花关键词，并打开开发者工具，点击NrtWork
  

• 找到数据包进行分析,分析重要参数
  
  
  
  
  • pn 表示第几张图片加载
    
  • rn 表示加载多少图片
    
  
  
• 查看返回值进行分析，可以看到图片体制在ThumbURL中
  
  

下载过程

• http://image.baidu.com/search/acjson? 百度图片地址
  
• 拼接tn   进行访问可以得到每个图片的URL，在返回数据的thumbURL中
  https://image.baidu.com/search/acjson?+tn
  
• 进行分离图片的URL然后访问下载
  

代码

1. import requests
2. import os
3. import urllib
5. class GetImage():
6.     def __init__(self,keyword='鲜花',paginator=1):
7.         self.url = 'http://image.baidu.com/search/acjson?'
9.         self.headers = {
10.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
11.         }
13.         self.keyword = keyword
14.         self.paginator = paginator
17.     def get_param(self):
19.         keyword = urllib.parse.quote(self.keyword)
20.         params = []
22.         for i in range(1,self.paginator+1):
23.             params.append(
24.                'tn=resultjson_com&logid=10338332981203604364&ipn=rj&ct=201326592&is=&fp=result&fr=&word={}&queryWord={}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&expermode=&nojc=&isAsync=&pn={}&rn=30&gsm=78&1650241802208='.format(keyword,keyword,30*i)
26.             )
27.         return params
28.     def get_urls(self,params):
29.         urls = []
30.         for param in params:
31.             urls.append(self.url+param)
32.         return urls
34.     def get_image_url(self,urls):
35.         image_url = []
36.         for url in urls:
37.             json_data = requests.get(url,headers = self.headers).json()
38.             json_data = json_data.get('data')
39.             for i in json_data:
40.                 if i:
41.                     image_url.append(i.get('thumbURL'))
42.         return image_url
43.     def get_image(self,image_url):
44.         ##根据图片url，存入图片
45.         file_name = os.path.join("", self.keyword)
46.         #print(file_name)
47.         if not os.path.exists(file_name):
48.             os.makedirs(file_name)
50.         for index,url in enumerate(image_url,start=1):
51.             with open(file_name+'/{}.jpg'.format(index),'wb') as f:
52.                 f.write(requests.get(url,headers=self.headers).content)
54.             if index != 0 and index%30 == 0:
55.                 print("第{}页下载完成".format(index/30))
58.     def __call__(self, *args, **kwargs):
59.         params = self.get_param()
60.         urls = self.get_urls(params)
61.         image_url = self.get_image_url(urls)
62.         self.get_image(image_url=image_url)
65. if __name__ == '__main__':
66.     spider = GetImage('鲜花',3)
67.     spider()

复制代码

明星图像爬取

• 只需要把main函数里的关键字换一下就可以了，换成明星即可
  

1. if __name__ == '__main__':
2.     spider = GetImage('明星',3)
3.     spider()

复制代码

其他主题

• 同理的我们需要其他图片也可以换
  

1. if __name__ == '__main__':
2.     spider = GetImage('动漫',3)
3.     spider()

复制代码

艺人图像爬取

方法一

• 我们可以使用上面的爬取图片的方式，把关键词换为中国艺人也可以爬取图片
  

方法二

• 显然上面的方式可以满足我们部分需求，我们如果需要爬取不同艺人那么上面的方式就不是那么好了。
  
• 我们下载10个不同艺人的图片，然后用他们的名字命名图片名，再把他们存入picture文件内
  

代码

1. import requests
2. import json
3. import os
4. import urllib
6. def getPicinfo(url):
7.     headers = {
8.        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:101.0) Gecko/20100101 Firefox/101.0',
10.     }
11.     response = requests.get(url,headers)
13.     if response.status_code == 200:
14.         return response.text
15.     return None
18. Download_dir = 'picture'
19. if os.path.exists(Download_dir) == False:
20.     os.mkdir(Download_dir)
23. pn_num = 1
24. rn_num = 10
26. for k in range(pn_num):
27.     url = "https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php?resource_id=28266&from_mid=500&format=json&ie=utf-8&oe=utf-8&query=%E4%B8%AD%E5%9B%BD%E8%89%BA%E4%BA%BA&sort_key=&sort_type=1&stat0=&stat1=&stat2=&stat3=&pn="+str(pn_num)+"&rn="+str(rn_num)+"&_=1580457480665"
28.     res = getPicinfo(url)
29.     json_str = json.loads(res)
30.     figs = json_str['data'][0]['result']
32.     for i in figs:
33.         name = i['ename']
34.         img_url = i['pic_4n_78']
35.         img_res = requests.get(img_url)
36.         if img_res.status_code == 200:
37.             ext_str_splits = img_res.headers['Content-Type'].split('/')
38.             ext = ext_str_splits[-1]
39.             fname = name+'.'+ext
40.             open(os.path.join(Download_dir,fname),'wb').write(img_res.content)
42.             print(name,img_url,'saved')

复制代码

股票数据爬取

我们对http://quote.eastmoney.com/center/gridlist.html 内的股票数据进行爬取，并且把数据储存下来
爬取代码

1. # http://quote.eastmoney.com/center/gridlist.html
2. import requests
3. from fake_useragent import UserAgent
4. import json
5. import csv
6. import  urllib.request as r
7. import threading
9. def getHtml(url):
10.     r = requests.get(url, headers={
11.         'User-Agent': UserAgent().random,
12.     })
13.     r.encoding = r.apparent_encoding
14.     return r.text
17. # 爬取多少
18. num = 20
20. stockUrl = 'http://52.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112409623798991171317_1654957180928&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:80&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1654957180938'
23. if __name__ == '__main__':
24.     responseText = getHtml(stockUrl)
25.     jsonText = responseText.split("(")[1].split(")")[0];
26.     resJson = json.loads(jsonText)
27.     datas = resJson['data']['diff']
28.     dataList = []
29.     for data in datas:
31.         row = [data['f12'],data['f14']]
32.         dataList.append(row)
34.     print(dataList)
36.     f = open('stock.csv', 'w+', encoding='utf-8', newline="")
37.     writer = csv.writer(f)
38.     writer.writerow(("代码","名称"))
39.     for data in dataList:
40.         writer.writerow((data[0]+"\t",data[1]+"\t"))
41.     f.close()
44. def getStockList():
45.     stockList = []
46.     f = open('stock.csv', 'r', encoding='utf-8')
47.     f.seek(0)
48.     reader = csv.reader(f)
49.     for item in reader:
50.         stockList.append(item)
52.     f.close()
53.     return stockList
55. def downloadFile(url,filepath):
57.     try:
58.         r.urlretrieve(url,filepath)
59.     except Exception as e:
60.         print(e)
61.     print(filepath,"is downLoaded")
62.     pass
64. sem = threading.Semaphore(1)
66. def dowmloadFileSem(url,filepath):
67.     with sem:
68.         downloadFile(url,filepath)
70. urlStart = 'http://quotes.money.163.com/service/chddata.html?code='
71. urlEnd = '&end=20210221&fields=TCLOSW;HIGH;TOPEN;LCLOSE;CHG;PCHG;VOTURNOVER;VATURNOVER'
73. if __name__ == '__main__':
74.     stockList = getStockList()
75.     stockList.pop(0)
76.     print(stockList)
79.     for s in stockList:
80.         scode = str(s[0].split("\t")[0])
82.         url = urlStart+("0" if scode.startswith('6') else '1')+ scode + urlEnd
84.         print(url)
85.         filepath = (str(s[1].split("\t")[0])+"_"+scode)+".csv"
86.         threading.Thread(target=dowmloadFileSem,args=(url,filepath)).start()

复制代码

数据处理代码

有可能当时爬取的数据是脏数据，运行下面代码不一定能跑通，需要你自己处理数据还是其他方法

1. ## 主要利用matplotlib进行图像绘制
3. import pandas as pd
4. import matplotlib.pyplot as plt
5. import csv
6. import 股票数据爬取 as gp
8. plt.rcParams['font.sans-serif'] = ['simhei'] #指定字体
9. plt.rcParams['axes.unicode_minus'] = False #显示-号
10. plt.rcParams['figure.dpi'] = 100 #每英寸点数
12. files = []
14. def read_file(file_name):
15.     data = pd.read_csv(file_name,encoding='gbk')
16.     col_name = data.columns.values
17.     return data,col_name
19. def get_file_path():
20.     stock_list = gp.getStockList()
21.     paths = []
22.     for stock in stock_list[1:]:
23.         p = stock[1].strip()+"_"+stock[0].strip()+".csv"
24.         print(p)
25.         data,_=read_file(p)
26.         if len(data)>1:
27.             files.append(p)
28.             print(p)
30. get_file_path()
31. print(files)
33. def get_diff(file_name):
34.     data,col_name = read_file(file_name)
35.     index = len(data['日期'])-1
36.     sep = index//15
37.     plt.figure(figsize=(15,17))
39.     x = data['日期'].values.tolist()
40.     x.reverse()
41.     xticks = list(range(0,len(x),sep))
42.     xlabels = [x[i] for i in xticks]
43.     xticks.append(len(x))
46.     y1 = [float(c) if c!='None' else 0 for c in data['涨跌额'].values.tolist()]
47.     y2 = [float(c) if c != 'None' else 0 for c in data['涨跌幅'].values.tolist()]
49.     y1.reverse()
50.     y2.reverse()
52.     ax1 = plt.subplot(211)
53.     plt.plot(range(1,len(x)+1),y1,c='r')
54.     plt.title('{}-涨跌额/涨跌幅'.format(file_name.split('_')[0]),fontsize = 20)
55.     ax1.set_xticks(xticks)
56.     ax1.set_xticklabels(xlabels,rotation = 40)
57.     plt.ylabel('涨跌额')
59.     ax2 = plt.subplot(212)
60.     plt.plot(range(1, len(x) + 1), y1, c='g')
61.     #plt.title('{}-涨跌额/涨跌幅'.format(file_name.splir('_')[0]), fontsize=20)
62.     ax2.set_xticks(xticks)
63.     ax2.set_xticklabels(xlabels, rotation=40)
64.     plt.xlabel('日期')
65.     plt.ylabel('涨跌额')
66.     plt.show()
69. print(len(files))
70. for file in files:
71.     get_diff(file)

复制代码

总结

上文描述了三个数据爬取的案例，不同的数据爬取需要我们对不同的URL进行获取，不同参数进行输入，URL如何组合、如何获取、这是数据爬取的难点，需要有一定的经验和基础。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！