爬虫案例——爬取情话网数据

需求：
1.爬取情话网站中表白里面的全部句子（表白词_表白的话_表白句子情话大全_情话网）
2.利用XPath来举行解析
3.使用面向对象形发哀求——创建一个类
4.将爬取下来的数据保存在数据库中

写出对应解析语法
  

1. //div[@class="box labelbox"]/h4/a/@href

复制代码

如此照推，详情页文本对应的解析语法
  

1. //div[@class="stbody "]//p[1]/text()|//div[@class="stbody first"]//p[1]/text()

复制代码

示例代码：

1. import requests
2. from lxml import etree
3. import pymysql
4. #面向对象发请求 1.创建一个类
5. class Spiderqinghua():
6.     def __init__(self):
7.         self.url ='http://www.ainicr.cn/qh/t8.html'
8.         self.headers = {
9.             'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
10.         }
11.         #建立与MySQL的连接
12.         self.db = pymysql.connect(user='root',password='wx990826',database='pingping')
13.         self.cursor=self.db.cursor()#获取操作游标
15.     def get_data(self,url):
16.         r = requests.get(url=url,headers=self.headers)
17.         return r.text
18.     def get_list_data(self,data):#列表页
19.         #//div[@class="box labelbox"]/h4/a/@href
20.         xml=etree.HTML(data)
21.         hrefs = xml.xpath('//div[@class="box labelbox"]/h4/a/@href')
22.         # print(hrefs)
23.         return hrefs
24.     def parse_data(self,data):#详情页
25.         xml=etree.HTML(data)
26.         content = xml.xpath('//div[@class="stbody "]//p[1]/text()|//div[@class="stbody first"]//p[1]/text()')
27.         for contents in content:
28.             print('文本:',contents)
29.             print('=====================')
30.             self.save_data(contents)
31.     def save_data(self,qinghua):
32.         sql = 'insert into qinghua_data(text) value ("%s")'
33.         self.cursor.execute(sql,[qinghua])#执行sql语句
34.         self.db.commit()#提交
35.     def main(self):
36.         html_data=self.get_data(self.url)
37.         hrefs = self.get_list_data(html_data)
38.         for href in hrefs:
39.             print('详情页连接：',href)
40.             x_data = self.get_data(href)
41.             # print(x_data)
42.             self.parse_data(x_data)
43. #//div[@class="stbody "]//p[1]/text()|//div[@class="stbody first"]//p[1]/text()
45. if __name__ == '__main__':
46.     spider=Spiderqinghua()
47.     spider.main()
48.     # h = spider.get_data()
49.     # # print(h)
50.     # spider.get_list_data(h)

复制代码

运行结果：

 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。