python爬虫分析器bs4，xpath，pquery

0x00 bs4

分析器的作用就是可以直接分析html页面，可以直接从网页中提取标签中的内容，而不消在利用正则表达式举行提起数据

1. import requests
2. from bs4 import BeautifulSoup
3. html_content = '''
4. <li id='123'><a href='dfsdf'>123</a>789</li>
5. <li id='55'><a href='f'>456</a>888</li>
6. '''
7. # 解析HTML
8. soup = BeautifulSoup(html_content, 'html.parser')  
9. li=soup.find_all('li')  #查找所用的li标签
10. print(li[0].text)       #把第一个li标签中内容读取出来
11. a=li[0].find("a")       #在第一个li标签中查找a标签
12. print(a.text)           
13. print(a.get("href"))   #在读取a标签href的属性值
17. li=soup.find('li',{"id":"123"})  #查找id为123的li标签
18. for i in li:
19.     print(i.text)

复制代码

案列爬取图片
https://haowallpaper.com/

1. import requests
2. from bs4 import BeautifulSoup
3. url='https://haowallpaper.com/'
4. html_content=requests.get(url).text
5. html=BeautifulSoup(html_content,"html.parser")
6. div=html.find_all("div",{"class":"card"})
7. n=1
8. for a_list in div:
9.     src=a_list.find("img")
10.     src=src.get("src")
11.     rep=requests.get(src)
12.     with open(f"{n}.jpg",'wb+') as f:
13.         f.write(rep.content)   #要用content而不是text文本
14.         n+=1

复制代码

0x01 xpath

案列爬取什么值得买手机价格和手机型号，当源码过多时可以把源码下载下来，删除无用代码然后在举行分析

1. import requests
2. from lxml import etree
3. from PIL import Image, ImageDraw, ImageFont
4. headers={"user-agent":
5. "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36"}
6. url='https://www.smzdm.com/fenlei/zhinengshouji/'
7. req=requests.get(url)
8. html=etree.HTML(req.content)
9. price_list=html.xpath('//a[@class="z-highlight "]/text()')
10. title_list=html.xpath('//h5[@class="feed-block-title"]/a[1]/text()')
11. # a_list=html.xpath("//div[@class='z-feed-img']//img/@src")
12. count=0
13. for i in price_list:
14.    count+=1
15. with open("3.txt","a+",encoding='gbk') as f:
16.     for i in range(0,count):
17.         f.write(price_list[i].strip())
18.         f.write(title_list[i].strip()+'\n')

复制代码

0x02 PyQuery

1.PyQuery基础利用

1. from pyquery import   PyQuery
2. html='''
3. <div class='aaa'><a href='www.123.com'>aaa</a>aaa1</div>
4. <div class='bbb'><a href='www.456.com'>bbb</a>bbb1</div>
5. <div class='ccc' id='cc'><a href='www.789.com'>ccc</a>ccc1</div>
6. '''
7. p=PyQuery(html)
8. #a=p("div a")和a=p("div")("a")是一样的
9. div1=p("div") #选取所有的div标签
10. div=p("div .aaa") #选取div的class属性值为aaa的div标签
11. div2=p("div #cc") #选取div的id值为cc的div标签
12. print("-------")
13. print(div)
14. print("-------")
15. print(div2)
16. print("-------")
17. a=p("div a").attr("href") #提取div标签下的a标签的href属性值，只会提取一个href值
18. print(a)
19. a1=p("div a").items()#一个包含所有a标签的迭代器,有很多内容时可以这样提取
20. for a2 in a1:
21.     href=a2.attr("href")
22.     text=a2.text() #获取a标签中的文本
23.     print(href)
24.     print(text)

复制代码

修改html页面代码

1. from pyquery import   PyQuery
2. html='''
3. <div class='aaa'><a href='www.123.com'>aaa</a>aaa1</div>
4. <div class='bbb'><a href='www.456.com'>bbb</a>bbb1</div>
5. <div class='ccc' id='cc'><a href='www.789.com'>ccc</a>ccc1</div>
6. '''
7. p=PyQuery(html)
8. p("div .aaa").after("<div>qqq</div>") #在第一个div后加一个div标签
9. p("div .aaa").append("<div>aaa</div>") #在第一个div里面加一个div标签
10. p("div .aaa").attr("id","111")#在第一个div加一个属性id为111
11. p("div .aaa").remove()#删除第一个div
12. p("div .aaa").remove_attr("id")#删除第一个div的id

复制代码

2.案列豆瓣读书爬取短评，书评，评分，书名，内容，作者简介

留意这里热门短评是会刷新的，只读取5条，每次读取的都有不一样的地方

1. import requests
2. from pyquery import PyQuery
3. headers={"user-agent":
4. "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36"}
5. url='https://book.douban.com/subject/4913064/'
6. rep=requests.get(url,headers=headers)
7. p=PyQuery(rep.text)
8. with open("1.txt",'a+',encoding='utf-8') as f:
9.     title=p("title").text()
10.     score=p("div #interest_sectl div div strong").text()
11.     f.write(f"书名：{title}\n评分{score}\n")
12.     content=p("div .intro").eq(0)("p").text() #选择第一个class为intro的div下所有的p标签
13.     composer=p("div .intro").eq(1)("p").text()#选择第二个class为intro的div下所有的p标签
14.     f.write(f"内容简介：{content}\n作者简介：{composer}")
15.     comments=p("li p span ").items()
16.     f.write("\n短评：\n")
17.     for i in comments:
18.         comment=i.text()
19.         f.write(f"{comment}\n")
20.     shupin_1=p("div.main-bd ").items()
21.     f.write("书评：\n")
22.     for j in shupin_1:
23.         shupin_2=j("h2 a").text()
24.         shupin_3=j("div div .short-content").text().replace("这篇书评可能有关键情节透露","").replace("...  (展开)","")
25.         f.write(f"{shupin_2+shupin_3}\n")

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。