@
目录
前言
本文分享一个爬虫案例，通过使用parsel库中的xpath来爬取美国排名前一百名的公司，来详细表明下Xpath的使用。
导航
Xpath的使用
Xpath的介绍
XPath 是一门在 XML /HTML文档中查找信息的语言。
Xpath节点
在 XPath 中，有七种类型的节点：元素、属性、文本、定名空间、处理指令、表明以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。
看下面这个HTML文档- <!DOCTYPE html>
- <html > // 根节点
- <head>
- <meta charset="UTF-8">
- <meta name="viewport" content="width=device-width, initial-scale=1.0">
- <title lang='eng'>我是标题</title> // 元素节点
- </head>
- <body>
-
- // class为属性节点
-
- <a target="_blank" href="https://www.cnblogs.com/https:xx.xxx.com">哈喽</a> // href为属性节点
- <h1>在你的身边</h1> // h1标签内的文字为文本
-
- ping
- 多幸运
-
-
-
- </body>
- </html>
- 父节点：每个元素以及属性都有一个父。
在上面的例子中，id为father的div元素是 a、h1、div 以及 span元素的父节点
- 子节点：元素节点可有零个、一个或多个子。
在上面的例子中，a、h1、div 以及 span元素是id为father的div元素的子节点
- 兄弟节点：拥有相同的父的节点。
在上面的例子中，a、h1、div 以及 span元素都是兄弟节点
- 祖先 - 子孙节点：就是至少隔两代的元素节点，比如父节点的父节点和子节点的子节点。
再上面的例子中，html元素节点就是 a、h1、div 以及 span元素的的祖先节点，反之。
Xpath语法
XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的，下面列出一些常用的路径表达式。
路径表达式描述/从根节点选取（取子节点）//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）.选取当前节点..选取当前节点的父节点@选取属性下面来举几个例子来讲讲下xpath的应用：
"/html":选取根元素
"//div": 选取所有 div子元素，而不管它们在文档中的位置。
"//div[@class='ancestor']":选取class为ancestor的所有div元素
"//div[@class='ancestor']//div":选取class为ancestor的div元素下的所有div元素（不管什么位置）
"//title[@lang='eng']":选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性
"//div[@class='ancestor']//div[@id='father']/*":选取class为ancestor的div元素下id为father的div元素下的所有元素
"//div[@class='ancestor']/div[2]":选取class为ancestor的div元素下的第二个div元素
实战应用
- 下面通过一个实战应用来继续认识下Xpath的使用：通过爬取美国排名前一百的公司，公司名字，公司市值，公司所属国家等数据。也会附上找到xpath的路径截图。
完整源码
- import requests # 数据请求库
- import parsel # 数据解析库
- # 目标网站
- url='https://companiesmarketcap.com/'
- # 请求体，用于伪装浏览器访问
- headers={
- 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
- }
- # 响应数据
- response = requests.get(url=url, headers=headers)
- # 实例化对象
- selector = parsel.Selector(response.text)
- # 利用xpath先获取所有名字的selector对象
- name=selector.xpath("//div[@class='company-name']")
- # 再利用css选择器来获取所有的文字：即美国排名前一百的公司名称
- name_detail=name.css('*::text').getall()
- # 获取美国前一百公司的市值,利用xpath获取：后面附图具体讲解了每个元素的定位
- value_data=selector.xpath("//td[@class='td-right']")
- # 再利用css选择器获取所有市值，储存到value_detail列表中
- value_detail=value_data.css('*::text').getall()
- # 获取每个公司的所属国家
- fallGains = selector.xpath("//span[@class='responsive-hidden']")
- fallGains=fallGains.css('*::text').getall()
- # 对列表进行遍历 输出公司名称和市值
- for num in range(1,101):
- new_num=3*num-2
- name_company=name_detail[num-1]
- print(f"美国公司第{num}名：{name_company},市值为：{value_detail[new_num]},所属国家为：{fallGains[num]}")
运行截图
共勉
少年有梦不应止于心动
ps
玩法：先利用xpath选择元素，再利用css选择器选择文本或属性。- name=selector.xpath("//div[@class='company-name']")
- name_detail=name.css('*::text').getall()
- 本人是一个渗透爱好者，不时会在微信公众号（laity的渗透测试之路）更新一些实战渗透的实战案例，感兴趣的同学可以关注一下，大家一起进步。
- 之前在公众号发布了一个kali破解WiFi的文章，感兴趣的同学可以去看一下，在b站（up主:laity1717）也发布了相应的教学视频。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
