爬取美国公司案例-parsel库教学篇（Xpath的详细使用）
@目录
[*]前言
[*]导航
[*]Xpath的使用
[*]Xpath的介绍
[*]Xpath节点
[*]Xpath语法
[*]实战应用
[*]完整源码
[*]运行截图
[*]共勉
[*]ps
[*]博客
前言
本文分享一个爬虫案例，通过使用parsel库中的xpath来爬取美国排名前一百名的公司，来详细表明下Xpath的使用。
导航
[*]爬取小说案例-BeautifulSoup教学篇
[*]爬取二手房案例--parsel教学篇（CSS选择器）
[*]爬取美国公司案例-parsel库教学篇（Xpath的详细使用）
[*]爬取东方财富网-parsel教学篇（正则表达式的详细使用+实例）
[*]爬取QQ音乐的评论-JSON库的详细使用
Xpath的使用
Xpath的介绍
XPath 是一门在 XML /HTML文档中查找信息的语言。
Xpath节点
在 XPath 中，有七种类型的节点：元素、属性、文本、定名空间、处理指令、表明以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。
看下面这个HTML文档
<!DOCTYPE html>
<html > // 根节点
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title lang='eng'>我是标题</title> // 元素节点
</head>
<body>
// class为属性节点
<a target="_blank" href="https://www.cnblogs.com/https:xx.xxx.com">哈喽</a> // href为属性节点
<h1>在你的身边</h1>// h1标签内的文字为文本
ping
多幸运
</body>
</html>元素之间会有一些节点关系，下面是常见的节点关系：
[*]父节点：每个元素以及属性都有一个父。
在上面的例子中，id为father的div元素是 a、h1、div 以及 span元素的父节点
[*]子节点：元素节点可有零个、一个或多个子。
在上面的例子中，a、h1、div 以及 span元素是id为father的div元素的子节点
[*]兄弟节点：拥有相同的父的节点。
在上面的例子中，a、h1、div 以及 span元素都是兄弟节点
[*]祖先 - 子孙节点：就是至少隔两代的元素节点，比如父节点的父节点和子节点的子节点。
再上面的例子中，html元素节点就是 a、h1、div 以及 span元素的的祖先节点，反之。
Xpath语法
XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的，下面列出一些常用的路径表达式。
路径表达式描述/从根节点选取（取子节点）//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）.选取当前节点..选取当前节点的父节点@选取属性下面来举几个例子来讲讲下xpath的应用：
"/html":选取根元素
"//div": 选取所有 div子元素，而不管它们在文档中的位置。
"//div[@class='ancestor']":选取class为ancestor的所有div元素
"//div[@class='ancestor']//div":选取class为ancestor的div元素下的所有div元素（不管什么位置）
"//title[@lang='eng']":选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性
"//div[@class='ancestor']//div[@id='father']/*":选取class为ancestor的div元素下id为father的div元素下的所有元素
"//div[@class='ancestor']/div":选取class为ancestor的div元素下的第二个div元素
实战应用
[*]下面通过一个实战应用来继续认识下Xpath的使用：通过爬取美国排名前一百的公司，公司名字，公司市值，公司所属国家等数据。也会附上找到xpath的路径截图。
完整源码
import requests # 数据请求库
import parsel# 数据解析库
# 目标网站
url='https://companiesmarketcap.com/'
# 请求体，用于伪装浏览器访问
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
}
# 响应数据
response = requests.get(url=url, headers=headers)
# 实例化对象
selector = parsel.Selector(response.text)
# 利用xpath先获取所有名字的selector对象
name=selector.xpath("//div[@class='company-name']")
# 再利用css选择器来获取所有的文字：即美国排名前一百的公司名称
name_detail=name.css('*::text').getall()
# 获取美国前一百公司的市值,利用xpath获取：后面附图具体讲解了每个元素的定位
value_data=selector.xpath("//td[@class='td-right']")
#再利用css选择器获取所有市值，储存到value_detail列表中
value_detail=value_data.css('*::text').getall()
# 获取每个公司的所属国家
fallGains = selector.xpath("//span[@class='responsive-hidden']")
fallGains=fallGains.css('*::text').getall()
# 对列表进行遍历 输出公司名称和市值
for num in range(1,101):
new_num=3*num-2
name_company=name_detail
print(f"美国公司第{num}名：{name_company},市值为：{value_detail},所属国家为：{fallGains}")https://img2024.cnblogs.com/blog/3475526/202501/3475526-20250117151648311-1290409122.png
https://img2024.cnblogs.com/blog/3475526/202501/3475526-20250117151653975-1961856400.png
运行截图
https://img2024.cnblogs.com/blog/3475526/202501/3475526-20250117151700675-1189051990.png
共勉
少年有梦不应止于心动
ps
玩法：先利用xpath选择元素，再利用css选择器选择文本或属性。
name=selector.xpath("//div[@class='company-name']")
name_detail=name.css('*::text').getall()博客
[*]本人是一个渗透爱好者，不时会在微信公众号（laity的渗透测试之路）更新一些实战渗透的实战案例，感兴趣的同学可以关注一下，大家一起进步。
[*]之前在公众号发布了一个kali破解WiFi的文章，感兴趣的同学可以去看一下，在b站（up主:laity1717）也发布了相应的教学视频。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]