爬虫post哀求
爬虫post哀求这一篇文章, 我们开始学习爬虫当中的post哀求。
在讲post哀求之前, 我们先来回顾一下get哀求。
get哀求:
get哀求的参数有三个, get(url, headers, params), 其中, params是可写可不写的。headers是哀求头, 这个哀求头在开辟者工具内里的网络, 找到相应的哀求, 然后在末了面有个user-agent, 那个就是哀求头内里的内容, 也称之为伪装。
咱们正式进入正题, post哀求!
post哀求:
post哀求, 和get哀求也相似, 哀求的参数也有三个, get(url, headers, data), 其中, data是必须写的。headers也是哀求头, 这个哀求头在开辟者工具内里的网络, 找到相应的哀求, 然后在末了面有个user-agent, 那个就是哀求头内里的内容, 也称之为伪装。
我们举个案例:
url:https://www.bkchina.cn/product/hamburg.html
我们必要爬取这个网站的信息, 在小食栏内里爬取下面小食的名字。
https://img-blog.csdnimg.cn/img_convert/4e5023fa08e04651cb32913629f4eb85.png
起首我们照旧和往常一样, 去找到相应的哀求。
https://img-blog.csdnimg.cn/img_convert/c29fc3a68eb959519c50086c284bb3fa.png
我们可以发现, 这个就是我们必要找到的哀求。
这个哀求的url是https://www.bkchina.cn/product/productList
好, 那我们就结合这个案例, 去讲解怎样使用post哀求
代码:
# 所有商品的url
url = 'https://www.bkchina.cn/product/productList'
import requests
# 第1个参数：url 目标网址
# 第2个参数：data post请求的参数
# 一般post请求都需要带上参数，参数不会直接跟在url后面
# 从载荷中看post请求的参数：
# 表单数据：定义字典，保存参数
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36'
}
# 定义字典，保存参数
data = {
'type':'snack'
}
res = requests.post(url,headers=headers,data=data)
# print(res.text)
# 获取响应的内容 交给res_data保存
res_data = res.json()
count = 1
for i in res_data['小食']:
print(count,i['FName'])
结果:
https://img-blog.csdnimg.cn/img_convert/e34c4ef5087cdf3f5787f609dbfc134c.png
我们乐成的爬取到了我们想要的数据。
表明一下那个data内里的参数是从那里来的?
答案: 我们在对应的哀求内里找到载荷, 内里就能够看到参数了。所有data = {“type”: “snack”}是这么来的。
https://img-blog.csdnimg.cn/img_convert/46847670aa4de7d5622ce9fce6eb86e7.png
我们完满一下上面的代码:
我们不但必要爬取到小食的名称, 我们还想爬取那个食物对应的简介。
我们点击洋葱圈, 然后再页面的右边有串文字, 就是对该食品的介绍。
https://img-blog.csdnimg.cn/img_convert/b85f14ca43396d551f8d66c5cba3c36e.png
我们照旧一样, 打开开辟者工具:
找到对应的哀求叫detail
https://img-blog.csdnimg.cn/img_convert/53b683ba9943d5e86db667670e5356a8.png
这个哀求的url是https://www.bkchina.cn/product/detail
这个哀求的载荷是proId: 23。那我们哀求的时间就要加上data={“proId”: 23}。
代码:
# 所有商品的url
url = 'https://www.bkchina.cn/product/productList'
# 商品的详情页的url
d_url = 'https://www.bkchina.cn/product/detail'
import requests
# 第1个参数：url 目标网址
# 第2个参数：data post请求的参数
# 一般post请求都需要带上参数，参数不会直接跟在url后面
# 从载荷中看post请求的参数：
# 表单数据：定义字典，保存参数
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36'
}
# 定义字典，保存参数
data = {
'type':'snack'
}
res = requests.post(url,headers=headers,data=data)
# print(res.text)
# 获取响应的内容 交给res_data保存
res_data = res.json()
count = 1
for i in res_data['小食']:
print(count,i['FName'])
count+=1
# 基于每一个食物获取到它的介绍词？这个请求应该写在哪里？
# 只能获取到编号为27的商品详情数据
# d_data = {
# 'proId':27
# }
# 每循环一次拿到一个商品，就需要额外获取当前循环的商品id
# post请求的参数，浏览器的载荷
d_data = {
'proId': i['FId']
}
d_res = requests.post(d_url,data=d_data)
# 详情页数据
d_res_data = d_res.json()
# 获取介绍词
print(d_res_data['FDesc'])
结果:
https://img-blog.csdnimg.cn/img_convert/bf0d4a6f0256dc190dc396a06d054671.png
我们来看下这串代码是怎么回事。
# post请求的参数，浏览器的载荷
d_data = {
'proId': i['FId']
}
我们再打开之前哀求的url
https://img-blog.csdnimg.cn/img_convert/3a0c0588f6649645aa892f64d4f5f2b7.png
找到相应。发现内里每一个食品都有一个FId,正好我们要传入的data内里就有FId, 那我们的思路就是把每一个食品的FId全部取出来, 正幸亏前面一个哀求的时间, 通过了一个循环, 全部取出来了。
实战:
1- 点击某个详细地点，获取当前详细地点下的所有麦当劳的餐厅
2- 完满：根据搜索的关键字获取所有详细地点下的所有麦当劳的餐厅
必要爬取的网页的网址:https://www.mcdonalds.com.cn/top/map(这是一个麦当劳餐厅)
先不要看答案, 自己实验先做一做哦。
参考答案:
题1.
例:
https://img-blog.csdnimg.cn/img_convert/a77fa0408be7c00520e90c07667c938c.png
输入浙江, 浙江萧山医院点进去
https://img-blog.csdnimg.cn/img_convert/84bd3a1d98135f5e641e39d2e957f689.png
爬取红色框内里的信息(也就是麦当劳的详细地点)。
代码:
import requests
url = 'https://www.mcdonalds.com.cn/ajaxs/search_by_point'
header = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}
data = {
"point": "30.183907,120.279628"
}
response = requests.post(url, headers=header, data=data)
print(response.json())
res_data = response.json()
for i in res_data['data']:
print(i["address"])
结果:
https://img-blog.csdnimg.cn/img_convert/b6754d9a120cc87128569b09e10dc56b.png
题2:
在控制台输入关键字地区, 返回地点(这个地点相当于在网页搜索出来的全部详细地点, 一个关键字能够搜索10个地区, 每一个地区内里都有很多个麦当劳的详细地点)。
代码:
import requests
url = "https://www.mcdonalds.com.cn/ajaxs/search_by_keywords"
d_url = 'https://www.mcdonalds.com.cn/ajaxs/search_by_point'
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}
location = input("请输入关键字地址:")
data = {
"keywords": location,
"city": "杭州市",
"location": "OK",
"location": 120.26457,
"location": 30.18534
}
response = requests.post(url, headers=headers, data=data)
# print(response.json())
res_data = response.json()
print(f"{location}的麦当劳餐厅的地址:")
for i in res_data['data']:
# 纬度
lat = i['location']['lat']
# 经度
lng = i['location']['lng']
d_data = {
"point": f"{lat},{lng}"
}
response = requests.post(d_url, headers=headers, data=d_data)
d_res_data = response.json()
for i in d_res_data['data']:
# 地址
print(i['address'])
结果:
https://img-blog.csdnimg.cn/img_convert/ae81dacadc377abeb20ea15f189ba786.png
我们去对比一下, 和搜索框搜出来的所有地区以及地区所对应的详细地点是一样的, 这就说明我们乐成的爬取到了每一个地区内里的麦当劳的详细地点。
对照一下网页上面搜索的详细地点信息(部门数据对比):
https://img-blog.csdnimg.cn/img_convert/b8b800f620f49110b43e8b8ed796d002.png
我们发现, 是逐一对应的, 这就能够证明, 我们爬虫爬取到的信息是正确的。
这个实战题你写出来了吗?假如写出来的话, 给自己一个掌声哦。
页:
[1]