python爬虫学习第十一篇爬取指定范例数据
最近在学习Python爬虫的过程中，实验用爬虫获取指定范例的数据。今天，我想和大家分享一下我的实践过程和遇到的问题。一、实现目标
目标是从一个网站的API接口获取差别范例的食品数据。
比如，第一步我想获取汉堡、小食、甜品等差别范例的数据，
第二步根据用户输入的选择返回相应的效果。
二、代码实现
起首，我用到了requests库来发送HTTP请求。我界说了一个字典types，用来保存全部产物的关键字，这些关键字对应API接口需要的参数。然后，我通过用户输入选择对应的范例，并发送POST请求获取数据。
以下是代码示例：
第一步获取全部数据
import requests
url = 'https://example.com/api/data'
# 使用列表保存所有产品的关键字 请求参数
types = ['season', 'ham','snack', 'dessert', 'breakfirst','meats', 'coffee', 'happy_meal']
# 循环列表，每循环一次，发起一个请求
for type in types:
data = {
'type': type
}
res = requests.post(url, data=data)
res_data = res.json()
for k, v in res_data.items(): # 因为键会变化，所以不能够直接写死，要通过循环获取当前响应中的键
print('当前类型:----', k)
if v!= None:
for i in v:
print(i['FName'])
else:
print('没有内容') 在这里的时候我遇到了报错，他提示有数据为空，然后我其时的处置处罚方式是同try，except情势行止置处罚 except就直接break了，
try：
for i in v:
print(i['FName'])
except：
break 这里是上篇博客处置处罚报错的方式，报错就直接退出，但是这里这么写会导致获取停止反面的信息就不获取了，把break改成print（“没有内容”），如许就可以了。
上面代码写的是使用判断语句行止置处罚报错，由于如果他网页内容输出不是none而是一个空【】那么网页是不会报错的，他还会循环下去，这时候就需要用判断条件行止置处罚列表为空的情况了
第二步
import requests
# 目标URL
url = 'https://example.com/api/data'#示例代码
# 使用字典保存所有产品的关键字请求参数
types = {
'季节新品': 'season',
'汉堡': 'ham',
'小食': 'snack',
'甜品': 'dessert',
'早餐': 'breakfast',
'饮料': 'meats',# 注意：这里可能是参数错误，饮料应该是 'drink'
'咖啡': 'coffee',
'儿童餐': 'happy_meal',
}
# 结合用户输入选择对应的类型
name = input(f"请输入你要获取的菜单：{','.join(list(types.keys()))} ")
# 判断当前用户输入的内容是否属于菜单的一种
if name in types:
# 从字典中取出关键字
data = {
'type': types
}
# 发起POST请求
res = requests.post(url, data=data)
res_data = res.json()
# 解析数据：注意键不同，不能直接写死
for k, v in res_data.items():
print('当前类型:----', k)
if v is not None:# 如果v不为None，执行for循环
for i in v:
print(i['FName'])
else:
print('没有内容')
else:
print('没有这个选择') 问题一
在写代码的时候，我一直在琢磨怎么让用户输入的内容和我界说的选项匹配起来。究竟，我需要判断用户输入的是否是我提供的那些选项之一。比如，用户输入了一个食品范例，我得确认这个范例是不是在我的列表里。
一开始，我有点犯难，不知道该怎么实现。后来，我想到了一个好办法：可以用 in 关键字来判断！我让用户输入的内容赋值给一个变量，然后用 in 来查抄这个变量是否在我的选项列表里。如果匹配上了，就继承往下实行代码；如果对不上，就直接告诉用户“没有这个选项”。
这个方法既简朴又实用，一下子就办理了我的问题。
问题二
当我想要把全部可选的分类信息展示给用户时，我忽然卡住了。我有一个字典保存了全部的分类，但我不知道怎么把里面的分类名称取出来展示给用户。一开始，我实验直接打印字典的内容，但效果看起来很乱，还带着中括号和引号，一点都不美观。
后来，我忽然想起可以用 .keys() 方法来提取字典中的键（也就是分类名称）。但是，.keys() 返回的效果是一个字典视图对象，看起来还是不太友好。于是，我把它转换成了一个列表，如许看起来就清楚多了。不过，列表表面还是会带中括号，这让我觉得还是不够完善。
末了，我灵机一动，用到了 .join() 方法。我把列表转换成了一个用逗号分隔的字符串，如许中括号就不见了，输出效果变得非常美观。
三、总结
通过这次实践，我不仅学会了怎样用爬虫获取指定范例的数据，还学会了怎样处置处罚网络请求中可能出现的问题。固然遇到了一些挫折，但这些问题也让我更加深刻地明白了爬虫开发的复杂性。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]