Python爬取ajax加载的内容

在爬取某个实验室安全教育的练习的答案的时候，使用Python的requests库直接爬取该网页，结果与浏览器所看到内容不同。

1. import requests
3. url='xxxx'    #要爬取的网站，这里省略
4. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'}
6. res = requests.get(url, headers=headers)
7. res.encoding = 'utf-8'
8. html = res.text
10. with open('d:/html.txt','w',encoding='utf-8') as f:#写入文件
11.     f.write(html)

复制代码

爬取的结果如下图所示：
有些时候我们使用浏览器查看页面正常显示的数据与使用requests抓取页面html得到的结果不一致，这是因为requests获取的是原始的HTML文档，而浏览器中的页面是经过JavaScript处理数据后的结果。这些处理过的数据可能是通过Ajax加载的，可能包含HTML文档中，可能经过特定算法计算后生成的。可以看到试卷和题目是动态加载的，直接进行get获取不到。

 
 对该网页进行抓包，在一个xhr里发现了所需要爬取的数据。

 
 可以看到所需资源的url，请求方式是post。

 
 
 
 
　重新改写代码

1. mport requests
2. from bs4 import BeautifulSoup
3. import json
4. import jsonpath
6. html_url = "xxxx"    #这里改用新网址
8. payload = {'ID':'9','Type':'xx'}
10. res = requests.post(html_url,data=payload)
11. res.encoding = 'utf-8'
12. html=res.text
14. with open("d:/test.jtxt",'w',encoding='utf-8') as f:
15.         f.write(html)<br>

复制代码

结果如下图：

 
 
可以看到是XML格式， 使用bs4库的BeautifulSoup模块进行解析；string标签下又是json格式的数据，使用jsonpath提取json格式中的数据。

1. from bs4 import BeautifulSoup
2. import json
3. import jsonpath
5. #解析XML
6. soup = BeautifulSoup(html,"xml")
7. s = soup.string #获取string标签下的内容
9. with open("d:/selfstudy.json",'w',encoding='utf-8') as f:
10.         f.write(soup.string)#将数据写入json文件
12. #加载json文件,返回值为python的字典对象
13. obj = json.load(open('d:/selfstudy.json','r',encoding='utf-8'))
15. #获取题目和答案
16. caption = jsonpath.jsonpath(obj,'$..Caption')#jsonpath语法 $..+根节点名称
17. answer = jsonpath.jsonpath(obj,'$..AnSwer')
19. with open('d:/safe.txt','w',encoding='utf-8') as f:#写入文件
20.         for i in range(len(caption)):#标题和答案都是list类型且长度相等
21.                 f.write(caption[i]+'\t答案：'+answer[i]+'\n')

复制代码

附上结果图：

 
代码汇总：

1. import requests
2. from bs4 import BeautifulSoup
3. import json
4. import jsonpath
6. html_url = "xxxx"
8. payload = {'ID':'9','Type':'xx'}
10. res = requests.post(html_url,data=payload)
11. res.encoding = 'utf-8'
12. html=res.text
14. #解析XML
15. soup = BeautifulSoup(html,"xml")
17. with open("d:/selfstudy.json",'w',encoding='utf-8') as f:
18.         f.write(soup.string)#获取soup标签下的数据
19.         
20. #加载json文件
21. obj = json.load(open('d:/selfstudy.json','r',encoding='utf-8'))#转换为dict对象
22. <br>#使用jsonpath读取根节点的数据
23. caption = jsonpath.jsonpath(obj,'$..Caption')#jsonpath语法 $..+根节点名称
24. answer = jsonpath.jsonpath(obj,'$..AnSwer')
26. with open('d:/safe.txt','w',encoding='utf-8') as f:#写入文件
27.         for i in range(len(caption)):
28.                 f.write(caption[i]+'\t答案：'+answer[i]+'\n')

复制代码

 
 
参考资料：
http://t.zoukankan.com/yunlongaimeng-p-9535386.html
https://blog.csdn.net/qq_34160248/article/details/121605538
　　　　　　
　

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！