ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【Python爬虫技巧】快速格式化请求头Request Headers [打印本页]

---

作者: 金歌    时间: 2022-8-27 09:36
标题: 【Python爬虫技巧】快速格式化请求头Request Headers
你好，我是 @马哥python说 。
我们在写爬虫时，经常遇到这种问题，从目标网站把请求头复制下来，粘贴到爬虫代码里，需要一点一点修改格式，因为复制的是字符串string格式，请求头需要用字典dict格式：

下面介绍一种简单的方法。
首先，把复制到的请求头放到一个字符串里：

1. # 请求头
2. headers = """
3. Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
4. Accept-Encoding: gzip, deflate, br
5. Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7
6. Cache-Control: max-age=0
7. Connection: keep-alive
8. Cookie: cookie值
9. Host: movie.douban.com
10. Referer: https://movie.douban.com/top250
11. sec-ch-ua: ".Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"
12. sec-ch-ua-mobile: ?0
13. sec-ch-ua-platform: "macOS"
14. Sec-Fetch-Dest: document
15. Sec-Fetch-Mode: navigate
16. Sec-Fetch-Site: same-origin
17. Sec-Fetch-User: ?1
18. Upgrade-Insecure-Requests: 1
19. User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36
20. """

复制代码

然后，导入lxpy库：

1. from lxpy import copy_headers_dict

复制代码

把刚才的字符串转换为字典：

1. # 转换请求头为字典格式
2. headers = copy_headers_dict(headers)

复制代码

再看一眼现在的请求头，已经转成了字典格式：

非常好用有没有！
下面，就可以继续开心的撸爬虫代码了~
同步讲解视频：
https://www.zhihu.com/zvideo/1530851114778210304
我是 @马哥python说 ，持续分享Python干货！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4