requests库

模仿请求获取网页源代码
如下

1. import  requests
3. r = requests.get('https://spa1.scrape.center/page/1')
4. print(r.text)

复制代码

 源码如下

 GET请求
示例网站为 https://httpbin.org

1. import requests
2. r = requests.get('https://httpbin.org/')
3. print(r.text)

复制代码

所表现的效果如下

1. {
2.   "args": {},
3.   "headers": {
4.     "Accept": "*/*",
5.     "Accept-Encoding": "gzip, deflate",
6.     "Host": "httpbin.org",
7.     "User-Agent": "python-requests/2.32.3",
8.     "X-Amzn-Trace-Id": "Root=1-681dec13-1f8d5f796c04c6d73f09a6b3"
9.   },
10.   "origin": "183.250.93.64",
11.   "url": "https://httpbin.org/get"
12. }

复制代码

如果想添加两个参数，此中name是germey，age是25
URL可以写成  https://httpbin.org/get？/name=germey&age=25

1. import requests
2. date = {
3.     'name': 'germey',
4.     'age': 25
5. }
6. r = requests.get('https://httpbin.org/get', params=date)
7. print(r.text)

复制代码

效果如下

1. {
2.   "args": {
3.     "age": "25",
4.     "name": "germey"
5.   },
6.   "headers": {
7.     "Accept": "*/*",
8.     "Accept-Encoding": "gzip, deflate",
9.     "Host": "httpbin.org",
10.     "User-Agent": "python-requests/2.32.3",
11.     "X-Amzn-Trace-Id": "Root=1-681ded56-2771b27b0f18cd9b71461ee7"
12.   },
13.   "origin": "183.250.93.64",
14.   "url": "https://httpbin.org/get?name=germey&age=25"
15. }

复制代码

如果想要直接解析返回效果得到一个JSON格式的数据的话，可以直接调用json方法

1. import requests
3. r = requests.get('https://httpbin.org/get')
4. print(type(r.text))
5. print(r.json())
6. print(type(r.json()))

复制代码

效果如下

1. <class 'str'>
2. {'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.32.3', 'X-Amzn-Trace-Id': 'Root=1-681dee2d-03cd762c0490679f0ef17d91'}, 'origin': '183.250.93.64', 'url': 'https://httpbin.org/get'}
3. <class 'dict'>

复制代码

或取网页

1. import requests
2. import re
4. r = requests.get('https://ssr1.scrape.center/')
5. pattern = re.compile('<h2.*?>(.*?)</h2>', re.S)
6. titles = re.findall(pattern, r.text)
7. print(titles)

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。