qidao123.com技术社区-IT企服评测·应用市场

标题: requests库 [打印本页]
作者: 欢乐狗    时间: 6 天前
标题: requests库
模仿请求获取网页源代码
如下
  1. import  requests
  3. r = requests.get('https://spa1.scrape.center/page/1')
  4. print(r.text)
复制代码
 源码如下

 GET请求
示例网站为 https://httpbin.org
  1. import requests
  2. r = requests.get('https://httpbin.org/')
  3. print(r.text)
复制代码
所表现的效果如下
  1. {
  2.   "args": {},
  3.   "headers": {
  4.     "Accept": "*/*",
  5.     "Accept-Encoding": "gzip, deflate",
  6.     "Host": "httpbin.org",
  7.     "User-Agent": "python-requests/2.32.3",
  8.     "X-Amzn-Trace-Id": "Root=1-681dec13-1f8d5f796c04c6d73f09a6b3"
  9.   },
  10.   "origin": "183.250.93.64",
  11.   "url": "https://httpbin.org/get"
  12. }
复制代码
如果想添加两个参数，此中name是germey，age是25
URL可以写成  https://httpbin.org/get？/name=germey&age=25
  1. import requests
  2. date = {
  3.     'name': 'germey',
  4.     'age': 25
  5. }
  6. r = requests.get('https://httpbin.org/get', params=date)
  7. print(r.text)
复制代码
效果如下
  1. {
  2.   "args": {
  3.     "age": "25",
  4.     "name": "germey"
  5.   },
  6.   "headers": {
  7.     "Accept": "*/*",
  8.     "Accept-Encoding": "gzip, deflate",
  9.     "Host": "httpbin.org",
  10.     "User-Agent": "python-requests/2.32.3",
  11.     "X-Amzn-Trace-Id": "Root=1-681ded56-2771b27b0f18cd9b71461ee7"
  12.   },
  13.   "origin": "183.250.93.64",
  14.   "url": "https://httpbin.org/get?name=germey&age=25"
  15. }
复制代码
如果想要直接解析返回效果得到一个JSON格式的数据的话，可以直接调用json方法
  1. import requests
  3. r = requests.get('https://httpbin.org/get')
  4. print(type(r.text))
  5. print(r.json())
  6. print(type(r.json()))
复制代码
效果如下
  1. <class 'str'>
  2. {'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.32.3', 'X-Amzn-Trace-Id': 'Root=1-681dee2d-03cd762c0490679f0ef17d91'}, 'origin': '183.250.93.64', 'url': 'https://httpbin.org/get'}
  3. <class 'dict'>
复制代码
或取网页
  1. import requests
  2. import re
  4. r = requests.get('https://ssr1.scrape.center/')
  5. pattern = re.compile('<h2.*?>(.*?)</h2>', re.S)
  6. titles = re.findall(pattern, r.text)
  7. print(titles)
复制代码



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/) Powered by Discuz! X3.4