ToB企服应用市场:ToB评测及商务社交产业平台

标题: Python实现自定义请求头消息headers [打印本页]
作者: 兜兜零元    时间: 2023-8-29 12:22
标题: Python实现自定义请求头消息headers
使用python爬虫爬取数据的时候，经常会遇到一些网站的反爬虫措施，一般就是针对于headers中的User-Agent，如果没有对headers进行设置，User-Agent会声明自己是python脚本,而如果网站有反爬虫的想法的话，必然会拒绝这样的连接。
而修改headers可以将自己的爬虫脚本伪装成浏览器的正常访问，来避免这一问题。
一、使用urllib请求页面时
  1. import urllib, urllib2
  2. def get_page_source(url):
  3.     headers = {'Accept': '*/*',
  4.                'Accept-Language': 'en-US,en;q=0.8',
  5.                'Cache-Control': 'max-age=0',
  6.                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
  7.                'Connection': 'keep-alive',
  8.                'Referer': 'http://www.baidu.com/'
  9.                }
  10.     req = urllib2.Request(url, None, headers)
  11.     response = urllib2.urlopen(req)
  12.     page_source = response.read()
  13.     return page_source
复制代码
二、使用webdriver phantomjs请求页面
  1. #自定义请求头head
  2. from selenium import webdriver
  3. from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
  5. #设置自定义请求头参数
  6. def get_headers_driver():
  7.     desire = DesiredCapabilities.PHANTOMJS.copy()
  8.     headers = {'Accept': '*/*',
  9.                'Accept-Language': 'en-US,en;q=0.8',
  10.                'Cache-Control': 'max-age=0',
  11.                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
  12.                'Connection': 'keep-alive',
  13.                'Referer': 'http://www.baidu.com/'
  14.                }
  15.     for key, value in headers.items():
  16.         desire['phantomjs.page.customHeaders.{}'.format(key)] = value
  17.     driver = webdriver.PhantomJS(desired_capabilities=desire, service_args=['--load-images=yes'])#将yes改成no可以让浏览器不加载图片
  18.     return driver
  20. # 登录
  21. def login():
  22.     driver = get_headers_driver(cookie)
  23.     url = "http://******/login/main.do"
  24.     driver.get(url)
  25.     #获取网页源码
  26.     print(driver.page_source)
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4