Selenium+代理爬取需要模仿用户交互的网站

在一样平常爬虫采集网站的过程中，部分数据价值较高的网站，会限制访客的访问举动。这种时候发起通过登录的方式，获取目的网站的cookie，然后再使用cookie配合代理IP进行数据采集分析。本日我们就先容下如何使用Selenium库来爬取网页数据，特别是那些需要模仿用户交互的动态网页。
Selenium是一个自动化测试工具，它可以模仿用户在浏览器中的操作，比如点击按钮、填写表单等。与常用的BeautifulSoup、requests等爬虫库不同，Selenium可以处理JavaScript动态加载的内容，因此对于那些需要模仿用户交互才气获取的数据，Selenium是一个非常合适的选择。
通过联合Selenium的各种功能，我们可以编写强盛的网络爬虫来爬取各种网站上的数据。但请注意，在进行网络爬虫时，务必遵守目的网站的robots.txt规定，并恭敬网站的数据抓取政策。另外，过于频仍的爬取大概会给网站带来负担，甚至触发反爬机制，因此发起在爬取数据的过程中做好反爬措施，比如这里我们以访问知乎为例，通过获取网站的cookie在配合使用代理IP进行采集。关于代理IP一直都是爬虫小搭档们询问的题目，网上代理虽然多，但是优质的却很少，这里推荐有优质代理需求的可以试试亿牛云代理，提供的方式不仅有传统的api模式，还有隧道转发，发起大家都试试隧道转发，使用简单，方便，节约许多的时间去研究爬虫反爬机制。
这里我们就使用Selenium通过添加隧道转发代理访问知乎为例给大家提供一个参考：

1.     import os
2.     import time
3.     import zipfile
5.     from selenium import webdriver
6.     from selenium.common.exceptions import TimeoutException
7.     from selenium.webdriver.common.by import By
8.     from selenium.webdriver.support import expected_conditions as EC
9.     from selenium.webdriver.support.ui import WebDriverWait
12.     class GenCookies(object):
13.         # 随机useragent
14.         USER_AGENT = open('useragents.txt').readlines()
17.         # 代理服务器(产品官网 www.16yun.cn)
18.         PROXY_HOST = 't.16yun.cn'  #  proxy or host
19.         PROXY_PORT = 31111  # port
20.         PROXY_USER = 'USERNAME'  # username
21.         PROXY_PASS = 'PASSWORD'  # password
23.         @classmethod
24.         def get_chromedriver(cls, use_proxy=False, user_agent=None):
25.             manifest_json = """
26.             {
27.                 "version": "1.0.0",
28.                 "manifest_version": 2,
29.                 "name": "Chrome Proxy",
30.                 "permissions": [
31.                     "proxy",
32.                     "tabs",
33.                     "unlimitedStorage",
34.                     "storage",
35.                     "<all_urls>",
36.                     "webRequest",
37.                     "webRequestBlocking"
38.                 ],
39.                 "background": {
40.                     "scripts": ["background.js"]
41.                 },
42.                 "minimum_chrome_version":"22.0.0"
43.             }
44.             """
46.             background_js = """
47.             var config = {
48.                     mode: "fixed_servers",
49.                     rules: {
50.                     singleProxy: {
51.                         scheme: "http",
52.                         host: "%s",
53.                         port: parseInt(%s)
54.                     },
55.                     bypassList: ["localhost"]
56.                     }
57.                 };
59.             chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
61.             function callbackFn(details) {
62.                 return {
63.                     authCredentials: {
64.                         username: "%s",
65.                         password: "%s"
66.                     }
67.                 };
68.             }
70.             chrome.webRequest.onAuthRequired.addListener(
71.                         callbackFn,
72.                         {urls: ["<all_urls>"]},
73.                         ['blocking']
74.             );
75.             """ % (cls.PROXY_HOST, cls.PROXY_PORT, cls.PROXY_USER, cls.PROXY_PASS)
76.             path = os.path.dirname(os.path.abspath(__file__))
77.             chrome_options = webdriver.ChromeOptions()
79.             # 关闭webdriver的一些标志
80.             # chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])        
83.             if use_proxy:
84.                 pluginfile = 'proxy_auth_plugin.zip'
86.                 with zipfile.ZipFile(pluginfile, 'w') as zp:
87.                     zp.writestr("manifest.json", manifest_json)
88.                     zp.writestr("background.js", background_js)
89.                 chrome_options.add_extension(pluginfile)
90.             if user_agent:
91.                 chrome_options.add_argument('--user-agent=%s' % user_agent)
92.             driver = webdriver.Chrome(
93.                 os.path.join(path, 'chromedriver'),
94.                 chrome_options=chrome_options)
96.             # 修改webdriver get属性
97.             # script = '''
98.             # Object.defineProperty(navigator, 'webdriver', {
99.             # get: () => undefined
100.             # })
101.             # '''
102.             # driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})
104.             return driver
106.         def __init__(self, username, password):        
107.             # 登录example网站
108.             self.url = 'https://passport.example.cn/signin/login?entry=example&r=https://m.example.cn/'
109.             self.browser = self.get_chromedriver(use_proxy=True, user_agent=self.USER_AGENT)
110.             self.wait = WebDriverWait(self.browser, 20)
111.             self.username = username
112.             self.password = password
114.         def open(self):
115.             """
116.             打开网页输入用户名密码并点击
117.             :return: None
118.             """
119.             self.browser.delete_all_cookies()
120.             self.browser.get(self.url)
121.             username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
122.             password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
123.             submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
124.             username.send_keys(self.username)
125.             password.send_keys(self.password)
126.             time.sleep(1)
127.             submit.click()
129.         def password_error(self):
130.             """
131.             判断是否密码错误
132.             :return:
133.             """
134.             try:
135.                 return WebDriverWait(self.browser, 5).until(
136.                     EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用户名或密码错误'))
137.             except TimeoutException:
138.                 return False
140.         def get_cookies(self):
141.             """
142.             获取Cookies
143.             :return:
144.             """
145.             return self.browser.get_cookies()
147.         def main(self):
148.             """
149.             入口
150.             :return:
151.             """
152.             self.open()
153.             if self.password_error():
154.                 return {
155.                     'status': 2,
156.                     'content': '用户名或密码错误'
157.                 }            
159.             cookies = self.get_cookies()
160.             return {
161.                 'status': 1,
162.                 'content': cookies
163.             }
166.     if __name__ == '__main__':
167.         result = GenCookies(
168.             username='180000000',
169.             password='16yun',
170.         ).main()
171.         print(result)

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。