使用Selenium进行网页自动化测试

在使用Selenium进行网页自动化测试时，获取网络请求数据（即network数据）并不直接由Selenium库提供。Selenium重要用于与网页内容进行交互（如点击、输入文本、获取页面元素等），但它自己不拦截或记录网络请求。
然而，你可以联合Selenium与其他工具（如BrowserMob Proxy、Wireshark、mitmproxy、或Selenium自带的Chrome DevTools Protocol）来获取网络请求数据。下面是一些常用的方法：
方法一：使用BrowserMob Proxy

BrowserMob Proxy是一个Java程序，可以与Selenium共同使用来捕获HTTP和HTTPS流量。

• 安装BrowserMob Proxy：
  
  
  
  • 下载并安装Java。
    
  • 下载BrowserMob Proxy。
    
  
  
• 设置Python代码：
  
  
  
  • 使用browsermob-proxy-py库（Python的BrowserMob Proxy绑定）。
    
  
  

1. pip install browsermob-proxy-py

复制代码

1. from selenium import webdriver
2. from browsermobproxy import Server
3. from selenium.webdriver.common.proxy import Proxy, ProxyType
5. # 启动BrowserMob Proxy服务器
6. server = Server("/path/to/browsermob-proxy")
7. server.start()
8. proxy = server.create_proxy()
10. # Selenium的Proxy配置
11. chrome_options = webdriver.ChromeOptions()
12. chrome_options.add_argument("--proxy-server={0}".format(proxy.proxy))
14. # 创建一个Selenium WebDriver实例
15. driver = webdriver.Chrome(chrome_options=chrome_options)
17. # 获取新会话的HAR（HTTP Archive）数据
18. proxy.new_har("example")
20. # 导航到目标URL
21. driver.get("http://example.com")
23. # 获取HAR数据
24. har_data = proxy.har
26. # 打印HAR数据
27. print(har_data)
29. # 关闭WebDriver和BrowserMob Proxy服务器
30. driver.quit()
31. server.stop()

复制代码

方法二：使用mitmproxy

mitmproxy是一个强盛的中间人代理，可以拦截、修改和查抄HTTP和HTTPS流量。

• 安装mitmproxy：
  
  1. pip install mitmproxy

  复制代码
• 设置mitmproxy与Selenium：
  

1. from selenium import webdriver
2. from selenium.webdriver.common.proxy import Proxy, ProxyType
3. from mitmproxy import options
4. from mitmproxy.tools.dump import DumpMaster
5. from mitmproxy import http
7. # 配置mitmproxy监听端口
8. options = options.Options(listen_host='127.0.0.1', listen_port=8080)
10. # 定义处理HTTP请求的类
11. class Interceptor:
12.     def __init__(self):
13.         self.flows = []
15.     def request(self, flow: http.HTTPFlow) -> None:
16.         self.flows.append(flow)
18. # 启动mitmproxy
19. m = DumpMaster(options)
20. interceptor = Interceptor()
21. m.addons.add(interceptor)
22. try:
23.     m.run()
24. except KeyboardInterrupt:
25.     m.shutdown()
27. # 配置Selenium的Proxy
28. proxy = Proxy({
29.     'proxyType': ProxyType.MANUAL,
30.     'httpProxy': '127.0.0.1:8080',
31.     'sslProxy': '127.0.0.1:8080'
32. })
34. chrome_options = webdriver.ChromeOptions()
35. chrome_options.add_argument("--proxy-server=http://127.0.0.1:8080")
37. # 创建一个Selenium WebDriver实例
38. driver = webdriver.Chrome(chrome_options=chrome_options)
40. # 导航到目标URL
41. driver.get("http://example.com")
43. # 获取捕获的HTTP请求
44. for flow in interceptor.flows:
45.     print(flow.request.url)
47. # 关闭WebDriver
48. driver.quit()

复制代码

注意：运行mitmproxy大概必要你配置证书以捕获HTTPS流量。
方法三：使用Chrome DevTools Protocol（CDP）

Chrome DevTools Protocol允许你与Chrome浏览器进行低级别的通信，包括获取网络请求数据。Selenium 4+提供了对CDP的直接支持。

1. from selenium import webdriver
2. from selenium.webdriver.chrome.service import Service
3. from selenium.webdriver.chrome.options import Options
4. from selenium.webdriver.common.by import By
5. import time
7. # 配置Chrome选项
8. chrome_options = Options()
9. chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")  # 连接到已打开的Chrome实例
11. # 创建WebDriver实例
12. driver = webdriver.Chrome(service=Service(), options=chrome_options)
14. # 导航到目标URL
15. driver.get("http://example.com")
17. # 使用CDP获取网络请求数据
18. # 需要导入CDP的库或使用selenium的execute_cdp_cmd方法
19. # 示例代码取决于你如何配置和获取CDP数据
20. # driver.execute_cdp_cmd('Network.enable', {})
21. # driver.execute_cdp_cmd('Network.setCaptureMode', {"mode": "includeAll"})
22. # network_logs = driver.execute_cdp_cmd('Network.getAllRequests', {})
23. # print(network_logs)
25. # 这里仅是一个示例，你需要根据CDP文档来实现具体功能
27. # 关闭WebDriver
28. driver.quit()

复制代码

这种方法要求你事先手动打开Chrome浏览器并配置远程调试端口（通常是9222）。
注意事项

• 确保你的Chrome浏览器版本与Selenium WebDriver版本兼容。
  
• 使用HTTPS时，大概必要处理SSL证书问题。
  
• 在处理网络请求数据时，确保遵守相关法律法规和隐私政策。
  

通过以上方法，你可以在使用Selenium进行网页自动化测试时获取网络请求数据。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。