使用Selenium进行网页自动化测试
在使用Selenium进行网页自动化测试时，获取网络请求数据（即network数据）并不直接由Selenium库提供。Selenium重要用于与网页内容进行交互（如点击、输入文本、获取页面元素等），但它自己不拦截或记录网络请求。然而，你可以联合Selenium与其他工具（如BrowserMob Proxy、Wireshark、mitmproxy、或Selenium自带的Chrome DevTools Protocol）来获取网络请求数据。下面是一些常用的方法：
方法一：使用BrowserMob Proxy
BrowserMob Proxy是一个Java程序，可以与Selenium共同使用来捕获HTTP和HTTPS流量。
[*] 安装BrowserMob Proxy：
[*]下载并安装Java。
[*]下载BrowserMob Proxy。
[*] 设置Python代码：
[*]使用browsermob-proxy-py库（Python的BrowserMob Proxy绑定）。
pip install browsermob-proxy-py
from selenium import webdriver
from browsermobproxy import Server
from selenium.webdriver.common.proxy import Proxy, ProxyType
# 启动BrowserMob Proxy服务器
server = Server("/path/to/browsermob-proxy")
server.start()
proxy = server.create_proxy()
# Selenium的Proxy配置
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server={0}".format(proxy.proxy))
# 创建一个Selenium WebDriver实例
driver = webdriver.Chrome(chrome_options=chrome_options)
# 获取新会话的HAR（HTTP Archive）数据
proxy.new_har("example")
# 导航到目标URL
driver.get("http://example.com")
# 获取HAR数据
har_data = proxy.har
# 打印HAR数据
print(har_data)
# 关闭WebDriver和BrowserMob Proxy服务器
driver.quit()
server.stop()
方法二：使用mitmproxy
mitmproxy是一个强盛的中间人代理，可以拦截、修改和查抄HTTP和HTTPS流量。
[*] 安装mitmproxy：
pip install mitmproxy
[*] 设置mitmproxy与Selenium：
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from mitmproxy import options
from mitmproxy.tools.dump import DumpMaster
from mitmproxy import http
# 配置mitmproxy监听端口
options = options.Options(listen_host='127.0.0.1', listen_port=8080)
# 定义处理HTTP请求的类
class Interceptor:
def __init__(self):
self.flows = []
def request(self, flow: http.HTTPFlow) -> None:
self.flows.append(flow)
# 启动mitmproxy
m = DumpMaster(options)
interceptor = Interceptor()
m.addons.add(interceptor)
try:
m.run()
except KeyboardInterrupt:
m.shutdown()
# 配置Selenium的Proxy
proxy = Proxy({
'proxyType': ProxyType.MANUAL,
'httpProxy': '127.0.0.1:8080',
'sslProxy': '127.0.0.1:8080'
})
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server=http://127.0.0.1:8080")
# 创建一个Selenium WebDriver实例
driver = webdriver.Chrome(chrome_options=chrome_options)
# 导航到目标URL
driver.get("http://example.com")
# 获取捕获的HTTP请求
for flow in interceptor.flows:
print(flow.request.url)
# 关闭WebDriver
driver.quit()
注意：运行mitmproxy大概必要你配置证书以捕获HTTPS流量。
方法三：使用Chrome DevTools Protocol（CDP）
Chrome DevTools Protocol允许你与Chrome浏览器进行低级别的通信，包括获取网络请求数据。Selenium 4+提供了对CDP的直接支持。
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
# 配置Chrome选项
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")# 连接到已打开的Chrome实例
# 创建WebDriver实例
driver = webdriver.Chrome(service=Service(), options=chrome_options)
# 导航到目标URL
driver.get("http://example.com")
# 使用CDP获取网络请求数据
# 需要导入CDP的库或使用selenium的execute_cdp_cmd方法
# 示例代码取决于你如何配置和获取CDP数据
# driver.execute_cdp_cmd('Network.enable', {})
# driver.execute_cdp_cmd('Network.setCaptureMode', {"mode": "includeAll"})
# network_logs = driver.execute_cdp_cmd('Network.getAllRequests', {})
# print(network_logs)
# 这里仅是一个示例，你需要根据CDP文档来实现具体功能
# 关闭WebDriver
driver.quit()
这种方法要求你事先手动打开Chrome浏览器并配置远程调试端口（通常是9222）。
注意事项
[*]确保你的Chrome浏览器版本与Selenium WebDriver版本兼容。
[*]使用HTTPS时，大概必要处理SSL证书问题。
[*]在处理网络请求数据时，确保遵守相关法律法规和隐私政策。
通过以上方法，你可以在使用Selenium进行网页自动化测试时获取网络请求数据。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]