怎样使用 Playwright 对已打开的欣赏器举行爬虫

之前写过一篇关于怎样使用 Selenium 操纵已经打开的欣赏器举行爬虫的文章
怎样使用 Selenium 对已打开的欣赏器举行爬虫！
近来发现很多人都开始摒弃 Selenium，全面拥抱 Playwright 了，那怎样使用 Playwright 举行爬虫，以应对一些反爬严格的网站呢？
对 Playwright 不相识的小同伴，可以看很早之前写过的一篇文章
详细操纵步调如下：
PS：这里以 Chrome 为例，其他欣赏器雷同
1-1  查察本地 Chrome 欣赏器的的安装所在
比如：C:\Program Files\Google\Chrome\Application\chrome.exe
1-2  下令行启动欣赏器
打开 CMD 终端，输入下面下令行打开 Chrome 欣赏器

2. # 使用无痕模式，打开目标网站，最大化展示
3. cd C:\Program Files\Google\Chrome\Application\ && chrome.exe --remote-debugging-port=6666 --user-data-dir="C:\work\chrome"  --start-maximized  --incognito --new-window https://www.taobao.com

复制代码

此中

•         --remote-debugging-port 端标语
  

指定欣赏器调试端标语
PS：这里可以随机指定一个端标语，不要指定为已经被占用的端标语

•         --user-data-dir 用户数据生存目次
  

指定欣赏器的用户数据生存目次
留意：须要设置到一个全新的目次，不要影响 Chrome 欣赏器体系用户的数据

•         --incognito 用户数据生存目次
          无痕模式打开，默认非无痕模式
  
•         --start-maximized
          窗口最大化表现
  
•         --new-window  目的所在
          直接打开目的网站
  

1-3 编写代码操纵欣赏器
使用下令行打开 Chrome 欣赏器后，就可以使用 Playwright 编写代码，继承对欣赏器举行操纵
留意：必须包管上面的操纵只打开一个欣赏器窗口，方便我们举行操纵
2  实战一下
目的：使用 Playwright 操纵上面下令行打开的欣赏器页面，根据关键字举行搜刮，获取商品标题及所在
须要留意的是，通过 connect_over_cdp 指定的端标语要和欣赏器调试端标语保持划一

2. from playwright.sync_api import sync_playwright
4. with sync_playwright() as p:
5.     browser = p.chromium.connect_over_cdp('http://localhost:6666/')
7.     # 获取页面对象
8.     # 上下文索引：第一个
9.     # page索引：第一个
10.     page = browser.contexts[0].pages[0]
12.     # 输入
13.     page.locator("#q").fill("Python")
15.     # 点击搜索
16.     page.locator(".btn-search").click()
18.     # 等待元素出现
19.     # 注意：由于page.locator能获取多条数据，这里使用first获取1条数据，避免wait_for()方法报错
20.     page.locator("div[class^=Card--doubleCard]").first.wait_for(state='visible')
22.     # 获取商品盒子下所有div元素列表
23.     elements = page.locator("div[class^=Content--contentInner]>div").all()
25.     # 遍历，获取标题及地址
26.     for element in elements:
27.         # 标题
28.         title_element = element.locator("div[class^=Title--title--] > span").first
30.         # 地址
31.         href_element = element.locator("a[class^=Card--doubleCardWrapper--]")
32.         href = "https:" + href_element.get_attribute("href")
33.         print("标题：", title_element.text_content(), "，URL：", href)

复制代码

末了：下方这份完备的软件测试视频学习教程已经整理上传完成，须要的朋侪们可以自行领取【包管100%免费】

软件测试口试文档

我们学习一定是为了找到高薪的工作，下面这些口试题是来自阿里、腾讯、字节等一线互联网大厂最新的口试资料，而且有字节大佬给出了权势巨子的解答，刷完这一套口试资料信赖各人都能找到满足的工作。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金