Java爬虫之利用Selenium WebDriver 爬取数据 - IT评测·应用市场-qidao123.com

docker run -d -p 5555:4444 -p 7900:7900 -p 5900:5900 --shm-size="2g" selenium/standalone-chrome

复制代码

<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>3.141.59</version>
</dependency>
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>23.0</version>
</dependency>
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
<version>2.8.2</version>
</dependency>

复制代码

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.remote.DesiredCapabilities;
import org.openqa.selenium.remote.RemoteWebDriver;
import org.openqa.selenium.support.ui.WebDriverWait;
import java.net.URL;
import java.util.List;
import java.util.concurrent.TimeUnit;
import static org.openqa.selenium.support.ui.ExpectedConditions.numberOfWindowsToBe;
import static org.openqa.selenium.support.ui.ExpectedConditions.titleIs;
public class MainClass {
public static void main(String[] args) {
WebDriver driver = null;
try {
//打开一个浏览器窗口
//加载 chromedriver 驱动
driver = new RemoteWebDriver(new URL("http://你的IP:5555/wd/hub"), DesiredCapabilities.chrome());
//打开百度链接
driver.navigate().to("http://www.baidu.com/");
//在搜索文本框输入"csdn 落魄实习生"
driver.findElement(By.id("kw")).sendKeys("csdn 落魄实习生");
//点击搜索按钮
driver.findElement(By.id("su")).click();
//存储当前原始窗口或页签的ID
String originalWindow = driver.getWindowHandle();
//获取当前打开的窗口或页签数
int windosSize = driver.getWindowHandles().size();
//等到百度搜索结果页面元素加载完（这里最多等5秒）
driver.manage().timeouts().implicitlyWait(60, TimeUnit.SECONDS);
//点击第一条搜索结果，会打开新页签，也就是第2个页签
driver.findElement(By.xpath("//*[@id='content_left']/div[@id='1']/div[@class='c-container']/div/h3/a")).click();
WebDriverWait wait = new WebDriverWait(driver, 10);
//这里不我建议用，因为我打开第二窗口打不开，可能是因为分配的资源大小的问题。我实际处理业务都是单窗口操作的，先把第二个网页的链接保存到数据库
//等待第2个新窗口或新页签打开
wait.until(numberOfWindowsToBe(2));
//循环指导找到新窗口或页签的句柄
for (String windowHandle : driver.getWindowHandles()) {
if (!originalWindow.contentEquals(windowHandle)) {
//driver切换为新窗口或新页签的
driver.switchTo().window(windowHandle);
break;
}
}
//等待新窗口或新页签的内容加载
wait.until(titleIs("落魄实习生-CSDN博客"));
//读取当前页面标题
System.out.println("当前网址的标题：" + driver.getTitle());
//从地址栏中读取当前 URL
System.out.println("当前网址的链接：" + driver.getCurrentUrl());
//获取文章标题和链接
List<WebElement> articleTitles = driver.findElements(By.xpath("//div[@class='article-item-box csdn-tracking-statistics']/h4/a"));
for (WebElement articleTitle : articleTitles) {
//获取 h4 标签中的显示文本
String text = articleTitle.getText();
//获取 a 标签里的 href 属性的值
String link = articleTitle.getAttribute("href");
System.out.println("文章标题：" + text + " 链接：" + link);
}
} catch (Exception e) {
e.printStackTrace();
} finally {
driver.quit();
}
}
}

复制代码

WebDriver driver = new ChromeDriver();
driver.findElement(By.className("information"));

复制代码

WebDriver driver = new ChromeDriver();
driver.findElement(By.cssSelector("#fname"));

复制代码

WebDriver driver = new ChromeDriver();
driver.findElement(By.id("lname"));

复制代码

WebDriver driver = new ChromeDriver();
driver.findElement(By.name("newsletter"));

复制代码

WebDriver driver = new ChromeDriver();
driver.findElement(By.linkText("Selenium Official Page"));

复制代码

WebDriver driver = new ChromeDriver();
driver.findElement(By.partialLinkText("Official Page"));

复制代码

WebDriver driver = new ChromeDriver();
driver.findElement(By.tagName("a"));

复制代码

WebDriver driver = new ChromeDriver();
driver.findElement(By.xpath("//input[@value='f']"));

复制代码

//打开一个新的浏览器页签
driver.switchTo().newWindow(WindowType.TAB);

复制代码

//方便的方式
driver.get("http://www.baidu.com");
//或者下面的方式，是一样的效果
driver.navigate().to("http://www.baidu.com");

复制代码

//读取当前页面标题
driver.getTitle();
//从地址栏中读取当前 URL
driver.getCurrentUrl();

复制代码

//浏览器的后退
driver.navigate().back();
//浏览器的前进
driver.navigate().forward();
//浏览器的刷新
driver.navigate().refresh();
//关闭浏览器
driver.quit();

复制代码

//使用link text定位器找到页面链接，并点击它来出发弹窗
driver.findElement(By.linkText("See an example alert")).click();
//等弹窗显示并获取弹窗对象
Alert alert = wait.until(ExpectedConditions.alertIsPresent());
//获取弹窗的文本内容
String text = alert.getText();
//点击弹窗的确认按钮
alert.accept();

复制代码

//使用link text定位器找到链接，并点击它来出发弹窗
driver.findElement(By.linkText("See a sample confirm")).click();
//等弹窗显示
wait.until(ExpectedConditions.alertIsPresent());
//获取弹窗对象
Alert alert = driver.switchTo().alert();
//获取弹窗的文本内容
String text = alert.getText();
//点击弹窗的取消按钮
alert.dismiss();

复制代码

//使用link text定位器找到链接，并点击它来出发弹窗
driver.findElement(By.linkText("See a sample prompt")).click();
//等弹窗显示并获取弹窗对象
Alert alert = wait.until(ExpectedConditions.alertIsPresent());
//在弹窗的输入框输入“你好啊”
alert.sendKeys("你好啊");
//按确定按钮
alert.accept();

复制代码

int headImage = driver.findElements(By.xpath("//*[@class='user_avatar']")).size();
if (headImage == 0) {
System.out.println("页面上 class 为 user_avatar 的 html 元素不存在");
}

复制代码

public static void main(String[] args) {
WebDriver driver = new ChromeDriver();
try {
//打开网址
driver.get("http://www.example.com");
//添加cookie到当前浏览器网址的上下文中
driver.manage().addCookie(new Cookie("key", "value"));
} finally {
//关闭浏览器
driver.quit();
}
}

复制代码

public static void main(String[] args) {
WebDriver driver = new ChromeDriver();
try {
driver.get("http://www.example.com");
//设置一个Cookie
driver.manage().addCookie(new Cookie("login", "fgflkshf&"));
// 获取key是 'login'的Cookie
Cookie cookie1 = driver.manage().getCookieNamed("login");
System.out.println(cookie1);
} finally {
driver.quit();
}
}

复制代码

Set<Cookie> cookies = driver.manage().getCookies();

复制代码

driver.manage().deleteCookieNamed("login");

复制代码

driver.manage().deleteAllCookies();

复制代码