python爬虫-29-selenium进阶操作,还不赶紧收藏起来

打印 上一主题 下一主题

主题 975|帖子 975|积分 2925


1、selenium的cookie相关操作

有时候我们需要通过获取cookie来进行一些别的操作,这个时候我们如何对cookie进行相关操作呢?
1.1、获取cookie

  1. from selenium import webdriver
  2. Driver_path = r'C:\Users\22768\Desktop\python\chromedriver.exe'
  3. driver = webdriver.Chrome(executable_path=Driver_path)
  4. driver.get('http://www.baidu.com')
  5. driver.maximize_window()
  6. # 获取所有的cookie
  7. for cookie in driver.get_cookies():
  8.     print(cookie)
复制代码
运行之后结果如下:
  1. {'domain': '.baidu.com', 'expiry': 16811342, 'httpOnly': False, 'name': 'ZFY', 'path': '/', 'sameSite': 'None', 'secure': True, 'value': '9QxCBgH829qdcrDuX9xiaBy2v0rc2HrjgxLAxEA:C'}
  2. {'domain': '.baidu.com', 'expiry': , 'httpOnly': False, 'name': 'BA_HECTOR', 'path': '/', 'secure': False, 'value': '080100ag050k00c1a0lsf15'}
  3. {'domain': '.baidu.com', 'httpOnly': False, 'name': 'H_PS_PSSID', 'path': '/', 'secure': False, 'value': '36546_36454_316514_34813_36569_36530_36519_26350_36299_36469_36311'}
  4. {'domain': '.baidu.com', 'expiry': 1681341, 'httpOnly': False, 'name': 'BAIDUID', 'path': '/', 'secure': False, 'value': '045AD49199B30BD52253537FA2B1:FG=1'}
  5. {'domain': '.baidu.com', 'expiry': 3802988, 'httpOnly': False, 'name': 'BIDUPSID', 'path': '/', 'secure': False, 'value': '045AD49199B30BD5514A9B616E393'}
  6. {'domain': '.baidu.com', 'expiry': 38058988, 'httpOnly': False, 'name': 'PSTM', 'path': '/', 'secure': False, 'value': '16575340'}
  7. {'domain': 'www.baidu.com', 'expiry': 165342, 'httpOnly': False, 'name': 'BD_UPN', 'path': '/', 'secure': False, 'value': '124753'}
  8. {'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'BD_HOME', 'path': '/', 'secure': False, 'value': '1'}
复制代码
1.2、获取某一个cookie

  1. from selenium import webdriver
  2. Driver_path = r'C:\Users\22768\Desktop\python\chromedriver.exe'
  3. driver = webdriver.Chrome(executable_path=Driver_path)
  4. driver.get('http://www.baidu.com')
  5. driver.maximize_window()
  6. # 获取单个cookie
  7. print(driver.get_cookie('PSTM'))
复制代码
1.3、删除所有的cookie

  1. driver.delete_all_cookies()
复制代码
1.4、删除某个cookie

  1. driver.delete_cookie(key)
复制代码
2、selenium的页面等待

什么是页面等待,为什么要有一个页面等待呢,你想一下哈,当你访问某个网站的时候,他是不是需要有一个加载的过程,那么如果在加载过程中你就去获取某个元素,或者某个XPATH路径了,那么他是肯定无法获取到的;
但是呢,本身这个网站是存在相关数据的,只是因为没有加载完全,从而导致的该问题,那有同学说了,我们可以通过time.sleep的方式,让他休眠一会儿,然后我们再次获取啊,对,这种方式是没问题的,但是多长时间合适呢,这样子你的时间就固话了对吧,其他selenium是提供了这个方法的;
逻辑就是在你规定的时间内,一直检测该元素是否出现,如果出现了,就直接运行后面的内容,如果在你指定的最大超时时间里面依旧没有出现,那么就返回错误,selenium将这块内容分成了两块,一个是显式等待,一个是隐式等待
那么selenium的显式等待和隐式等待有什么区别呢,我觉得最大的区别在于:显式等待作用于指定元素,隐式等待作用于全局
显式等待:

  1. from selenium import webdriver
  2. from selenium.webdriver.common.by import By
  3. from selenium.webdriver.support.ui import WebDriverWait
  4. from selenium.webdriver.support import expected_conditions as EC
  5. Driver_path = r'C:\Users\22768\Desktop\python\chromedriver.exe'
  6. driver = webdriver.Chrome(executable_path=Driver_path)
  7. driver.get("https://www.baidu.com")
  8. try:
  9.     element = WebDriverWait(driver, 10).until(
  10.         EC.presence_of_element_located((By.XPATH, '//*[@id="kw"]'))
  11.     )
  12. except:
  13.     driver.quit()
复制代码
以上代码的意思是,如果10s内,没有检索到百度的输入框,则退出该浏览器,这个是指定了某一个元素进行的等待,他叫做显式等待;
隐式等待:

剩余内容请转至VX公众号 “运维家” ,回复 “190” 查看。
------ “运维家” ,回复 “190” ------
------ “运维家” ,回复 “190” ------
------ “运维家” ,回复 “190” ------
linux进不去,瑞星forlinux,cowlinux,linux中暂停进程,linux应用开发百度云,linux打开dmp文件;
linux查看ip的代码,查看linux端口绑定状态,linux下dhcp安装失败,linux下怎么打开sv文件;
linux域名控制,zynqtcplinux,linux突然不能访问,linux找不到内核镜像,linux设频命令;
linux上下左右变成a,linuxc计算器,linuxsnmp技术原理,linuxc网络,linux移动操作。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

羊蹓狼

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表