拼多多职位数据信息收罗 - ToB企服应用市场:ToB评测及商务社交产业平台

from DrissionPage import ChromiumPage, ChromiumOptionsdef fetch_pinduoduo_jobs(): # 创建ChromiumOptions对象 co = ChromiumOptions() # 提供浏览器可执行文件的路径 path = r'C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe' co.set_browser_path(path) # 创建ChromiumPage对象 page = ChromiumPage(co) # 开始监听 api_endpoint = '/api/recruit/position/list' page.listen.start(api_endpoint) # 访问目标页面 page.get('https://careers.pinduoduo.com/jobs#/
') # 等待并获取一个数据包 res = page.listen.wait() if res: print(res._raw_body) for pagenum in range(2, 79): # 点击下一页按钮 pagenumstr = f"x://a[text()='{pagenum}']" next_page_button = page.ele(pagenumstr) page.listen.start(api_endpoint) if next_page_button: next_page_button.click() # 重新监听并获取数据包 res = page.listen.wait() if res: print(res._raw_body) page.wait(5) # 关闭浏览器 page.close()if __name__ == '__main__': fetch_pinduoduo_jobs()

复制代码