ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【爬虫】使用Python爬取百度学术页面的标题、作者、摘要和关键词 [打印本页]
作者: 温锦文欧普厨电及净水器总代理    时间: 2024-6-15 02:31
标题: 【爬虫】使用Python爬取百度学术页面的标题、作者、摘要和关键词
在本文中，我将介绍如何使用Python编写一个网络爬虫，从百度学术页面提取研究论文的标题、作者、摘要和关键词。我们将使用 requests和 BeautifulSoup库来实现这一目标。
安装所需库

首先，确保已安装所需的Python库：
  1. pip install requests beautifulsoup4
复制代码
编写爬虫

以下是一个示例脚本：
  1. import requests
  2. from bs4 import BeautifulSoup
  4. # 百度学术页面URL
  5. url = "https://xueshu.baidu.com/usercenter/paper/show?paperid=7ea6e4650085a4bf2457468cc815cabe&site=xueshu_se"
  7. # 请求头
  8. headers = {
  9.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
  10. }
  12. # 发送请求
  13. response = requests.get(url, headers=headers)
  14. response.encoding = 'utf-8'
  16. if response.status_code == 200:
  17.     # 解析HTML
  18.     soup = BeautifulSoup(response.text, 'html.parser')
  20.     # 提取标题
  21.     title_tag = soup.find('a', {'data-click': "{'act_block':'main','button_tp':'title'}"})
  22.     title = title_tag.get_text(strip=True) if title_tag else "未找到标题"
  24.     # 提取作者
  25.     author_tag = soup.find('p', {'class': 'author_text'})
  26.     author = author_tag.get_text(strip=True) if author_tag else "未找到作者"
  28.     # 提取摘要
  29.     abstract_tag = soup.find('p', {'class': 'abstract'})
  30.     abstract = abstract_tag.get_text(strip=True) if abstract_tag else "未找到摘要"
  32.     # 提取关键词
  33.     keywords_tag = soup.find('div', {'class': 'kw_wr'})
  34.     if keywords_tag:
  35.         keywords = [keyword.get_text(strip=True) for keyword in keywords_tag.find_all('a')]
  36.         keywords = ', '.join(keywords)
  37.     else:
  38.         keywords = "未找到关键词"
  40.     # 打印提取结果
  41.     print("标题:", title)
  42.     print("作者:", author)
  43.     print("摘要:", abstract)
  44.     print("关键词:", keywords)
  45. else:
  46.     print("无法访问网页")
复制代码
代码表明

运行脚本

将上述代码保存为一个Python文件，比方scraper.py，然后在命令行中运行：
  1. python scraper.py
复制代码
结果



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4