python爬虫爬取博客园

python 爬取 博客园 接 蚂蚁学pythonP5生产者消费者爬虫数据重复问题

• 先看访问地址
  
  
  
  
  • 访问地址是https://www.cnblogs.com/#p2 但是实际访问地址是https://www.cnblogs.com 说明其中存在猫腻；像这种我们给定指定页码，按理应该是 post 请求才对；于是乎 往下看了几个连接
    
    
  • 然后再看一下payload 发现这个post 请求 才是我们想要的链接 其中PageIndex 就是我们要设置的页数
    
    
  
  
• 代码撸起来
  1. # Author: Lovyya
  2. # File : blog_spider
  3. import requests
  4. import json
  5. from bs4 import BeautifulSoup
  6. import re
  7. # 这个是为和老师的urls一致性 匹配urls里面的数字
  8. rule = re.compile("\d+")
  10. urls = [f'https://www.cnblogs.com/#p{page}' for page in range(1, 31)]
  12. # pos请求网址
  13. url = "https://www.cnblogs.com/AggSite/AggSitePostList"
  14. headers = {
  15.         "content-type": "application/json",
  16.         "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30"
  17. }
  19. def craw(urls):
  20.         #idx 是'xxx.xxxx.xxx/#p{num}' 里面的num 这样写可以不用改 后面生产者消费者的代码
  21.         idx = rule.findall(urls)[0]
  22.         # payload参数 只需要更改 idx 就行
  23.         payload = {
  24.                 "CategoryType": "SiteHome",
  25.                 "ParentCategoryId": 0,
  26.                 "CategoryId": 808,
  27.                 "PageIndex": idx,
  28.                 "TotalPostCount": 4000,
  29.                 "ItemListActionName": "AggSitePostList"
  30.         }
  31.         r = requests.post(url, data=json.dumps(payload), headers=headers)
  32.         return r.text
  34. def parse(html):
  35.         # post-item-title
  36.         soup = BeautifulSoup(html, "html.parser")
  37.         links = soup.find_all("a", class_="post-item-title")
  38.         return [(link["href"], link.get_text()) for link in links]
  40. if __name__ == '__main__':
  41.         for res in parse(craw(urls[2])):
  42.                 print(res)

  复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！