ToB企服应用市场:ToB评测及商务社交产业平台

标题: C#爬取动态网页上的信息：B站主页 [打印本页]
作者: 万万哇    时间: 2024-9-27 20:58
标题: C#爬取动态网页上的信息：B站主页
目次

简介

动态内容网站使用 JavaScript 脚本动态检索和渲染数据，爬取信息时需要模拟浏览器行为，否则获取到的源码基本是空的。爬取步调如下：
新建项目，安装需要的库：
获取 HTML 文档

需要留意的主要是以下2点：
  1. private static string GetHtml(string url)
  2. {
  3.     ChromeOptions options = new ChromeOptions();
  4.     // 不显示浏览器
  5.     options.AddArgument("--headless");
  6.     // GPU加速可能会导致Chrome出现黑屏及CPU占用率过高
  7.     options.AddArgument("--nogpu");
  8.     // 设置chrome启动时size大小
  9.     options.AddArgument("--window-size=10,10");
  11.     using (var driver = new ChromeDriver(options))
  12.     {
  13.         try
  14.         {
  15.             driver.Manage().Window.Minimize();
  16.             driver.Navigate().GoToUrl(url);
  17.             // 等待页面动态加载完成
  18.             Thread.Sleep(5000);
  19.             // 返回页面源码
  20.             return driver.PageSource;
  21.         }
  22.         catch (NoSuchElementException)
  23.         {
  24.             Console.WriteLine("找不到该元素");
  25.             return string.Empty;
  26.         }
  27.     }
  28. }
复制代码
解析 HTML 文档

这里以B站为例，爬取B站UP主主页上的视频信息，如视频的标题、链接、封面。
先定义一个类来保存信息：
  1. class VideoInfo
  2. {
  3.     public string Title { get; set; }
  4.     public string Href { get; set; }
  5.     public string ImgUrl { get; set; }
  6. }
复制代码
定义解析函数，返回视频信息列表：
  1. private static List<VideoInfo> GetVideoInfos(string url)
  2. {
  3.     List<VideoInfo> videoInfos = new List<VideoInfo>();
  5.     // 加载文档
  6.     var html = GetHtml(url);
  7.     var htmlDoc = new HtmlDocument();
  8.     htmlDoc.LoadHtml(html);
  10.     // 解析文档，先定位到视频列表标签
  11.     var xpath = "/html/body/div[2]/div[4]/div/div/div[1]/div[2]/div/div";
  12.     var htmlNodes = htmlDoc.DocumentNode.SelectNodes(xpath);
  14.     // 循环解析它的子节点视频信息
  15.     foreach (var node in htmlNodes)
  16.     {
  17.         var titleNode = node.SelectSingleNode("a[2]");
  18.         var imgNode = node.SelectSingleNode("a[1]/div[1]/picture/source[1]");
  20.         var title = titleNode.InnerText;
  21.         var href = titleNode.Attributes["href"].Value.Trim('/');
  22.         var imgUrl = imgNode.Attributes["srcset"].Value.Split('@')[0].Trim('/');
  24.         videoInfos.Add(new VideoInfo
  25.         {
  26.             Title = title,
  27.             Href = href,
  28.             ImgUrl = imgUrl
  29.         });
  30.     }
  31.     return videoInfos;
  32. }
复制代码
视频列表标签的 XPath 路径是通过浏览器调试工具，在指定标签上右键 复制完备的XPath 得到：

分析代码中的 node 节点时，html文本格式可能很乱，可以通过在线 HTML 代码格式化 工具格式后再进行分析。
测试

以B站UP主 星瞳_Official 为例，爬取视频信息：
  1. static void Main(string[] args)
  2. {
  3.     var url = @"https://space.bilibili.com/401315430";
  4.     var videoInfos = GetVideoInfos(url);
  5.     foreach (var videoInfo in videoInfos)
  6.     {
  7.         Console.WriteLine(videoInfo.Title);
  8.         Console.WriteLine(videoInfo.Href);
  9.         Console.WriteLine(videoInfo.ImgUrl);
  10.         Console.WriteLine();
  11.     }
  12.     Console.ReadKey();
  13. }
复制代码
结果如下：
  1. 等一下，好妹妹
  2. www.bilibili.com/video/BV1uyxLeJEM9
  3. i0.hdslb.com/bfs/archive/46a15065d1b6722a04696ffaaa2235287ceaa452.jpg
  5. 一口一个?你的超甜辣椒
  6. www.bilibili.com/video/BV1AQsDeiEn1
  7. i0.hdslb.com/bfs/archive/d93d47d67323ee284483e963ffed34fb9884cf61.jpg
复制代码
这里只是演示爬取动态页面的方法，如果想获取B站UP主的视频信息，建议直接使用 API 哀求数据。
参考文章


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4