ToB企服应用市场:ToB评测及商务社交产业平台

标题: 怎样利用 Web Scraper API 高效收罗 Facebook 用户帖子信息 [打印本页]

---

作者: 星球的眼睛    时间: 2024-11-13 08:12
标题: 怎样利用 Web Scraper API 高效收罗 Facebook 用户帖子信息

前言

如今很多企业依靠于实时数据来把握市场趋势，Web Scraper API 提供了一种高效、自动化的数据获取方式，使公司可以大概低成当地收集到大规模的公开数据。相较于手动收集信息，Web Scraper API 不仅更快更正确，还能帮助企业得到竞争情报、客户偏好等信息，尤其对于大模型和各种数据应用场景都非常有帮助。本文中的案例将利用 bright data 的 Web Scraper API 收罗 Facebook 用户帖子信息。
官方地址：https://get.brightdata.com/pzwebscraper
一、什么是Web Scraper API

Web Scraper API是一种基于云的服务，可以简化网页数据提取，提供自动处理IP轮换、CAPTCHA解决方案，并将数据解析为结构化格式。它可以高效、可扩展地收集数据，专为必要无缝访问有代价网页数据的企业量身定制。
二、Web Scraper API 的上风：

• 自动化数据收罗：通过API接口，可以轻松抓取互联网上的大量数据，无需人工手动提取，节流时间和人工本钱。支持抓取结构化和非结构化的数据，能处理各种网页结构（如HTML、JavaScript渲染内容等）。
  
• 高效与可定制化：实用于不同的网页内容和结构，可以根据需求定制抓取规则。
  支持批量抓取和定时抓取，保证了数据收罗的持续性和一致性。
  
• 无需复杂配置：无需编写复杂的爬虫代码，API调用更为简便，适合那些没有编程背景的用户。
  大多数Web Scraper API都提供了图形化的界面来配置抓取规则，降低了技术门槛。
  
• 实时数据提取：可实现实时获取互联网上的数据，使得获取的内容更加时效，实用于必要最新数据的应用。
  
• 数据清洗与格式化：很多API在数据抓取后可以直接举行开端清洗和格式化处理，输出结构化的数据（如CSV、JSON等），方便后续利用。
  

   那么网页爬虫API对于手动爬虫的上风？
  爬虫API克服了手动网页爬取的局限性，比方应对网站结构变化、遭遇封锁和验证码，以及与基础办法维护干系的高本钱。它提供了一种自动化、可扩展且可靠的数据提取解决方案，大大降低了运营本钱和时间。
  三、Web Scraper API 实用场景

• 大模型数据训练和更新：大模型依靠大量的数据训练和优化，Web Scraper API可以帮助从互联网上快速收集特定领域的数据，为模型提供最新的训练数据。可以帮助提供动态更新的输入数据，尤其是对于市场趋势、消耗者行为等必要实时反馈的领域。
  
• 市场调研与竞品分析：自动抓取竞争对手的产品信息、价格、评论等数据，帮助分析市场趋势和消耗者反馈。
  
• 新闻和社交媒体分析：重新闻网站、社交媒体平台抓取实时热点、舆情分析数据，有助于做情绪分析、趋势猜测等。
  
• 金融行业：从金融新闻、股票分析、市场报告等网页抓取数据，帮助建立猜测模型和风险评估。
  
• 电商和零售分析：抓取电商平台的产品详情、价格动态、用户评价等信息，举行销售猜测和市场洞察。
  
• 科学研究与学术论文抓取：自动从学术网站和数据库抓取最新的研究成果、论文摘要等数据，帮助建立科学文献分析工具。
  

四、实践案例

目标需求

爬取下面三位FaceBook用户的10条帖子信息
网址主页https://www.facebook.com/LeBron/

https://www.facebook.com/apple

https://www.facebook.com/gagadaily/

视频讲解


     怎样利用 Web Scraper API 高效收罗 Facebook 用户帖子信息
  
1、选择Web Scraper API

爬虫API的独特性在于其专门功能，如批量请求处理、数据发现和自动验证，并由包罗住宅代理和JavaScript渲染等先进技术支持。这些功能必要确保广泛访问、高数据完备性和整体服从，因此我选用 bright data 的 Web Scraper API 作为抓取数据的工具。
2、登录注册

首先进入 bright data 官方网站 举行注册。点击网站右上方“注册”按钮后，填写姓名、邮箱、手机号、公司规模即可注册完成✅

3、进入用户控制面板

可以看到左侧第二个菜单就是Web Scraper API，点击之后就可以看到 Web Scraper API 的具体信息。

此中我们可以看到一些比力受接待的API，比如：Facebook、Instagram、TikTok、Twitter等干系信息的APi，另外也可以看到我们在运行的 API logs
4、选择API

我们可以在列表中有上百种API，包罗了市场数据、B2B数据、电子商务数据、财务数据、新闻资料、房地产数据、社交媒体数据、观光数据等。这里我选择社交媒体数据中比力受接待的Facebook - Comments - Collect by URL API 。

5、触发数据收集 API

这里必要填写收集数据的网址、帖子数量（num_of_posts）、不包罗的帖子（posts_to_not_include）、开始日期（start_date）、竣事日期（end_date），这里我们爬取三位Facebook用户的10条帖子信息。
添加爬虫的细节

这里勾选了Include errors report with the results选项，且修改了下面四个选项的内容，如下：

接着必要获取 API Token，点击Get API token即可生成你的Token，注意生存在当地，在下面请求API时必要用到。

然后执行请求命令

这里我选择是Linux Bash版本的命令，注意一定要把命令中的API_TOKEN换成上面你生成的TOKEN。随后执行生成快照id。

生成的快照id结果为如下：

1. {"snapshot_id":"s_m342n89p1h56iw97em"}%  

复制代码

6、获取爬虫结果

提供了两种，一种是通过下载快照，另一种是发送至堆栈，这里我选择下载快照的方式，并且选择文件的格式为 JSON 、Compress files (.gz)，然后执行右侧的代码命令，必要注意先填写快照id，然后用生成的TOKEN替换掉 API_TOKEN

随后执行下载结果命令，则会出现下面的提示，状态处于running运行中，稍等片刻（注意假如前面选择的日期大概数据量比力大的话，等待时间会略长）。

随后我们继续执行上面的代码，会看到快照正在构建中

1. {"status":"building","message":"Snapshot is building, try again in 10s"}%

复制代码

等待一段时间，继续执行上面的代码，就可以看到我们终极爬取的数据啦！
直接在终端查看数据不是很方便，可以生成json文件便于查看，只必要在刚刚的命令后面加上--output data.json，就可以在当前目录下生成 data.json文件

生成的data.json文件。

7、分析爬虫结果

（1）错误的数据

生成的json数据中，此中爬取地址为https://www.facebook.com/gagadaily/和https://www.facebook.com/apple/在各自设置下的start_date和end_date时间范围爬取失败，

1.         "post_id": null,
2.                 "page_name": null,
3.                 "post_external_image": null,
4.                 "post_type": null,
5.                 "following": null,
6.                 "link_description_text": null,
7.                 "timestamp": "2024-11-05T06:31:43.199Z",
8.                 "input": {
9.                         "url": "https://www.facebook.com/gagadaily/",
10.                         "num_of_posts": 10,
11.                         "start_date": "10-20-2024",
12.                         "end_date": "10-20-2024"
13.                 },
14.                 "warning": "posts for the specified period were not found",
15.                 "warning_code": "dead_page"
16.         },
17.         {
18.                 "timestamp": "2024-11-05T06:36:23.938Z",
19.                 "input": {
20.                         "url": "https://www.facebook.com/apple/",
21.                         "num_of_posts": 10,
22.                         "start_date": "10-20-2024",
23.                         "end_date": "11-01-2024"
24.                 },
25.                 "error": "Crawler error: Timed out waiting for graphql response",
26.                 "error_code": "timeout"
27.         },

复制代码

（2）精确的数据

由于数据太多，这里截取此中一条数据

1. {
2.                 "url": "https://www.facebook.com/LeBron/videos/7922013201234317/",
3.                 "post_id": "1112318133592414",
4.                 "user_url": "https://www.facebook.com/LeBron",
5.                 "user_username_raw": "LeBron James",
6.                 "content": "What are we even talking about here?? When I think about my kids and my family and how they will grow up, the choice is clear to me. VOTE KAMALA HARRIS!!!",
7.                 "date_posted": "2024-10-31T21:28:41.000Z",
8.                 "num_comments": 1983,
9.                 "num_shares": 4085,
10.                 "num_likes_type": {
11.                         "type": "Like",
12.                         "num": 2556
13.                 },
14.                 "page_name": "LeBron James",
15.                 "profile_id": "100044427126625",
16.                 "page_intro": "The Official LeBron James Facebook page.\n\nwww.lebronjames.com",
17.                 "page_category": "Athlete",
18.                 "page_logo": "https://scontent.fmnl17-3.fna.fbcdn.net/v/t39.30808-1/461936413_1091563265667901_6592324197866706840_n.jpg?stp=dst-jpg_s200x200&_nc_cat=1&ccb=1-7&_nc_sid=f4b9fd&_nc_ohc=qTe8zYXlYsQQ7kNvgHBfFD2&_nc_zt=24&_nc_ht=scontent.fmnl17-3.fna&_nc_gid=AYpf7yucZIySMKrlXBSh-pJ&oh=00_AYAZuaCma8ReH0PhBPf2K46WnXGbnxsc6N4OEP1crs2mkA&oe=672F87E7",
19.                 "page_followers": 27000000,
20.                 "page_is_verified": true,
21.                 "attachments": [
22.                         {
23.                                 "id": "7922013201234317",
24.                                 "type": "Video",
25.                                 "url": "https://scontent.fmnl17-6.fna.fbcdn.net/v/t15.5256-10/465066739_890906873146323_7371909864090599845_n.jpg?stp=dst-jpg_p296x100&_nc_cat=109&ccb=1-7&_nc_sid=7965db&_nc_ohc=GAT9utKXJdoQ7kNvgEDaPy4&_nc_zt=23&_nc_ht=scontent.fmnl17-6.fna&_nc_gid=Ab94zEj6O3ME80PjpwtPl_C&oh=00_AYCYKzhNEZ6FLxoQoEKI1uQgrhK58t6sh4iGrC5mOq_skA&oe=672F7951",
26.                                 "video_length": "75108",
27.                                 "attachment_url": "https://www.facebook.com/LeBron/videos/7922013201234317/",
28.                                 "video_url": "https://video.fmnl17-3.fna.fbcdn.net/o1/v/t2/f2/m69/AQM4uas0Hm2iFEVJe8Z0ww2is_mZJJlW2zUYYO3FOi_88_3uUPuhZuDPQvFUcK4xVKwBhM-vKp2fFCDt7l-s78hX.mp4?efg=eyJ4cHZfYXNzZXRfaWQiOjEyNzAzNTIyNDM5OTUwMTcsInZlbmNvZGVfdGFnIjoieHB2X3Byb2dyZXNzaXZlLkZBQ0VCT09LLi5DM2UuNzIwLmRhc2hfaDI2NC1iYXNpYy1nZW4yXzcyMHAifQ&_nc_ht=video.fmnl17-3.fna.fbcdn.net&_nc_cat=104&strext=1&vs=45419d027a7075ba&_nc_vs=HBksFQIYOnBhc3N0aHJvdWdoX2V2ZXJzdG9yZS9HTHB0dHh1QU9UUkZYbnNFQVBZOXdWVEtVQlZUYm1kakFBQUYVAALIAQAVAhg6cGFzc3Rocm91Z2hfZXZlcnN0b3JlL0dFaFp1UnNHUkJid01zWU5BQmRpRDZZdjhHby1ickZxQUFBRhUCAsgBACgAGAAbAogHdXNlX29pbAExEnByb2dyZXNzaXZlX3JlY2lwZQExFQAAJpLG8eOd2MEEFQIoA0MzZSwXQFLG6XjU_fQYGWRhc2hfaDI2NC1iYXNpYy1nZW4yXzcyMHARAHUCAA&ccb=9-4&oh=00_AYBtuf70c0Pv2GUxzxMa5xQg403E4P1OzWYe-T_iE758ZA&oe=672BAE2B&_nc_sid=1d576d"
29.                         }
30.                 ],
31.                 "post_external_image": null,
32.                 "page_url": "https://www.facebook.com/LeBron",
33.                 "header_image": "https://scontent.fmnl17-1.fna.fbcdn.net/v/t1.6435-9/139267227_247937373363832_6589163605052708194_n.jpg?stp=dst-jpg_s960x960&_nc_cat=100&ccb=1-7&_nc_sid=cc71e4&_nc_ohc=jxGtOqQH7PQQ7kNvgElz9kR&_nc_zt=23&_nc_ht=scontent.fmnl17-1.fna&_nc_gid=AYpf7yucZIySMKrlXBSh-pJ&oh=00_AYBH8GeOiJeU3E69PAzYJEIL2b5YCczNFLKfNzBdzuH2aA&oe=6751412E",
34.                 "avatar_image_url": "https://scontent.fmnl17-3.fna.fbcdn.net/v/t39.30808-1/461936413_1091563265667901_6592324197866706840_n.jpg?stp=dst-jpg_s200x200&_nc_cat=1&ccb=1-7&_nc_sid=f4b9fd&_nc_ohc=qTe8zYXlYsQQ7kNvgHBfFD2&_nc_zt=24&_nc_ht=scontent.fmnl17-3.fna&_nc_gid=AYpf7yucZIySMKrlXBSh-pJ&oh=00_AYAZuaCma8ReH0PhBPf2K46WnXGbnxsc6N4OEP1crs2mkA&oe=672F87E7",
35.                 "profile_handle": "LeBron",
36.                 "is_sponsored": false,
37.                 "shortcode": "1112318133592414",
38.                 "video_view_count": 55668,
39.                 "likes": 2556,
40.                 "post_type": "Post",
41.                 "following": 114,
42.                 "link_description_text": null,
43.                 "timestamp": "2024-11-05T06:31:43.816Z",
44.                 "input": {
45.                         "url": "https://www.facebook.com/LeBron/",
46.                         "num_of_posts": 10,
47.                         "posts_to_not_include": "",
48.                         "start_date": "10-20-2024",
49.                         "end_date": "11-01-2024"
50.                 }
51.         },

复制代码

我们在他的Facebook账号首页可以看到爬虫的这条数据信息

8、获取快照列表

在Management APIs菜单下，可以看到Get snapshots list，必要设置Dataset ID以及Status (ready, running, failed)。利用此 API 检索数据快照列表，显示收集的数据的已生存版本，其状态为“就绪”、“正在运行”或“失败”以指示处理阶段。

复制右侧代码，在终端执行命令，注意替换TOKEN

得到如下数据，是我的快照列表

1. [
2.         {
3.                 "id": "s_m33ruu64vapj5x5e",
4.                 "dataset_id": "gd_lkaxegm826bjpoo9m5",
5.                 "status": "ready",
6.                 "dataset_size": 1110,
7.                 "created": "2024-11-05T01:29:04.060Z"
8.         },
9.         {
10.                 "id": "s_m33rva5t1901k40t9f",
11.                 "dataset_id": "gd_lkaxegm826bjpoo9m5",
12.                 "status": "ready",
13.                 "dataset_size": 1358,
14.                 "created": "2024-11-05T01:29:24.785Z"
15.         },
16.         {
17.                 "id": "s_m33vhh4y1sqjtfgmws",
18.                 "dataset_id": "gd_lkaxegm826bjpoo9m5",
19.                 "status": "ready",
20.                 "dataset_size": 1683,
21.                 "created": "2024-11-05T03:10:39.106Z"
22.         },
23.         {
24.                 "id": "s_m341tbg4lwht5mr2e",
25.                 "dataset_id": "gd_lkaxegm826bjpoo9m5",
26.                 "status": "ready",
27.                 "dataset_size": 11,
28.                 "created": "2024-11-05T06:07:49.300Z"
29.         },
30.         {
31.                 "id": "s_m342n89p1h56iw97em",
32.                 "dataset_id": "gd_lkaxegm826bjpoo9m5",
33.                 "status": "ready",
34.                 "dataset_size": 9,
35.                 "created": "2024-11-05T06:31:04.861Z"
36.         }
37. ]

复制代码

9、监控进度API

利用此 API 检查您的数据收集状态。输入“触发数据收集 API”响应提供的快照 ID。它将在数据收集期间返回“正在运行”，并在数据可用时返回“就绪”。

执行右侧的命令，注意必要替换TOKEN

可以看到输出结果，该快照已经处于ready的状态。

1. {"status":"ready","snapshot_id":"s_m33rva5t1901k40t9f","dataset_id":"gd_lkaxegm826bjpoo9m5","error_codes":{"timeout":1},"records":1358,"errors":1,"collection_duration":2170955}

复制代码

10、API logs

在API logs 菜单中看到当前快照id对应的数据收集状态，如下：可以看到目前正在爬取数据中。

五、利用 bright data 的 Web Scraper API 上风

1、一次API调用，大量数据

bright data 的 Web Scraper API 实用于各种利用场景的抓取，无需开发和维护网页抓取工具。利用网页一次API调用，轻松提取大量网页数据，并且在爬取数据过程中具有以下特点。

• 数据发现：检测数据结构和模式，以确保高效、有针对性的数据提取。
  
• 批量请求处理：淘汰服务器负载，并优化大规模抓取任务的数据收集。
  
• 数据解析：高效地将原始HTML转换为结构化数据，简化数据集成和分析。
  
• 数据验证：确保数据可靠性，节流手动检查和预处理的时间。
  

2、不消担心代理和验证码

总结

在本文案例中，利用 bright data 的 Web Scraper API 真的是非常的高效！它支持自界说配置，可以根据需求选择抓取的页面、数据量、日期，非常适合应对不同的数据需求。还可以大概轻松集成到现有的数据处理或分析管道中。尤其对开发人员来说，通常只需少量代码即可调用和处理数据。在抓取数据过程中，服从真的很高，么有出现任何个人信息泄漏的状态，并且本钱也不是很高，完全可以hold住。
总的来说，Web Scraper API 带来了强大的数据获取本事和机动性，强烈保举利用！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4