ToB企服应用市场:ToB评测及商务社交产业平台

标题: 写一个监控采集公众号文章的插件 [打印本页]
作者: 东湖之滨    时间: 2024-5-17 18:58
标题: 写一个监控采集公众号文章的插件
原文链接: https://mp.weixin.qq.com/s/f8zbM6wMld3koqjaFbCuxw
前言

微信关注了许多技能类的公众号，但是不停都没看，所以想先把文章下载下来，放着以后可能肯定会看。

之前写的Python微信机器人系列文章里提到了怎样hook微信的实时消息，实时消息里也包含了公众号文章的推送，可以获取到文章的标题链接和发布时间，而且获取的很及时，基本公众号已发文推送就能收到。这样我们可以在收到文章后请求到正文然后生存成html，这样也可以防止文章被删除。
反面有时间顺便把这些公众号的历史文章也下载生存成pdf或HTML。已经在计划内了，采集历史并不麻烦，只是我想生存的时候也将文章的评论一起生存(有时候评论里也有有价值的回复)，然后就绕了一些弯路。
另外，我创建了一个github仓库来列出这些公众号，方便大家可以看到，假如你觉得某个公众号对你有帮助也可以关注它(不是广告)。反面假如有看到新的关于逆向的公众号也会更新到仓库里。或者大家有啥好的公众号也可以保举出来。
仓库地址: https://github.com/kanadeblisst00/high-quality-biz
不过下载完这些历史文章后，分享这些文件也是个问题。假如压缩成一个包放网盘的话不方便更新(我打算每周或者每两周更新一次历史), 假如每次更新压缩成一个包，然后每个公众号一个文件夹的话又不方便上传，也不方便看。等我下载完再看怎么分享吧
导出已关注的公众号列表

这个可以看之前写的一篇文章：【写一个Python微信机器人】第九篇: 导出本身的微信好友列表 。导出的数据里也包含了公众号。
使用教程

安装

注入Python到微信

起首创建一个目录，比方robot_code，再创建一个main.py(名称随意)写入以下代码:
  1. from py_process_hooker import inject_python_and_monitor_dir
  2. from wechat_pyrobot import get_on_startup
  3. from wechat_pyrobot.msg_plugins import MonitorBiz
  6. if __name__ == "__main__":
  7.     process_name = "WeChat.exe"
  8.     open_console = True
  9.     on_startup = get_on_startup(msg_plugins=[MonitorBiz])
  10.     inject_python_and_monitor_dir(process_name, __file__, open_console=open_console, on_startup=on_startup)
复制代码
启动并登录微信，实行这个main.py就会把Python注入到微信而且打开控制台。只要收到公众号的文章推送，控制台就会打印出来

编写本身的处理插件

上面的插件只是演示了怎么获取公众号文章的数据，我直接将数据打印在了控制台。假如你需要生存到文件或者数据库，你只需要继承这个插件，然后重写相应的方法。
假设你在main.py同目录创建了一个文件夹plugins，然后创建了一个文件biz.py写入以下内容：
  1. import os
  2. import json
  3. from wechat_pyrobot.msg_plugins import MonitorBiz
  6. class MyMonitorBiz(MonitorBiz):
  7.     def __init__(self, **kwargs) -> None:
  8.         super().__init__(**kwargs)
  9.         self.name = os.path.basename(__file__)
  10.         # 注意当前所在目录是微信目录，而不是main.py所在目录，所以需要用__file__来定位
  11.         main_path = os.path.dirname(os.path.dirname(__file__))
  12.         self.save_path = os.path.join(main_path, "公众号监听数据.json")
  14.     def save_items(self, items):
  15.         # item是包含多个数据(字典)的列表
  16.         with open(self.save_path, 'a', encoding='utf-8') as f:
  17.             for item in items:
  18.                 print(item)
  19.                 f.write(json.dumps(item) + '\n')     
复制代码
接着在启动的时候传你自定义的插件即可，其他代码不消变。由于没有传httpapi插件，所以不会有fastapi开启http的提示。wechat_pyrobot1.3.0也取消了监听文件夹热更新模块，只会看到如下图所示：
  1. from py_process_hooker import inject_python_and_monitor_dir
  2. from wechat_pyrobot import get_on_startup
  3. from plugins.biz import MyMonitorBiz
  6. if __name__ == "__main__":
  7.     process_name = "WeChat.exe"
  8.     open_console = True
  9.     on_startup = get_on_startup(msg_plugins=[MyMonitorBiz])
  10.     inject_python_and_monitor_dir(process_name, __file__, open_console=open_console, on_startup=on_startup)
复制代码

有公众号发文的话你就能看到公众号监听数据.json文件被创建，里面也有数据了。
公众号采集

如今采集微信公众号的文章数据，实时的话基本都得hook。一是时效性高，另外就是不需要主动请求接口，不受接口限定，只需要关注公众号等待公众号发文即可。此中hook Windows端微信的应该最多，由于Windows机器本钱低，且可以用服务器长期稳定的运行。
采集历史文章的话，如今能使用的还有以下方式：
微信公众平台和windows的http接口使用的人比较多，由于技能难度低，只需要抓包到cookie或者参数就能使用，接口也都没加密。
windows http接口的入口链接 : https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=MzU0OTkwODU2MA==。使用biz拼链接然后访问，再用mitmproxy等监听工具修改js来自动化操作(翻页和拦截参数)。但这种方法迩来老是被封接口，以前只会封24小时，如今最长可以封一个月。所以我这边已经抛弃了这种方式。

第二种则是新版本打开公众号出现的窗口，这种不是http接口，只能使用hook或者协议来请求。故意思的是这个接口可以无限请求，不会被封接口，但假如请求很频仍而且到达肯定量的话会封号，所以需要限定一下每天的请求量。当然，在限定的情况下也比http方式采集的数据多许多。
这个方式还有一点比较好，就是可以在请求列表页的时候获取到每篇文章的阅读数，假如你只是需要链接和阅读数的话，就不需要去每篇文章请求一次阅读数了。

本文由博客一文多发平台 OpenWrite 发布！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4