ToB企服应用市场:ToB评测及商务社交产业平台

标题: 软科中国大学排名爬虫+数据可视化 [打印本页]

作者: 渣渣兔 时间: 2024-8-2 20:07
标题: 软科中国大学排名爬虫+数据可视化
这一期是关于软科中国大学排名的爬虫分析
目标网址：https://www.shanghairanking.cn/rankings/bcur/2024

每页30所学校信息，共20页

点击翻页，你发现网址没有发生变化，说明该页面信息应该是使用js实现动态加载数据的方式展示的，以是我们无法通过 get 传参的方式来切换网页举行爬取。
接下来，按 F12 或者右键选择审查元素，搜刮一下清华大学检察网页结构：

这里我们可以看到信息都在一个 payload.js 的文件里，继承检察可以发现这里有590所学校的所有信息，说明网页表现的内容是通过 javascript 剖析这个文件动态加载进去的。

那我们只必要剖析这个文件就好了，找到各个变量对应的值。

最终爬取到的数据：

完备代码批评区获取

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)