软科中国大学排名爬虫+数据可视化
这一期是关于软科中国大学排名的爬虫分析目标网址：https://www.shanghairanking.cn/rankings/bcur/2024
https://i-blog.csdnimg.cn/direct/65b88565f36646068b0b2a78820c1240.png
每页30所学校信息，共20页
https://i-blog.csdnimg.cn/direct/2b59861534434c6aba65e1e6fb0ed832.png
点击翻页，你发现网址没有发生变化，说明该页面信息应该是使用js实现动态加载数据的方式展示的，以是我们无法通过 get 传参的方式来切换网页举行爬取。
接下来，按 F12 或者右键选择审查元素，搜刮一下清华大学检察网页结构：
https://i-blog.csdnimg.cn/direct/88b0c6e7af114760987ab09c55159404.png
这里我们可以看到信息都在一个 payload.js 的文件里，继承检察可以发现这里有590所学校的所有信息，说明网页表现的内容是通过 javascript 剖析这个文件动态加载进去的。
https://i-blog.csdnimg.cn/direct/53da716973e8448d96a0cd041a43f0f8.png
那我们只必要剖析这个文件就好了，找到各个变量对应的值。
https://i-blog.csdnimg.cn/direct/a5a824c912af4ed993bfe22d6e4f9de3.png
https://i-blog.csdnimg.cn/direct/dd42ece84e0e466b9f1b946605bc8b04.png
最终爬取到的数据：
https://i-blog.csdnimg.cn/direct/a29305bda43044fc836b2166022bfbd4.png
https://i-blog.csdnimg.cn/direct/a4ccd3efe4fb4ac4a07fd8b0c12f8c45.png
完备代码批评区获取
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]