优势
- 本文开端讲一下采集引擎，后续会不断在此文章更新各种采集方式
- 采集引擎支持采集DOM渲染前的html，也支持渲染后的html
- 采集引擎支持采集网页的全部资源请求、接口请求
相干开源项目
基于开源低代码平台Microi吾码的图片壁纸、短视频开源项目：https://microi.blog.csdn.net/article/details/144002079
采集图片、视频接口引擎代码
实际上以下代码我们也可以写的更通用一点，将selectors由前端传入，如许可以做到一个接口采集万物，固然也可以每个网站采集对应一个接口引擎
- if(!V8.Param.Url){
- V8.Result = { Code : 0, Msg : '参数错误！' }; return;
- }
- var url = V8.Param.Url;
- var headless = V8.Param.Headless;
- var isCloseBrowser = V8.Param.IsCloseBrowser;
- var isClosePage = V8.Param.IsClosePage;
- var selectors = [];
- var urlWebType = 'kuaishou';
- //目前仅支持[v.kuaishou.com] 实际上支持所有网站，只要你会写Selector
- if(url.indexOf('v.kuaishou.com') > -1){
- urlWebType = 'kuaishou'
- }else if(url.indexOf('v.douyin.com') > -1){
- urlWebType = 'douyin'
- }else{
- V8.Result = { Code : 0, Msg : '目前仅支持快手、抖音。' }; return;
- }
- if(urlWebType == 'kuaishou'){
- if(V8.Param.ContentType == 'ShortVideo'){
- //采集快手视频。后期需改成动态采集规则配置
- selectors = [{
- Key : 'Author',
- Selector : '.short-video-info .short-video-info-container .profile-user-name .profile-user-name-title',
- Script : '(element) => element.innerText',
- },{
- Key : 'Title',
- Selector : '.short-video-info .short-video-info-container .short-video-info-container-detail .video-info-title',
- Script : '(element) => element.innerText',
- },{
- Key : 'FileUrls',
- Selector : '.kwai-player-container-video video',
- Script : '(element) => element.src',
- },{
- Key : 'Cover',
- Selector : '.short-video-detail .short-video-detail-container .short-video-wrapper .video-container-player',
- Script : '(element) => element.getAttribute(\'poster\')',
- }];
- }else{
- //采集快手图片。后期需改成动态采集规则配置
- selectors = [{
- Key : 'Author',
- Selector : '.work-info.section .author .txt-wrapper .txt',
- Script : '(element) => element.innerText',
- },{
- Key : 'Title',
- Selector : '.work-info.section .desc',
- Script : '(element) => element.innerText',
- },{
- Key : 'FileUrls',
- Selector : '.long-image-container img, .swiper-container-item img',
- Script : '(element) => element.src',
- }];
- }
- }if(urlWebType == 'douyin'){
- if(V8.Param.ContentType == 'ShortVideo'){
- //采集抖音视频。后期需改成动态采集规则配置
- selectors = [{
- Key : 'Author',
- Selector : '.video-detail .leftContainer img',
- Script : '(element) => element.alt',
- },{
- Key : 'Title',
- Selector : 'title',
- Script : 'el => el.textContent',
- },{
- Key : 'FileUrls',
- Selector : '.xg-video-container video source',
- Script : 'el => el.getAttribute(\'src\')',//'el => el.querySelector(\'source\').getAttribute(\'src\')',
- },{
- Key : 'Cover',
- Selector : 'meta[name=\'lark:url:video_cover_image_url\']',
- Script : 'el => el.content',
- }];
- }else{
- //采集抖音图片。后期需改成动态采集规则配置
- selectors = [{
- Key : 'Author',
- Selector : '.work-info.section .author .txt-wrapper .txt',
- Script : '(element) => element.innerText',
- },{
- Key : 'Title',
- Selector : '.work-info.section .desc',
- Script : '(element) => element.innerText',
- },{
- Key : 'FileUrls',
- Selector : '.long-image-container img, .swiper-container-item img',
- Script : '(element) => element.src',
- }];
- }
- }
- V8.Result = V8.Spider.GetRenderHtml({
- Headless : headless,
- IsCloseBrowser : isCloseBrowser,
- IsClosePage : isClosePage,
- Url : url,
- Selectors : selectors
- // ExecutablePath : 'D:\\Web\\microi-api\\publish\\Chrome\\Application\\109.0.5414.168',
- // VirtualWindows : true,
- //Selector : '.long-image-container img, .swiper-container-item img',
- //Script : '(element) => element.src',
- // ResponseUrlStart : 'https://m.yxixy.com/rest/wd/photo/info?'
- });
- 平台介绍：https://microi.blog.csdn.net/article/details/143414349
- 一键安装使用：https://microi.blog.csdn.net/article/details/143832680
- 快速开始使用：https://microi.blog.csdn.net/article/details/143607068
- 源码本地运行-后端：https://microi.blog.csdn.net/article/details/143567676
- 源码本地运行-前端：https://microi.blog.csdn.net/article/details/143581687
- Docker部署：https://microi.blog.csdn.net/article/details/143576299
- 表单引擎：https://microi.blog.csdn.net/article/details/143671179
- 模块引擎：https://microi.blog.csdn.net/article/details/143775484
- 接口引擎：https://microi.blog.csdn.net/article/details/143968454
- 工作流引擎：https://microi.blog.csdn.net/article/details/143742635
- 界面引擎：https://microi.blog.csdn.net/article/details/143972924
- 打印引擎：https://microi.blog.csdn.net/article/details/143973593
- V8函数列表-前端：https://microi.blog.csdn.net/article/details/143623205
- V8函数列表-后端：https://microi.blog.csdn.net/article/details/143623433
- V8.FormEngine用法：https://microi.blog.csdn.net/article/details/143623519
- Where条件用法：https://microi.blog.csdn.net/article/details/143582519
- DosResult说明：https://microi.blog.csdn.net/article/details/143870540
- 分布式存储设置：https://microi.blog.csdn.net/article/details/143763937
- 自界说导出Excel：https://microi.blog.csdn.net/article/details/143619083
- 表单引擎-定制组件：https://microi.blog.csdn.net/article/details/143939702
- 表单控件数据源绑定设置：https://microi.blog.csdn.net/article/details/143767223
- 复制表单和模块到其它数据库：https://microi.blog.csdn.net/article/details/143950112
- 论传统定制开发与低代码开发的优缺点：https://microi.blog.csdn.net/article/details/143866006
- 开源版、个人版、企业版区别：https://microi.blog.csdn.net/article/details/143974752
- 成为合伙人：https://microi.blog.csdn.net/article/details/143974715
- 基于Microi的开源项目：https://microi.blog.csdn.net/category_12828230.html
- 成功案例：https://microi.blog.csdn.net/category_12828272.html
接口引擎实战-系列文档
- 接口引擎实战-发送第三方短信：https://microi.blog.csdn.net/article/details/143990546
- 接口引擎实战-发送阿里云短信：https://microi.blog.csdn.net/article/details/143990603
- 接口引擎实战-微信小步调授权手机号登录：https://microi.blog.csdn.net/article/details/144106817
- 接口引擎实战-微信v3支付JSAPI下单：https://microi.blog.csdn.net/article/details/144156119
- 接口引擎实战-微信支付回调接口：https://microi.blog.csdn.net/article/details/144168810
- 接口引擎实战-MongoDB相干操纵：https://microi.blog.csdn.net/article/details/144434527
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
