ToB企服应用市场:ToB评测及商务社交产业平台

标题: 基于spark的影戏推荐系统 [打印本页]

作者: 莫张周刘王 时间: 2024-12-1 18:15
标题: 基于spark的影戏推荐系统
作者主页：Java码库
  主营内容：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app等操持与开发。
  收藏点赞不迷路关注作者有利益
  文末获取源码
  项目描述

本系统是基于Spark来进行推荐的，使用的是Spark集群的方式来处置处罚数据，Spark集群运行在用VMwear里的Ubuntu20.04上。爬虫部门使用的是用Python语言所编写的爬虫程序在windows11下进行爬取的，数据存储在Ubuntu里的MySQL中。数据展示使用的是Django和Bootstrap所搭建的Web平台，代码均在Pycharm中编写。
系统的架构分为数据获取层，数据处置处罚层，数据存储层，业务层，展示层。

展示层包括了Web的前背景两部门，前台是为了用户来查看影戏数据和推荐系统向用户展示推荐数据页面，背景是管理员管理用户和影戏数据的页面。
业务层是对前背景业务功能进行实现的代码逻辑层。
数据计算层是用来对数据做统计分析，和运行推荐算法的。通过对数据存储层里的基础数据和用户行为数据做计算推荐，得到的结果重新存入数据存储层中。
数据获取层用以获取本推荐系统所必要的大量基础数据，并进行数据预处置处罚，使之规整以后便存入数据存储层中。
系统架构各层环境的搭建如下：

展示层和业务层通过Django和Bootstrap进行搭建实现，在Windows11环境使用pip命令下载Django，还有在Bootstrap官网下载压缩包，然后在pycharm上新建一个Django项目。然后把Bootstrap解压包放在项目标static文件夹下面，后续网页开发的时候可以进行引用，实现各种样式的前端效果。
数据计算层是基于4.1系统环境部署的Spark集群实现数据统计分析和推荐算法计算的。其中用到了Spark SQL 和Spark ML。
数据存储层使用的关系型数据库MySQL，其部署安装在Ubuntu当中，为了使其能够在windows11平台使用，要在安装成功后修改root远程登录的IP为%，意思是答应外部IP对数据库进行访问，然后就可以在UBuntu和Windows11两个平台共用一个数据库作为本推荐系统的存储层。
本推荐系统的数据获取层，是在Windows11下用pycharm开发工具开发爬虫程序，并进行预处置处罚，然后存入数据存储层的数据库中，用于数据计算层，业务层和展示层所用。

技术选型

操作系统	Ubuntu20.04，Windows11
虚拟机工具	VMware Workstation 16 Pro
数据库工具	MySQL5.7
大数据处置处罚框架	Hadoop，Spark
JDK	Java JDK 1.8
编程语言	Python 3.7
Web框架	Django，Bootstrap
Ide工具	Pycharm

功能操持

功能截图

项目列表（连续更新）

https://blog.csdn.net/qq_38470315?type=blog
其他说明

1、系统源码经过整理与测试，确保可以正常运行。
2、小体例作不易，一键四连再走吧，您的支持永远是我们更新的动力！
3、有任何疑问与问题，可以点击下方微信名片添加微信交换。
4、限时运动，咨询就送开题陈诉，并且是免费的，欢迎大家来留言。

源码获取

大家点赞、收藏、关注、评论啦、查看

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)