spark短视频保举体系-毕业设计源码53097
摘 要
随着互联网的快速发展和智能手机的普及，短视频已成为人们一样平常娱乐和获取信息的重要渠道。面临海量的短视频内容，如作甚用户保举感爱好的视频成为了一个关键问题。本文提出了一种基于Spark的短视频保举体系的设计与实现方案，旨在为用户提供个性化的视频保举服务。
本文首先分析了短视频保举体系的需求，包括视频资讯、视频保举等焦点问题。在此底子上，设计了基于Spark的体系架构，包括数据收罗与处理、用户爱好分析、视频内容特性提取、保举算法实现等模块。Spark作为大规模数据处理和分析的框架，可以或许高效地处理海量数据，并提供强盛的计算本领，为保举算法的实现提供了有力支持。
在视频保举方面，体系利用Python的机器学习库，如Scikit-learn和TensorFlow，构建保举模型。通过对用户历史观看记录、点赞、批评等行为的深度分析，体系可以或许精准捕捉用户爱好偏好，实现个性化保举。同时，结合视频的内容特性，如标题、标签、形貌等，进行内容保举，为用户提供更加丰富的视频选择。
经过实际部署和测试，本文所设计的基于Spark的短视频保举体系表现出良好的保举效果和性能。该体系不仅进步了用户满足度，也为短视频平台带来了更高的用户粘性和活跃度。本文的研究成果对于推动短视频保举技能的发展和应用具有一定的参考价值和实际意义。
关键词：spark；短视频保举；个性化
Abstract
With the rapid development of the Internet and the popularity of smart phones, short videos have become an important channel for people to enjoy daily entertainment and obtain information. Faced with a massive amount of short video content, how to recommend videos of interest to users has become a key issue. This article proposes a design and implementation scheme for a Spark based short video recommendation system, aiming to provide users with personalized video recommendation services.
This article first analyzes the requirements of short video recommendation systems, including core issues such as video information and video recommendation. On this basis, a Spark based system architecture was designed, including modules such as data acquisition and processing, user interest analysis, video content feature extraction, and implementation of recommendation algorithms. As a framework for large-scale data processing and analysis, Spark can efficiently process massive amounts of data and provide powerful computing power, providing strong support for the implementation of recommendation algorithms.
In terms of video recommendation, the system utilizes Python's machine learning libraries such as Scikit learn and TensorFlow to build recommendation models. Through in-depth analysis of user historical viewing records, likes, comments, and other behaviors, the system can accurately capture user interests and preferences, and achieve personalized recommendations. At the same time, combining the content characteristics of videos, such as titles, tags, descriptions, etc., to recommend content and provide users with more diverse video choices.
After actual deployment and testing, the Spark based short video recommendation system designed in this article has shown good recommendation effectiveness and performance. This system not only improves user satisfaction, but also brings higher user stickiness and activity to short video platforms. The research results of this article have certain reference value and practical significance for promoting the development and application of short video recommendation technology.
Keywords: spark; Short video recommendation; individuation
目录
第1章 引言
1.1 研究背景与意义
1.2 国内外研究近况
第2章 体系开发环境
Python简介
2.2 B/S体系布局先容
2.3 spark框架先容
2.4 MySQL数据库
第3章 体系分析
3.1 可行性分析
3.1.1 技能可行性
3.1.2 经济可行性
3.1.3 操作可行性
3.2 功能需求分析
3.3 性能需求分析
3.4 体系用例分析
第4章 体系设计
4.1 体系体系布局
4.2 总体布局设计
4.3 数据库设计
4.3.1 概念设计
4.3.2 逻辑设计
第5章 体系实现
5.1 登录模块的实现
5.2 平凡用户功能模块的实现
5.2.1 注册模块的实现
5.2.2 前台首页模块的实现
5.2.3 视频资讯模块的实现
5.2.4 视频保举模块的实现
5.3 管理员功能模块的实现
5.3.1 用户管理模块的实现
5.3.2 体系首页模块的实现
5.3.3 视频保举管理模块的实现
5.3.4 通知公告管理模块的实现
5.3.5 资源管理模块的实现
5.3.6 体系管理模块的实现
第6章 体系测试
6.1 测试目的
6.2 功能测试
6.3 测试结果
第7章 总结与预测
参考文献
致谢
[*] 引言
[*] 研究背景与意义
随着互联网的迅猛发展，短视频已成为全球用户广泛喜爱的内容形式。天天，数以亿计的视频被上传、观看和分享，形成了一个巨大的视频数据海洋。然而，怎样资助用户从海量的视频内容中快速找到他们感爱好的内容，成为了一个亟待解决的问题。传统的保举方法往往难以应对如此大规模的数据量，且难以提供个性化的保举服务。
在此背景下，基于Spark的短视频保举体系应运而生。Spark作为大数据处理领域的佼佼者，具有强盛的分布式计算本领和高效的数据处理本领，可以或许轻松应对海量视频数据的挑战。而Python，作为一种简便、易学的编程语言，结合了大量的数据处理和机器学习库，为保举算法的实现提供了极大的便利。
本研究的意义在于，通过结合Spark和Python大数据技能，设计并实现一个高效、准确的短视频保举体系，旨在解决当前短视频保举领域面临的挑战。该体系不仅可以或许为用户提供个性化的视频保举服务，提升用户的浏览体验，还能资助视频平台优化内容分发，进步用户粘性，进而实现贸易价值的最大化。
此外，本研究还具有推动大数据技能、保举算法和短视频行业发展的重要意义。通过不断优化和完满体系，可以为其他领域的大数据保举体系提供有益的参考和借鉴，推动整个大数据和人工智能领域的发展。
综上所述，基于Spark的短视频保举体系的设计与实现，具有重要的研究背景和意义，不仅有助于解决当前短视频保举领域的难题，还能推动相干技能的创新和发展。
[*]
[*] 国内外研究近况
在国内，随着大数据技能的快速发展和短视频行业的崛起，基于Spark和Python的短视频保举体系成为了研究的热点。国内的研究者和企业纷纷投入到这一领域，致力于进步保举体系的准确性和效率。
一方面，国内的研究团队在保举算法上进行了大量创新，如基于深度学习的用户爱好建模、协同过滤算法的优化等。这些算法在Spark平台上得到了实现，并取得了良好的保举效果。
另一方面，国内的研究还注意将短视频保举体系与实际应用场景相结合。例如，一些短视频平台通过引入用户社交网络信息，构建更加精准的用户爱好模型，从而进步保举的个性化程度。
在国外，大数据和人工智能技能在短视频保举体系中的应用也备受关注。许多知名的短视频平台，如YouTube、TikTok等，都在保举体系上投入了大量的研发力量。
国外的研究团队在保举算法上同样取得了明显进展，如基于强化学习的保举策略优化、基于生成对抗网络的保举内容生成等。这些先进的算法和技能为短视频保举体系的发展提供了有力支持。
此外，国外的研究还注意保举体系的可解释性和用户隐私保护。例如，一些研究者致力于进步保举结果的透明度，让用户相识保举的原因和依据；同时，也关注用户隐私的保护，确保保举体系在处理用户数据时服从隐私政策和法律法规。
国内外在基于Spark和Python大数据版的短视频保举体系的研究与应用上均取得了一定的成果。国内的研究注意算法创新和实际应用场景的结合，而国外的研究则更注意保举体系的可解释性和用户隐私保护。未来，随着技能的不断发展和用户需求的不断厘革，短视频保举体系的研究和应用将更加深入和广泛。通过借鉴国内外的成功履历和技能创新，我们可以进一步推动基于Spark和Python大数据版的短视频保举体系的发展和应用。
[*] 体系开发环境
[*] Python简介
Python 是一个高层次的脚本语言结合相识释性、编译性、互动性和面向对象的。Python 的设计，相比其他语言经常使用英文关键字和其他语言的一些标点符号，它具有比其他语言更有特色语法布局，具有很强的可读性。
解释型语言：类似于Python和Perl语言，这意味着开发过程中没有了编译这个环节。
交互式语言：可以在一个 Python 提示符 >>> 后直接实行代码。
面向对象语言：Python支持面向对象的风格或代码封装在对象的编程技能。
[*]
[*] B/S体系布局先容
B/S布局（Browser/Server，浏览器/服务器模式），是WEB鼓起后的一种网络布局模式，WEB浏览器是客户端最重要的应用软件。这种模式同一了客户端，将体系功能实现的焦点部分会合到服务器上，简化了体系的开发、维护和使用。客户机上只要安装一个浏览器，如Chrome、Safari、Microsoft Edge、Netscape Navigator或Internet Explorer，服务器安装SQL Server、Oracle、MYSQL等数据库。浏览器通过Web Server同数据库进行数据交互。
[*]
[*] spark框架先容
spark是高水准的Python编程语言驱动的一个开源模型．视图，控制器风格的Web应用程序框架，它起源于开源社区。使用这种架构，程序员可以方便、快捷地创建高品格、易维护、数据库驱动的应用程序。这也正是OpenStack的Horizon组件采用这种架构进行设计的重要原因。另外，在spark框架中，还包含许多功能强盛的第三方插件，使得spark具有较强的可扩展性。spark 项目源自一个在线消息 Web 站点，于 2005 年以开源的形式被开释出来。spark 框架的焦点组件有：
（1）用于创建模型的对象关系映射；
（2）为终极用户设计较好的管理界面；
（3）URL 设计；
（4）设计者友好的模板语言；
（5）缓存体系。
spark(发音：[`dʒæŋɡəʊ]) 是用python语言写的开源web开发框架(open source web framework)，它鼓励快速开发,并依照MVC设计。spark服从BSD版权，初次发布于2005年7月, 并于2008年9月发布了第一个正式版本1.0 。
spark 根据比利时的爵士音乐家spark Reinhardt定名，他是一个吉普赛人，重要以演奏吉它为主，还演奏过小提琴等。
由于spark在比年来的敏捷发展，应用越来越广泛，被著名IT开发杂志SD Times评选为2013 SD Times 100，位列“API、库和框架”分类第6位，被认为是该领域的佼佼者。
[*]
[*] MySQL数据库
Mysql的语言黑白布局化的，用户可以在数据上进行工作。MySQL由于其速度、可靠性和适应性而备受关注。大多数人都认为在不必要事务化处理的环境下，MySQL是管理内容最好的选择。而且由于Mysql的语言和布局比较简单，但是功能和存储信息量很强盛，所以得到了普遍的应用。
Mysql数据库在编程过程中的作用是很广泛的，为用户进行数据查询带来了方便。Mysql数据库的应用因其灵活性强，功能强盛，所以在实现某功能时只必要一小段代码，而不像其他程序必要编写大段代码。总体来说，Mysql数据库的语言相对要简便许多。
数据流程分析重要就是数据存储的储藏室，它是在计算机上进行的，而不是实际中的储藏室。数据的存放是按固定格式，而不是无序的，其定义就是：长期有固定格式，可以共享的存储在计算机存储器上。数据库管理重要是数据存储、修改和增长以及数据表的创建。为了包管体系数据的正常运行，一些有本领的处理者可以进行管理而不必要专业的人来处理。数据表的创建，可以对数据表中的数据进行调整，数据的重新组合及重新构造，包管数据的安全性。介于数据库的功能强盛等特点，本体系的开发重要应用了Mysql进行对数据的管理。
[*]
体系分析
[*] 可行性分析
开发任何一个体系，都要对其可行性进行分析，对其时间和资源上的限定进行思量，如许可以减少体系开发的风险。同时，分析之后不仅可以或许合理的运用人力，还能在各方面资源的斲丧上得到节省。下面就对技能、经济和社会三个方面来先容。
[*]
[*]
[*] 技能可行性
基于spark的短视频保举体系在技能上是完全可行的。spark作为一个成熟的Python Web框架，提供了丰富的功能和工具，使得开发职员可以或许快速构建稳定、高效的Web应用程序。此外，Python作为一种广泛使用的编程语言，具有强盛的数据处理和分析本领，可以很好地满足短视频保举体系的需求。
[*]
[*]
[*] 经济可行性
从经济角度来看，基于spark的短视频保举体系具有较高的投资回报率。相比于其他传统的短视频保举方式，智能化的保举体系可以或许更好地满足用户需求，进步用户满足度和忠诚度，从而带来更多的贸易机会和收益。同时，由于spark和Python的开源性子，体系的开发和运行本钱相对较低，企业可以通过合理的资源投入和运营管理，实现体系的快速部署和推广。
[*]
[*]
[*] 操作可行性
在操作方面，基于spark的短视频保举体系具有良好的用户友好性和易用性。体系的界面设计应简便明了，功能模块清晰易懂，使用户可以或许快速上手。同时，体系应提供完满的用户手册和在线资助文档，以方便用户更好地理解和使用体系。此外，由于spark提供了强盛的背景管理功能，管理员可以通过简单的操作实现对体系的管理和维护。
综上所述，基于spark的短视频保举体系在技能、经济和操作方面均具有较高的可行性。通过合理的体系设计和开发，可以构建一个高效、可靠的短视频保举体系，为用户提供更好的旅游服务体验。
[*]
[*] 功能需求分析
基于spark的短视频保举体系针对平凡用户和管理员进行了详细的功能需求分析，以确保体系的实用性和易用性。以下是针对平凡用户和管理员的详细功能需求：
1.平凡用户功能：
登录注册：用户可以注册新账户，并使用已有账户登录体系。
首页：展示最新的通知公告、热门视频、保举视频等内容。
通知公告：发布平台的通知公告，用户可以检察最新的体系通知和公告。
视频资讯：提供关于短视频行业的最新资讯、活动信息等内容。
视频保举：根据用户的爱好和行为，保举个性化的短视频内容给用户。
我的账户：用户可以检察和编辑个人账户信息。
个人中心：用户可以管理收藏的短视频和资讯信息。
2.管理员功能：
背景首页：管理员可以检察体系的整体环境，包括用户数量、视频保举环境等。
体系用户：管理员可以管理平台的用户信息，包括权限设置、账户管理等。
视频保举管理：管理员可以管理短视频的保举策略和保举结果。
视频类型管理：管理员可以管理视频的分类和标签。
体系管理：管理员可以管理体系首页轮播图的展示内容。
通知公告管理：发布和管理体系的通知公告信息。
资源管理：管理员可以发布和管理短视频行业的相干资讯信息和资讯信息的分类和标签。
以上功能需求分析将有助于设计和实现一个完满的基于Spark的短视频保举体系，满足平凡用户对短视频的浏览和收藏需求，同时为管理员提供便捷的管理工具，以进步短视频保举的精准性和用户体验。
[*]
[*] 性能需求分析
评判一个体系好坏的一项重要指标就是性能，下面是对此体系的一些性能进行论述。
1.体系的安全性和稳定性: 基于spark的短视频保举体系在管理权限上有着严酷的控制，即想登录此平台进行操作，则必须要有操作权限，没有权限的用户是不大概登录平台检察任何的信息和数据，从而确保了体系的安全性。
2.数据的完备性和准确性：第一个是各项记录信息的完备性，信息记录的内容可以为空；第二个是各项信息数据之间相互联系的准确性；第三个是数据在不同记录信息的一致性
3.用户操作体系简单方便：在体系开发中按照“简单易用”的原则，可以或许使用户对体系的使用一览无余，既能包管用户使用，同时又能包管维护职员方便维护。
[*]
[*] 体系用例分析
体系的用例展示的是体系功能与用户之间的关系，通过用例的方式可以或许直观的展示出来，本基于spark的短视频保举体系的完备UML用例图如下所示。
平凡用户用例图如下所示。
https://i-blog.csdnimg.cn/direct/249528e932394c7981e953293f4aea14.png
图3-1 平凡用户用例图
管理员用例图如下所示。
https://i-blog.csdnimg.cn/direct/651441b81b234f08a27b41616f90dfab.png
图3-2 管理员用例图
[*]
体系设计
[*] 体系体系布局
本短视频保举体系选择B/S布局(Browser/Server,浏览器/服务器布局)和基于Web服务两种模式。适合在互联网上进行操作，只要用户能连网，任何时间、任何地点都可以进行体系的操作使用。体系工作原理图如图4-1所示：
https://i-blog.csdnimg.cn/direct/c35fb7eeb60848e9b574ca598ec63fad.png
图3-1 体系工作原理图
[*]
[*] 总体布局设计
根据对体系的功能的分析，可以总结基于spark的短视频保举体系的详细功能模块包括下面的几个重要的功能模块：该体系重要从两大模块进行设计的，首先就是用户参与操作必要的模块，此外还必要有管理员用到的模块，两者之间不是互相独立的，他们之间有着密切的联系，同数据库表中的数据毗连起来进行操作。每个模块访问相同的数据库，但访问的表不同。体系的各个功能模块是根据所网络的资料研究得到的。在以上分析功能的底子上，体系模块分为多个模块。平凡用户含有的功能有登录注册、首页、通知公告、视频资讯、视频保举、我的账户、个人中心（收藏）等功能，管理员含有的功能有背景首页、体系用户、视频保举管理、视频类型管理、体系管理（轮播图管理）、通知公告管理、资源管理（视频资讯、资讯分类）等功能。
体系的功能布局图如下图所示。
https://i-blog.csdnimg.cn/direct/f598cf9ef92e49e8a158f9b4703bfaf5.png图3-2体系功能布局图
[*]
[*] 数据库设计
[*] 概念设计
E-R图一样平常是由实体、实体的属性与联系三个要素组成的。在规划体系中所使用的数据库实体对象及实体E-R图，则必要通过对体系的需求分析、业务流程设计和体系功能布局来确定的。
总体ER图如下图所示。
https://i-blog.csdnimg.cn/direct/18ce0619c83147f38d0fbbb899b32ebe.png
图4-3总体ER图
[*]
[*]
[*] 逻辑设计
将实体属性模型转换为关系数据库应该依照以下几个原则：
1.一个实体转换后要对应一个关系。
2.所有的主键必须要定义为非空（not null）。
3.针对二元联系也应该按照一对多、弱对实、一对一和多对多等联系来定义外键。
得到数据库的关系后，设计如下表布局。
表access_token (登陆访问时长)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
token_id
int
10
0
N
Y
临时访问牌ID
2
token
varchar
64
0
Y
N
临时访问牌
3
info
text
65535
0
Y
N
4
maxage
int
10
0
N
N
2
最大寿命：默认2小时
5
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
6
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
7
user_id
int
10
0
N
N
0
用户编号:
表article (文章：用于内容管理体系的文章)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
article_id
mediumint
8
0
N
Y
文章id：
2
title
varchar
125
0
N
Y
标题：用于文章和html的title标签中
3
type
varchar
64
0
N
N
0
文章分类：用来搜索指定类型的文章
4
hits
int
10
0
N
N
0
点击数：访问这篇文章的人次
5
praise_len
int
10
0
N
N
0
点赞数
6
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
7
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
8
source
varchar
255
0
Y
N
泉源：文章的出处
9
url
varchar
255
0
Y
N
泉源地点：用于跳转到发布该文章的网站
10
tag
varchar
255
0
Y
N
标签：用于标注文章所属相干内容，多个标签用空格隔开
11
content
longtext
2147483647
0
Y
N
正文：文章的主体内容
12
img
varchar
255
0
Y
N
封面图
13
description
text
65535
0
Y
N
文章形貌
表article_type (文章分类)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
type_id
smallint
5
0
N
Y
分类ID：
2
display
smallint
5
0
N
N
100
表现顺序：决定分类表现的先后顺序
3
name
varchar
16
0
N
N
分类名称：
4
father_id
smallint
5
0
N
N
0
上级分类ID：
5
description
varchar
255
0
Y
N
形貌：形貌该分类的作用
6
icon
text
65535
0
Y
N
分类图标：
7
url
varchar
255
0
Y
N
外链地点：如果该分类是跳转到其他网站的环境下，就在该URL上设置
8
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
9
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
表auth (用户权限管理)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
auth_id
int
10
0
N
Y
授权ID：
2
user_group
varchar
64
0
Y
N
用户组：
3
mod_name
varchar
64
0
Y
N
模块名：
4
table_name
varchar
64
0
Y
N
表名：
5
page_title
varchar
255
0
Y
N
页面标题：
6
path
varchar
255
0
Y
N
路由路径：
7
position
varchar
32
0
Y
N
位置：
8
mode
varchar
32
0
N
N
_blank
跳转方式：
9
add
tinyint
3
0
N
N
1
是否可增长：
10
del
tinyint
3
0
N
N
1
是否可删除：
11
set
tinyint
3
0
N
N
1
是否可修改：
12
get
tinyint
3
0
N
N
1
是否可检察：
13
field_add
text
65535
0
Y
N
添加字段：
14
field_set
text
65535
0
Y
N
修改字段：
15
field_get
text
65535
0
Y
N
查询字段：
16
table_nav_name
varchar
500
0
Y
N
跨表导航名称：
17
table_nav
varchar
500
0
Y
N
跨表导航：
18
option
text
65535
0
Y
N
配置：
19
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
20
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
表collect (收藏)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
collect_id
int
10
0
N
Y
收藏ID：
2
user_id
int
10
0
N
N
0
收藏人ID：
3
source_table
varchar
255
0
Y
N
泉源表：
4
source_field
varchar
255
0
Y
N
泉源字段：
5
source_id
int
10
0
N
N
0
泉源ID：
6
title
varchar
255
0
Y
N
标题：
7
img
varchar
255
0
Y
N
封面：
8
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
9
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
表comment (批评)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
comment_id
int
10
0
N
Y
批评ID：
2
user_id
int
10
0
N
N
0
批评人ID：
3
reply_to_id
int
10
0
N
N
0
回复批评ID：空为0
4
content
longtext
2147483647
0
Y
N
内容：
5
nickname
varchar
255
0
Y
N
昵称：
6
avatar
varchar
255
0
Y
N
头像地点：
7
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
8
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
9
source_table
varchar
255
0
Y
N
泉源表：
10
source_field
varchar
255
0
Y
N
泉源字段：
11
source_id
int
10
0
N
N
0
泉源ID：
表hits (用户点击)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
hits_id
int
10
0
N
Y
点赞ID：
2
user_id
int
10
0
N
N
0
点赞人：
3
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
4
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
5
source_table
varchar
255
0
Y
N
泉源表：
6
source_field
varchar
255
0
Y
N
泉源字段：
7
source_id
int
10
0
N
N
0
泉源ID：
表notice (公告)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
notice_id
mediumint
8
0
N
Y
公告id：
2
title
varchar
125
0
N
N
标题：
3
content
longtext
2147483647
0
Y
N
正文：
4
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
5
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
表praise (点赞)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
praise_id
int
10
0
N
Y
点赞ID：
2
user_id
int
10
0
N
N
0
点赞人：
3
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
4
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
5
source_table
varchar
255
0
Y
N
泉源表：
6
source_field
varchar
255
0
Y
N
泉源字段：
7
source_id
int
10
0
N
N
0
泉源ID：
8
status
bit
1
0
N
N
1
点赞状态:1为点赞，0已取消
表regular_users (平凡用户)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
regular_users_id
int
10
0
N
Y
平凡用户ID
2
user_name
varchar
64
0
Y
N
用户名称
3
user_gender
varchar
64
0
Y
N
用户性别
4
contact_information
varchar
64
0
Y
N
联系方式
5
examine_state
varchar
16
0
N
N
已通过
稽核状态
6
user_id
int
10
0
N
N
0
用户ID
7
create_time
datetime
19
0
N
N
CURRENT_TIMESTAMP
创建时间
8
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间
表slides (轮播图)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
slides_id
int
10
0
N
Y
轮播图ID：
2
title
varchar
64
0
Y
N
标题：
3
content
varchar
255
0
Y
N
内容：
4
url
varchar
255
0
Y
N
链接：
5
img
varchar
255
0
Y
N
轮播图：
6
hits
int
10
0
N
N
0
点击量：
7
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
8
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
表upload (文件上传)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
upload_id
int
10
0
N
Y
上传ID
2
name
varchar
64
0
Y
N
文件名
3
path
varchar
255
0
Y
N
访问路径
4
file
varchar
255
0
Y
N
文件路径
5
display
varchar
255
0
Y
N
表现顺序
6
father_id
int
10
0
Y
N
0
父级ID
7
dir
varchar
255
0
Y
N
文件夹
8
type
varchar
32
0
Y
N
文件类型
表user (用户账户：用于保存用户登录信息)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
user_id
mediumint
8
0
N
Y
用户ID：用户获取其他与用户相干的数据
2
state
smallint
5
0
N
N
1
账户状态：(1可用|2异常|3已冻结|4已注销)
3
user_group
varchar
32
0
Y
N
地点用户组：决定用户身份和权限
4
login_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
上次登录时间：
5
phone
varchar
11
0
Y
N
手机号码：用户的手机号码，用于找回暗码时或登录时
6
phone_state
smallint
5
0
N
N
0
手机认证：(0未认证|1稽核中|2已认证)
7
username
varchar
16
0
N
N
用户名：用户登录时所用的账户名称
8
nickname
varchar
16
0
Y
N
昵称：
9
password
varchar
64
0
N
N
暗码：用户登录所需的暗码，由6-16位数字或英文组成
10
varchar
64
0
Y
N
邮箱：用户的邮箱，用于找回暗码时或登录时
11
email_state
smallint
5
0
N
N
0
邮箱认证：(0未认证|1稽核中|2已认证)
12
avatar
varchar
255
0
Y
N
头像地点：
13
open_id
varchar
255
0
Y
N
针对获取用户信息字段
14
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
15
vip_level
varchar
255
0
Y
N
会员等级
16
vip_discount
double
11
2
Y
N
0.00
会员扣头
表user_group (用户组：用于用户前端身份和鉴权)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
group_id
mediumint
8
0
N
Y
用户组ID：
2
display
smallint
5
0
N
N
100
表现顺序：
3
name
varchar
16
0
N
N
名称：
4
description
varchar
255
0
Y
N
形貌：形貌该用户组的特点或权限范围
5
source_table
varchar
255
0
Y
N
泉源表：
6
source_field
varchar
255
0
Y
N
泉源字段：
7
source_id
int
10
0
N
N
0
泉源ID：
8
register
smallint
5
0
Y
N
0
注册位置:
9
create_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
创建时间：
10
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间：
表video_recommendation (视频保举)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
video_recommendation_id
int
10
0
N
Y
视频保举ID
2
video_name
varchar
64
0
Y
N
视频名称
3
video_type
varchar
64
0
Y
N
视频类型
4
video_images
varchar
255
0
Y
N
视频图片
5
video_content
varchar
255
0
Y
N
视频内容
6
viewing_records
int
10
0
Y
N
0
观看记录
7
number_of_likes
int
10
0
Y
N
0
点赞数量
8
number_of_comments
int
10
0
Y
N
0
批评数量
9
video_title
varchar
64
0
Y
N
视频标题
10
number_of_collections
int
10
0
Y
N
0
收藏数量
11
video_id
int
10
0
Y
N
0
视频ID
12
release_date
varchar
64
0
Y
N
发布日期
13
hits
int
10
0
N
N
0
点击数
14
praise_len
int
10
0
N
N
0
点赞数
15
recommend
int
10
0
N
N
0
智能保举
16
create_time
datetime
19
0
N
N
CURRENT_TIMESTAMP
创建时间
17
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间
表video_type (视频类型)
编号
名称
数据类型
长度
小数位
允许空值
主键
默认值
说明
1
video_type_id
int
10
0
N
Y
视频类型ID
2
video_type
varchar
64
0
Y
N
视频类型
3
create_time
datetime
19
0
N
N
CURRENT_TIMESTAMP
创建时间
4
update_time
timestamp
19
0
N
N
CURRENT_TIMESTAMP
更新时间
[*]
体系实现
[*] 登录模块的实现
为确保体系安全性，体系操作员只有在登录界面输入正确的用户名、暗码、权限以及验证码，单击“登录”按钮后才可以或许进入本体系的主界面。
用户登录流程图如下所示。
https://i-blog.csdnimg.cn/direct/320be9d9c52445a48aaef6adef9aa55b.png
图5-1用户登录流程图
登录界面如下图所示。
https://i-blog.csdnimg.cn/direct/a1b9f7ec56aa4e2ab79727aa4160f4f9.png图5-2登录界面
[*]
[*] 平凡用户功能模块的实现
[*] 注册模块的实现
用户输入用户名、暗码、电话、姓名等必填信息后，点击注册按钮完成用户的注册。
用户注册流程图如下所示。
https://i-blog.csdnimg.cn/direct/8eb2d3467b374374ab49c23b34ed855f.png
图5-3用户注册流程图
用户注册界面如下图所示。
https://i-blog.csdnimg.cn/direct/9ab96a89c29c4f69899d429664d841b8.png图5-4用户注册界面
[*]
[*]
[*] 前台首页模块的实现
当进入短视频保举体系的时候，首先映入眼帘的是体系的导航栏、通知公告以及轮播图等，右上角是用户登录以及注册按钮，其主界面展示如下图5-5所示。
https://i-blog.csdnimg.cn/direct/f9c1ec53801d4ae098b6a93b8a2083a5.png图5-5前台首页界面
[*]
[*]
[*] 视频资讯模块的实现
当用户点击短视频保举体系中导航栏上的“视频资讯”后将会进入到该“视频资讯”列表的界面，用户可以检察关于短视频行业的最新资讯、活动信息等内容，还可进行点赞、收藏、批评等操作，界面如下图所示。
https://i-blog.csdnimg.cn/direct/c5c2cc3abc344119b3de98cd1f2181ba.png图5-6视频资讯界面
[*]
[*]
[*] 视频保举模块的实现
当用户点击“视频保举”这一菜单按钮，可以检察视频保举的详情信息，可以进行点赞、收藏、批评等操作。界面如下图所示。
https://i-blog.csdnimg.cn/direct/f6a944ac69c84766a09cc9469a95803b.png图5-7视频保举界面
[*]
[*] 管理员功能模块的实现
[*] 用户管理模块的实现
体系用户管理重要是对新用户的添加和旧用户的删除。新用户的添加重要是指添加用户名称并确定其暗码；旧用户的删除也是从下拉菜单中找到对应的用户名称将其删除。不论是新用户添加还是旧用户的删除，这个权限只有管理员具有。
用户管理流程图如下所示。
https://i-blog.csdnimg.cn/direct/1db51dca68b34275bd7e04a6037deb8a.png
图5-8用户管理流程图
用户管理界面如下图所示。
https://i-blog.csdnimg.cn/direct/6f8c6487f91c4c3797843a565507c5a0.png图5-9平凡用户管理界面
[*]
[*]
[*] 体系首页模块的实现
体系首页，管理员登录背景体系后，可以管理体系用户、视频保举管理、视频类型管理、体系管理（轮播图管理）、通知公告管理、资源管理（视频资讯、资讯分类）等功能模块，在背景首页界面可以检察各种统计图和数据分析功能，如平凡用户统计、视频类型统计等。
体系首页界面如下图所示。
https://i-blog.csdnimg.cn/direct/4d74866713a9421bab4041aac2c18c06.png图5-10体系首页界面
[*]
[*]
[*] 视频保举管理模块的实现
管理员点击“视频保举管理”这一菜单会表现视频保举列表、视频保举添加这两个子菜单，支持输入关键词进行查询，管理员可以对视频保举信息进行管理，包括查询、删除、导入、下载导入文件等。界面如下图所示。
https://i-blog.csdnimg.cn/direct/d24bba72889d4169b93587197fb584af.png图5-11视频保举管理界面
[*]
[*]
[*] 通知公告管理模块的实现
管理员点击“通知公告管理”这个菜单，可以检察到体系中所有添加的体系公告，支持通过标题对体系公告进行查询，添加、删除等操作。通知公告管理界面如下图所示。
https://i-blog.csdnimg.cn/direct/c0eb5b4191ce46d9b4f8e3f8778be5d1.png图5-12通知公告列表界面图
[*]
[*]
[*] 资源管理模块的实现
管理员点击“资源管理”这一菜单会表现视频资讯、资讯分类这两个子菜单，管理员可以对这两部分涉及到的功能进行更新维护，更好的服务于前台用户。如下图所示。
https://i-blog.csdnimg.cn/direct/b1ce6f583f544240be6e9f0fd8dddd1b.png图5-13资源管理界面图
[*]
[*]
[*] 体系管理模块的实现
管理员点击“体系管理”这一菜单会表现轮播图这一个子菜单，管理员可以对前台展示的轮播图进行设置，界面如下图所示。
https://i-blog.csdnimg.cn/direct/875a557678d94eeb8f7f2fd81ebb61e8.png图5-14体系管理界面图
[*]
体系测试
[*] 测试目的
体系测试是用于检查软件的质量、性能、可靠性等是否符适用户需求。一套严谨的、规范的、完满的测试过程将大大进步软件的质量、可信度、可靠性，降低软件的出错率，降低用户风险系数。通过在计算机上对体系进行测试试验并从中发现此体系中存在的问题和错误然后加以修改，使之更加符适用户需求。
1.测试的目的是通过测试来发现程序在实行过程中的错误的过程。
2.好的测试方案是可以检验出还未被发现的错误的方案。
3.好的测试是发现了到目前为止还未被发现的错误的测试。
4.该体系可以或许完成体系用户管理、视频保举管理、视频类型管理、体系管理（轮播图管理）、通知公告管理、资源管理（视频资讯、资讯分类）等功能，做到所开发的体系操作简单，尽量使体系操作不受用户对电脑知识程度的限定。
[*]
[*] 功能测试
下表是体系登录功能测试用例，检测了用户名和暗码的不同的输入环境，观察体系的相应环境。得出该功能到达了设计目的。
表6-1 体系登录功能测试用例
功能形貌
用于体系登录
测试目的
检测登录时的正当性检查
测试数据以及操作
预期结果
实际结果
输入的用户名和暗码带有非法字符
提示用户名大概暗码错误
与预期结果一致
输入的用户名大概暗码为空
提示用户名大概暗码错误
与预期结果一致
输入的用户名和暗码不存在
提示用户名大概暗码错误
与预期结果一致
输入正确的用户名和暗码
登录成功
与预期结果一致
下表是注册功能测试用例，检测了各种数据的输入环境，观察体系的相应环境。得出该功能到达了设计目的。
表6-2 注册功能测试用例
功能形貌
用于用户注册
测试目的
检测用户注册时的正当性检查
测试数据以及操作
预期结果
实际结果
输入的手机号不正当
提示请输入正确的手机号码
与预期结果一致
输入的字段为空
提示必填项不能为空
与预期结果一致
输入的暗码少于6位
提示暗码必须为6-12位
与预期结果一致
输入的暗码大于12位
提示暗码必须为6-12位
与预期结果一致
下表是视频保举管理功能的测试用例，检测了视频保举管理中对视频保举信息的导入，删除，修改，查询操作是否成功运行。观察体系的相应环境，得出该功能也到达了设计目的，体系运行正确。
前置条件；管理员登录体系。
表6-3 视频保举管理的测试用例
功能形貌
用于视频保举管理
测试目的
检测视频保举管理时的各种操作的运行环境
测试数据以及操作
预期结果
实际结果
点击导入视频保举，必填项正当输入，点击保存
提示导入成功
与预期结果一致
点击导入视频保举，必填项输入不正当，点击保存
提示必填项不能为空
与预期结果一致
点击修改视频保举，必填项修改为空，点击保存
提示必填项不能为空
与预期结果一致
点击修改视频保举，必填项输入不正当，点击保存
提示必填项不能为空
与预期结果一致
点击删除视频保举，选择视频保举删除
提示删除成功
与预期结果一致
点击搜索视频保举，输入存在的视频保举名
查找出视频保举
与预期结果一致
点击搜索视频保举，输入不存在的视频保举名
不表现视频保举
与预期结果一致
[*]
[*] 测试结果
经过对此体系的测试，得出该体系足以满足平凡用户一样平常需求，在功能项目和操作等方面也能满足管理员对于平凡用户的管理。但是，还有许多功能有待添加，这个体系仅能满足大部分的需求，还必要对此体系的功能更进一步的完满，如许使用起来才能更加的完美。
[*] 总结与预测
在开发本基于spark的短视频保举体系之前，首先通过网上查询现有的短视频保举体系功能、线下通过问卷调查的方式，相识平凡用户对旅游景点保举的详细需求，对体系的开发背景以及短视频保举体系的研究近况进行研究，设计了本基于spark的短视频保举体系详细实现的功能；确定好功能后，第二步就是开发工具的选择，在设计本基于spark的短视频保举体系的时候，采用了现下比较流程的Pythong语言、spark框架，数据的存储方面采用的是开源的MYSQL。接下来就是对体系需求的分析，在文中重要通过对基于spark的短视频保举体系进行可行性、性能、功能、用例、业务流程五个方面进行分析，确定了本基于spark的短视频保举体系的详细功能，功能确定后就是对体系的设计以及数据库等方面，终极完成体系的开发，对体系进行测试总结。
在开发本基于spark的短视频保举体系的过程中我成长了许多，学习到了许多书籍上没有的知识，目前体系固然已经完成，但是还有许多地方必要改进，比如界面布局方面，代码的编写方面，都可以进一步完满，由于自己专业知识的浅薄，体系做的并不是十分完美，以后我会不断进行学习，对体系进行完满，希望有机会可以或许投入到学校的使用当中，给同砚们提供便利。
参考文献
Ma D ,Wang X ,Lv X , et al.Data-driven smoothing approaches for interest modeling in recommendation systems.Expert Systems With Applications,2024,249(PA):123524-.
Ceskoutsé T F R ,Bomgni B A ,Zanfack G R D , et al.Sub-clustering based recommendation system for stroke patient: Identification of a specific drug class for a given patient.Computers in Biology and Medicine,2024,171108117-.
Yazdi A H ,Mahdavi S J S ,Yazdi A H .Dynamic educational recommender system based on Improved LSTM neural network..Scientific reports,2024,14(1):4381-4381.
周杨玥,李世锋,李林.基于Spark的智能菜品保举体系设计与实现.软件工程,2024,27(02):69-73.DOI:10.19644/j.cnki.issn2096-1472.2024.002.014.
陈昊.基于聚类和关联规则的短视频保举体系的设计与实现.南京邮电大学,2023.DOI:10.27251/d.cnki.gnjdc.2023.001876.
刘念,蔡春花.基于Spark的电影保举体系的设计与实现.软件工程,2023,26(06):59-62+45.DOI:10.19644/j.cnki.issn2096-1472.2023.006.013.
安邦.基于用户偏好的短视频混合保举体系研究与实现.西安石油大学,2023.DOI:10.27400/d.cnki.gxasc.2023.000806.
文小月.基于Spark平台的协同过滤保举算法研究.云南财经大学,2023.DOI:10.27455/d.cnki.gycmc.2023.000291.
孟瑞军.基于Spark的实时广告保举体系研究.信息与电脑(理论版),2023,35(09):60-62.
杨佳鹏,俎毓伟,纪佳琪等.基于Spark框架的瀑布型融合旅游保举体系.智能计算机与应用,2023,13(04):142-146.
黄宏昆,彭明.深度学习和Spark在电影保举体系上的应用.福建电脑,2023,39(02):17-20.DOI:10.16707/j.cnki.fjpc.2023.02.004.
周峰.基于Spark的混合策略音乐保举体系的研究与实现.南京邮电大学,2022.DOI:10.27251/d.cnki.gnjdc.2022.001529.
郝艳峰.基于人像聚类的短视频保举体系的研究与实现.辽宁大学,2022.DOI:10.27209/d.cnki.glniu.2022.001992.
彭宇,宁慧,张汝波.基于改进的LFM算法的短视频保举体系的研究与实现.应用科技,2022,49(03):64-68.
严辉.基于协同过滤保举的短视频App运营体系的设计与实现.华中科技大学,2022.DOI:10.27157/d.cnki.ghzku.2022.000052.
杨东辰.基于Spark大数据的短视频保举体系的设计与研究.南昌大学,2021.DOI:10.27232/d.cnki.gnchu.2021.002662.
李奥星.基于多模态信息及差分隐私的短视频保举体系设计与实现.北京邮电大学,2021.DOI:10.26969/d.cnki.gbydu.2021.002187.
马学明.基于XDeepFM模型的短视频保举体系设计与研究.广东工业大学,2021.DOI:10.27029/d.cnki.ggdgu.2021.001917.
齐德法.基于多重粒度召回的短视频保举体系的设计与实现.山东师范大学,2019.DOI:10.27280/d.cnki.gsdsu.2019.000057.
陶健.基于Spark的视频保举体系研究与实现.重庆师范大学,2019.
致谢
在此论文完成之际，感谢我的引导老师。在引导老师的网页设计课上，其时我学到了许多东西，这对于我实习过程中也打了一定的底子，而且引导老师对于我的设计也提出许多发起，并予以悉心的引导，对于一些微小的问题都耐心的引导我去完满，授予我写论文的交流消息，时常的鼓励我，另外感谢教导我完满此项目的前端同砚，对于这个项目，我是边学习边实现完成的，有许多东西开始并不是很明白，但前端开发的同砚非常耐心的引导我去将这个项目完成，在体系的后端开发中，所用到的背景开发技能也时常会给我讲解，助于我更好的将论文完成，在此对资助到我的同砚和不绝予以教导的引导老师致以衷心的感谢，祝古迹有成。
点赞+收藏+关注 →私信免费领取本源代码、数据
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]