摘 要
随着大数据时代的到来，数据量不绝增大，如何高效地处置处罚和展示数据成为了一个重要的问题。Hadoop作为一种分布式存储和处置处罚大数据的技术，具有较高的可扩展性和容错性，广泛应用于各个范畴。而Echarts是一个基于JavaScript的数据可视化库，可以或许帮助开发者更方便地实现数据可视化结果。因此，基于Hadoop+Echarts的数据可视化平台的设计与实现可以或许帮助用户更好地理解和利用海量的商品信息数据。
关键词：数据可视化平台；Hadoop；Echarts；大数据
Abstract
With the advent of the big data era, the amount of data is constantly increasing, and how to efficiently process and display data has become an important issue. Hadoop, as a distributed storage and processing technology for big data, has high scalability and fault tolerance, and is widely used in various fields. Echarts is a JavaScript based data visualization library that can help developers more easily achieve data visualization effects. Therefore, a data visualization platform based on Hadoop+Echarts can help users better understand and utilize the massive amount of product information data.
Key words: Data visualization platform; Hadoop; Echarts; Big data
目次
1 绪论
1.1 研究配景
1.2 研究意义
1.3 国内外研究近况
1.4 研究内容
1.4 Hadoop框架
1.5 Echarts数据可视化图表库
1.6 MySQL数据库
2 基于Hadoop+Echarts的数据可视化平台系统分析
2.1 可行性分析
2.1.1 技术可行性分析
2.1.2 经济可行性分析
2.1.3 操纵可行性分析
2.2 系统功能分析
2.2.1 功能性分析
2.2.2 非功能性分析
2.3 系统用例分析
2.4 系统流程分析
2.4.1 登录流程分析
2.4.2 添加数据流程分析
2.4.3 删除数据流程分析
3 基于Hadoop+Echarts的数据可视化平台总体设计
3.1 系统功能结构设计
3.2 数据库设计
3.2.1 数据库概念结构设计
3.2.2 数据库逻辑结构设计
4 基于Hadoop+Echarts的数据可视化平台详细设计与实现
4.1管理员功能模块
4.1.1 登录模块的实现
4.1.2 系统用户模块的实现
4.1.3 商品信息管理模块的实现
4.1.4 数据看板模块的实现
5系统测试
5.1测试目的
5.2测试概述
5.3功能测试
5.4集成测试
结论
参考文献
致 谢
1 绪论
1.1 研究配景
当前，大数据分析和数据可视化已成为各行各业的关键技术之一。随着互联网的遍及和物联网设备的快速发展，数据量不绝增加，其中包罗了各种有价值的信息。因此，如何高效地处置处罚、分析和展示这些海量数据成为了一个重要的挑战和机遇。本文将研究如何基于Hadoop+Echarts技术设计与开发一个数据可视化平台，利用该平台实现对商品信息举行数据分析和生成可视化，方便用户可以或许直观的以图表来理解数据分析结果。
Hadoop作为一种开源的分布式存储和计算框架，可以有效地处置处罚大规模数据，并实现数据的高可靠性和高可用性。大数据处置处罚技术已经在搜索引擎、社交网络、电子商务等范畴得到了广泛应用，为各类企业和组织带来了巨大的商业价值。
而Echarts是一个基于JavaScript的数据可视化库，通过数据可视化技术则是将处置处罚好的数据以直观的图表、图形等形式呈现出来，帮助人们更好地理解数据、发现规律和趋势，从而支持决议订定和问题解决。通过数据可视化，用户可以更快速地获取信息、做出分析与预测，并及时调整策略以适应市场变革。
1.2 研究意义
将Hadoop的分布式计算能力与Echarts的数据可视化能力结合起来，设计并实现一个高效、灵活、易用的数据可视化平台，可以或许为用户提供更全面、直观、智能的数据处置处罚和分析服务，具有重要的理论和实践意义。首先，开发该平台，可以或许实现数据可视化，通过Echarts提供的各种可视化图表，将商品信息数据以直观、易懂的方式呈现给用户，帮助用户更深入地相识商品信息。完成数据处置处罚与分析，利用Hadoop的分布式计算能力，对大量的商品信息数据举行高效的处置处罚和分析，为用户提供更有价值的洞察和决议支持。对商品信息举行实时监控，通过数据可视化平台，实现对商品信息的实时监控，及时发现异常和变革，并举行相应的处置处罚和调整。此外，平台提供个性化数据看板功能举行实现个性化的数据展示和分析工具，用户可以根据自身需求检察。
综上所述，基于Hadoop+Echarts的数据可视化平台设计与实现，可以或许提供高效、直观、安全的商品信息可视化服务，为用户提供决议和分析的数据支持。
1.3 国内外研究近况
国内外对于将Hadoop与数据可视化结合的研究已经有了肯定的进展。以下是一些国内外研究的近况：
国内研究：近年来，国内的研究者们对于大数据分析和可视化的研究取得了肯定的成果。他们主要关注于如何利用Hadoop分布式计算框架来实现大规模数据的处置处罚和分析；同时，也在研究如何在数据可视化方面利用各种技术手段和工具来展示数据，提供更直观、有效的数据分析结果。
国外研究：在国外，学术界和工业界也对于将Hadoop与数据可视化结合的研究举行了广泛探索。很多研究者提出了各种不同的方法和技术，包括使用Hadoop举行数据预处置处罚、多层次的数据聚合、数据分析和可视化的并行计算等。同时，也有很多开源工具宁静台可以用于大数据处置处罚和可视化，如Tableau、D3.js等。
总体而言，无论是国内还是国外，研究者们正在探索如何将Hadoop与数据可视化技术相结合，以提供更强大、高效和灵活的数据处置处罚和分析服务。固然已经取得了一些进展，但仍旧存在一些挑战和问题需要进一步研究息争决。比方，在大数据处置处罚过程中如何提高计算服从和数据可视化的实时性，如何有效地处置处罚和展示多种类型、多源的数据等。
1.4 研究内容
本设计的目的在于使用户便捷高效比采集到需要的数据，并将数据洗濯之后举行分析和可视化呈现。因比，本文将系统的功能需求分为数据采集部分、数据存储部分、数据分析部分、数据可视化交互部分，以下每个功能模块的需求分析。
数据采集是在服务器端上举行操纵的。启动后，系统会生成相应的任务采集数据表，然后启动引擎开始导入商品信息数据并存储到对应的MySQL数据库表中。
数据存储部分主要是用MySQL数据库来存储导入的商品信息文本数据，包括店铺地址、商品价格、发布地址、店铺星级、商品评价、物流履约、售后服务、商品品牌、商品评论、好评数量、晒图数量、晒评单数、追评数量、中评数量、差评数量等数据信息等。
对采集并储存好的数据举行数据分析。比方，分析其商品品牌、店铺信息、店铺名称、店铺好评、商品晒图、中差追评等数据的情况。
数据可视化交互部分将分析结果以可视化图表的形式展示出来，用户可以自由选择想要查询的图表信息。且用户可以下载所呈现的图表信息并保存到本地，方便随时查阅。
1.4 Hadoop框架
Hadoop是一个由Apache基金会所开发的分布式系统底子架构。用户可以在不相识分布式底层细节的情况下，开发分布式步调。充实利用集群的威力举行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用步调的数据，适合那些有着超大数据集（large data set）的应用步调。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最焦点的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
1.5 Echarts数据可视化图表库
ECharts是一款基于JavaScript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。ECharts最初由百度团队开源，并于2018年初捐赠给Apache基金会，成为ASF孵化级项目。
2021年1月26日晚，Apache基金会官方宣布ECharts项目正式毕业。1月28日，ECharts 5线上发布会举行。ECharts，一个使用 JavaScript 实现的开源可视化库，可以流通的运行在 PC 和移动设备上，兼容当前绝大部分欣赏器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖矢量图形库 ZRender，提供直观，交互丰富，可高度个性化定制的数据可视化图表。
1.6 MySQL数据库
MySQL是一个开源的关系型数据库管理系统（RDBMS），它是目前世界上最盛行的数据库之一。MySQL由瑞典公司MySQL AB开发，并于2000年正式发布。它被广泛应用于各种规模的应用步调，从小型个人项目到大型企业级应用步调。由于MySQL具有灵活性、可靠性和性能优势，它在各种场景下都得到广泛应用，包括网站、企业级应用步调、移动应用步调、数据分析和物联网等。MySQL可以使用关系模型来组织数据，并使用结构化查询语言（SQL）举行数据库管理和数据操纵；运行在多个操纵系统上，包括Windows、Linux、MacOS等；支持横向和纵向扩展，可以通过添加更多的服务器节点或增加硬件资源来处置处罚更大规模的数据和负载。
2 基于Hadoop+Echarts的数据可视化平台系统分析
系统需求分析是系统开发的一个关键环节，它在系统的设计和实现上起到了一个承上启下的位置。系统需求分析是对所需要做的系统举行一个需求的发掘，假如分析的准确可以精准的解决实际中碰到的问题。假如分析不到位会影响后期系统的实现。一个系统的良好水平需求分析也是占据了非常大的比例，假如需求分析不到位，背面的系统设计要实现就是一个偏离导航的设计。
2.1 可行性分析
2.1.1 技术可行性分析
基于Hadoop+Echarts的数据可视化平台的设计与实现是一个商品信息数据可视化，Hadoop作为一种分布式存储和处置处罚大数据的技术，具有较高的可扩展性和容错性，广泛应用于各个范畴。所以使用Hadoop技术框架可以或许对大量数据举行分布式处置处罚，并对添加和导入到数据库的数据举行实时处置处罚，同时，利用Echarts数据可视化图表库帮助快速实现数据可视化结果，并采用MySQL数据库举行数据的储存和管理，而在大学的学习中对于这些技术都已经学过，所以可以实现本身的自主开发。因此，该研究具有技术可行性。
2.1.2 经济可行性分析
在开发基于Hadoop+Echarts的数据可视化平台并不需要投入太多，开发工具、服务器、数据库等，都可以通过网络搜索、下载、安装，只需要一台平凡的计算机就可以由本身独立完成操纵，而且在系统功能规划上通过走访观察目前用户对基于Hadoop+Echarts的数据可视化平台的需求，相识它们对系统具体实现的功能需求，然后举行设计开发，不存在任何开销，因此，该研究具有经济可行性。
2.1.3 操纵可行性分析
当下网络新时代，计算机已经得到了遍及，多数人对计算机都比较的熟悉，知道如何使用它，当然也存在对计算机比较陌生的这一群体，也需要对其举行考虑。在举行基于Hadoop+Echarts的数据可视化平台页面的设计的时间，考虑到使用人群，可能也存在对计算机比较陌生的人，所以，在页面的设计方面，设计的很是简朴、轻便，布局明白，色调明朗，让无论是对计算机陌生还是对计算机熟悉的使用者，都可以使用自如。因此，该研究具有操纵可行性。
2.2 系统功能分析
2.2.1 功能性分析
按照基于Hadoop+Echarts的数据可视化平台的需求分析，主要为管理员模块，具体分析如下：
(1)登录注册：管理员账号暗码由系统生成，可使用账号暗码可举行登录，使用系统功能，并对个人信息和暗码举行管理。
(2)系统用户：管理员可对管理员举行管控，包括举行增编削查操纵，支持昵称搜索，可点击详情举行检察（邮箱用户名、昵称、暗码、邮箱、状态）。
(3)商品信息管理：管理员可检察大数据模块下所有的商品信息，可举行添加、删除操纵，并可点击下载导入文档，下载数据表格另存为后再根据提示填写精确的数据类型信息，填写完毕后保存，再举行导入系统，即可表现可视化数据图表，可点击商品信息添加，添加填写并提交商品信息（店铺地址、商品价格、发布地址、店铺星级、商品评价、物流履约、售后服务、商品品牌、商品评论、好评数量、晒图数量、晒评单数、追评数量、中评数量、差评数量），可点击详情举行检察。
(4)数据看板：可检察商品信息的数据分析和可视化信息，包括商品品牌、店铺信息、店铺名称、店铺好评、商品晒图、中差追评等信息数据分析和可视化图表，其中店铺信息数据图是根据数据表格信息生成的轮播数据图表，后台添加的所有数据都可以或许在这里展示，并可保存为图片，方便随时查阅。
2.2.2 非功能性分析
基于Hadoop+Echarts的数据可视化平台的非功能性需求好比平台的安全性怎么样，可靠性怎么样，性能怎么样，可拓展性怎么样等。具体可以表现在如下2-1表格中：
表2-1基于Hadoop+Echarts的数据可视化平台非功能需求表
安全性
| 主要指基于Hadoop+Echarts的数据可视化平台数据库的安装，数据库的使用和暗码的设定必须合乎规范。
| 可靠性
| 可靠性是指基于Hadoop+Echarts的数据可视化平台可以或许安装用户的指示举行操纵，经过测试，可靠性90%以上。
| 性能
| 性能是影响基于Hadoop+Echarts的数据可视化平台占据市场的必要条件，所以性能最好要佳才好。
| 可扩展性
| 好比数据库预留多个属性，好比接口的使用等确保了系统的非功能性需求。
| 易用性
| 用户只要跟着基于Hadoop+Echarts的数据可视化平台的页面展示内容举行操纵，就可以了。
| 可维护性
| 基于Hadoop+Echarts的数据可视化平台开发的可维护性是非常重要的，经过测试，可维护性没有问题
|
2.3 系统用例分析
通过2.2的功能分析，得出了系统的用例图：
管理员是维护整个基于Hadoop+Echarts的数据可视化平台中所有数据信息的。可以举行登录，对系统用户、商品信息、数据看板等信息举行管理，对管理员角色用比方图2-1所示。
图2-1 管理员角色用例图
2.4 系统流程分析
2.4.1 登录流程分析
要使用系统的各项功能，就必须登录进入系统，系统登录流程如下图所示：
图2-2登录流程图
2.4.2 添加数据流程分析
系统中可以实现添加数据功能，添加数据时的流程如下图所示。
图2-3添加数据表据流程图
2.4.3 删除数据流程分析
在系统中经常会出现一些过期的数据，好比用户注销等，那就可以直接删除这些数据。删除数据流程如下图所示。
图2-4删除数据流程图
3 基于Hadoop+Echarts的数据可视化平台总体设计
本章主要讨论的内容包括基于Hadoop+Echarts的数据可视化平台的功能模块设计、数据库系统设计。
3.1 系统功能结构设计
系统在结构上的设计至关重要，要考虑周全，设计全面，一个完善的结构体系，可以或许满足用户在使用时的各种需求，这样会让提高步调的使用率，包管步调被恒久的利用。在设计基于Hadoop+Echarts的数据可视化平台的结构时，也列入重点，采用模块化的方法来举行设计，即首先将大模块确定下来，再慢慢的将大模块举行增补完善，向下分支出小模块，一起共同组成的系统的结构体系，下图是该基于Hadoop+Echarts的数据可视化平台的结构设计图，直观明白的可以看出本项目步调的功能。
基于Hadoop+Echarts的数据可视化平台模块图如图3-1所示。
图3-1 基于Hadoop+Echarts的数据可视化平台功能模块图
3.2 数据库设计
数据库设计一般包括需求分析、概念模型设计、数据库表创建三大过程，其中需求分析前面章节已经阐述，概念模型设计有概念模型和逻辑结构设计两部分。
3.2.1 数据库概念结构设计
下面是整个基于Hadoop+Echarts的数据可视化平台中主要的数据库表总E-R实体关系图。
图3-2 基于Hadoop+Echarts的数据可视化平台总E-R关系图
3.2.2 数据库逻辑结构设计
在数据库表中我们会看到系统的表名、主键、外键等信息，我们通过数据库表的主键、外键把每个表关联起来，然后在界面中展示。本基于Hadoop+Echarts的数据可视化平台的主要的数据库表如下：
表access_token (登陆访问时长)
编号
| 名称
| 数据类型
| 长度
| 小数位
| 允许空值
| 主键
| 默认值
| 说明
| 1
| token_id
| int
| 10
| 0
| N
| Y
|
| 临时访问牌ID
| 2
| token
| varchar
| 64
| 0
| Y
| N
|
| 临时访问牌
| 3
| info
| text
| 65535
| 0
| Y
| N
|
|
| 4
| maxage
| int
| 10
| 0
| N
| N
| 2
| 最大寿命：默认2小时
| 5
| create_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 创建时间：
| 6
| update_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 更新时间：
| 7
| user_id
| int
| 10
| 0
| N
| N
| 0
| 用户编号:
|
表auth (用户权限管理)
编号
| 名称
| 数据类型
| 长度
| 小数位
| 允许空值
| 主键
| 默认值
| 说明
| 1
| auth_id
| int
| 10
| 0
| N
| Y
|
| 授权ID：
| 2
| user_group
| varchar
| 64
| 0
| Y
| N
|
| 用户组：
| 3
| mod_name
| varchar
| 64
| 0
| Y
| N
|
| 模块名：
| 4
| table_name
| varchar
| 64
| 0
| Y
| N
|
| 表名：
| 5
| page_title
| varchar
| 255
| 0
| Y
| N
|
| 页面标题：
| 6
| path
| varchar
| 255
| 0
| Y
| N
|
| 路由路径：
| 7
| position
| varchar
| 32
| 0
| Y
| N
|
| 位置：
| 8
| mode
| varchar
| 32
| 0
| N
| N
| _blank
| 跳转方式：
| 9
| add
| tinyint
| 3
| 0
| N
| N
| 1
| 是否可增加：
| 10
| del
| tinyint
| 3
| 0
| N
| N
| 1
| 是否可删除：
| 11
| set
| tinyint
| 3
| 0
| N
| N
| 1
| 是否可修改：
| 12
| get
| tinyint
| 3
| 0
| N
| N
| 1
| 是否可检察：
| 13
| field_add
| text
| 65535
| 0
| Y
| N
|
| 添加字段：
| 14
| field_set
| text
| 65535
| 0
| Y
| N
|
| 修改字段：
| 15
| field_get
| text
| 65535
| 0
| Y
| N
|
| 查询字段：
| 16
| table_nav_name
| varchar
| 500
| 0
| Y
| N
|
| 跨表导航名称：
| 17
| table_nav
| varchar
| 500
| 0
| Y
| N
|
| 跨表导航：
| 18
| option
| text
| 65535
| 0
| Y
| N
|
| 设置：
| 19
| create_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 创建时间：
| 20
| update_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 更新时间：
|
表hits (用户点击)
编号
| 名称
| 数据类型
| 长度
| 小数位
| 允许空值
| 主键
| 默认值
| 说明
| 1
| hits_id
| int
| 10
| 0
| N
| Y
|
| 点赞ID：
| 2
| user_id
| int
| 10
| 0
| N
| N
| 0
| 点赞人：
| 3
| create_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 创建时间：
| 4
| update_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 更新时间：
| 5
| source_table
| varchar
| 255
| 0
| Y
| N
|
| 来源表：
| 6
| source_field
| varchar
| 255
| 0
| Y
| N
|
| 来源字段：
| 7
| source_id
| int
| 10
| 0
| N
| N
| 0
| 来源ID：
|
表product_information (商品信息)
编号
| 名称
| 数据类型
| 长度
| 小数位
| 允许空值
| 主键
| 默认值
| 说明
| 1
| product_information_id
| int
| 10
| 0
| N
| Y
|
| 商品信息ID
| 2
| store_name
| varchar
| 64
| 0
| Y
| N
|
| 店铺名称
| 3
| commodity_price
| int
| 10
| 0
| Y
| N
| 0
| 商品价格
| 4
| publishing_address
| varchar
| 64
| 0
| Y
| N
|
| 发布地址
| 5
| store_star_rating
| int
| 10
| 0
| Y
| N
| 0
| 店铺星级
| 6
| product_evaluation
| int
| 10
| 0
| Y
| N
| 0
| 商品评价
| 7
| logistics_performance
| int
| 10
| 0
| Y
| N
| 0
| 物流履约
| 8
| after_sale_service
| int
| 10
| 0
| Y
| N
| 0
| 售后服务
| 9
| product_brand
| varchar
| 64
| 0
| Y
| N
|
| 商品品牌
| 10
| product_reviews
| int
| 10
| 0
| Y
| N
| 0
| 商品评论
| 11
| number_of_positive_reviews
| int
| 10
| 0
| Y
| N
| 0
| 好评数量
| 12
| number_of_prints
| int
| 10
| 0
| Y
| N
| 0
| 晒图数量
| 13
| number_of_exposure_frequency_orders
| int
| 10
| 0
| Y
| N
| 0
| 晒频单数
| 14
| number_of_follow_up_reviews
| int
| 10
| 0
| Y
| N
| 0
| 追评数量
| 15
| number_of_mid_term_evaluations
| int
| 10
| 0
| Y
| N
| 0
| 中评数量
| 16
| number_of_negative_reviews
| int
| 10
| 0
| Y
| N
| 0
| 差评数量
| 17
| create_time
| datetime
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 创建时间
| 18
| update_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 更新时间
|
表upload (文件上传)
编号
| 名称
| 数据类型
| 长度
| 小数位
| 允许空值
| 主键
| 默认值
| 说明
| 1
| upload_id
| int
| 10
| 0
| N
| Y
|
| 上传ID
| 2
| name
| varchar
| 64
| 0
| Y
| N
|
| 文件名
| 3
| path
| varchar
| 255
| 0
| Y
| N
|
| 访问路径
| 4
| file
| varchar
| 255
| 0
| Y
| N
|
| 文件路径
| 5
| display
| varchar
| 255
| 0
| Y
| N
|
| 表现次序
| 6
| father_id
| int
| 10
| 0
| Y
| N
| 0
| 父级ID
| 7
| dir
| varchar
| 255
| 0
| Y
| N
|
| 文件夹
| 8
| type
| varchar
| 32
| 0
| Y
| N
|
| 文件类型
|
表user (用户账户：用于保存用户登录信息)
编号
| 名称
| 数据类型
| 长度
| 小数位
| 允许空值
| 主键
| 默认值
| 说明
| 1
| user_id
| mediumint
| 8
| 0
| N
| Y
|
| 用户ID：[0,8388607]用户获取其他与用户相关的数据
| 2
| state
| smallint
| 5
| 0
| N
| N
| 1
| 账户状态：[0,10](1可用|2异常|3已冻结|4已注销)
| 3
| user_group
| varchar
| 32
| 0
| Y
| N
|
| 地点用户组：[0,32767]决定用户身份和权限
| 4
| login_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 上次登录时间：
| 5
| phone
| varchar
| 11
| 0
| Y
| N
|
| 手机号码：[0,11]用户的手机号码，用于找回暗码时或登录时
| 6
| phone_state
| smallint
| 5
| 0
| N
| N
| 0
| 手机认证：[0,1](0未认证|1审核中|2已认证)
| 7
| username
| varchar
| 16
| 0
| N
| N
|
| 用户名：[0,16]用户登录时所用的账户名称
| 8
| nickname
| varchar
| 16
| 0
| Y
| N
|
| 昵称：[0,16]
| 9
| password
| varchar
| 64
| 0
| N
| N
|
| 暗码：[0,32]用户登录所需的暗码，由6-16位数字或英文组成
| 10
| email
| varchar
| 64
| 0
| Y
| N
|
| 邮箱：[0,64]用户的邮箱，用于找回暗码时或登录时
| 11
| email_state
| smallint
| 5
| 0
| N
| N
| 0
| 邮箱认证：[0,1](0未认证|1审核中|2已认证)
| 12
| avatar
| varchar
| 255
| 0
| Y
| N
|
| 头像地址：[0,255]
| 13
| open_id
| varchar
| 255
| 0
| Y
| N
|
| 针对获取用户信息字段
| 14
| create_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 创建时间：
| 15
| vip_level
| varchar
| 255
| 0
| Y
| N
|
| 会员等级
| 16
| vip_discount
| double
| 11
| 2
| Y
| N
| 0.00
| 会员扣头
|
表user_group (用户组：用于用户前端身份和鉴权)
编号
| 名称
| 数据类型
| 长度
| 小数位
| 允许空值
| 主键
| 默认值
| 说明
| 1
| group_id
| mediumint
| 8
| 0
| N
| Y
|
| 用户组ID：[0,8388607]
| 2
| display
| smallint
| 5
| 0
| N
| N
| 100
| 表现次序：[0,1000]
| 3
| name
| varchar
| 16
| 0
| N
| N
|
| 名称：[0,16]
| 4
| description
| varchar
| 255
| 0
| Y
| N
|
| 描述：[0,255]描述该用户组的特点或权限范围
| 5
| source_table
| varchar
| 255
| 0
| Y
| N
|
| 来源表：
| 6
| source_field
| varchar
| 255
| 0
| Y
| N
|
| 来源字段：
| 7
| source_id
| int
| 10
| 0
| N
| N
| 0
| 来源ID：
| 8
| register
| smallint
| 5
| 0
| Y
| N
| 0
| 注册位置:
| 9
| create_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 创建时间：
| 10
| update_time
| timestamp
| 19
| 0
| N
| N
| CURRENT_TIMESTAMP
| 更新时间：
|
4 基于Hadoop+Echarts的数据可视化平台详细设计与实现
4.1管理员功能模块
4.1.1 登录模块的实现
管理员账号暗码由系统生成，可使用账号暗码可举行登录，使用系统功能，并对个人信息和暗码举行管理，登录界面如下图所示。
图4-1登录界面图
4.1.2 系统用户模块的实现
可对平凡用户和管理员举行管控，包括举行增编削查操纵，点击可检察详情，界面如下图所示。
图4-2系统用户界面图
4.1.3 商品信息管理模块的实现
可检察所有商品信息数据信息，举行增改删查操纵，并可举行点击下载导入文档，和点击导入操纵，支持商品信息类型、商品信息名称搜索，可点击检察详情（商品信息类型、商品信息链接、商品信息名称、最新章节、商品信息作者、更新最新、商品信息简介）。界面如下图所示。
图4-3商品信息管理界面图
4.1.4 数据看板模块的实现
可检察商品信息的数据分析和可视化信息，包括商品品牌、店铺信息、店铺名称、店铺好评、商品晒图、中差追评等信息数据分析和可视化图表，其中店铺信息数据图是根据数据表格信息生成的轮播数据图表，后台添加的所有数据都可以或许在这里展示，并可保存为图片，方便随时查阅，界面如下图所示。
图4-4数据看板界面图
5系统测试
5.1测试目的
该系统可以或许完成商品信息选购，商品信息管理，商品信息评价管理，订单管理，用户管理等功能，做到所开发的系统操纵简朴，符合系统开放性要求，该系统可以或许在开放的硬件体系结构中运行，并且能与其他系统顺利毗连。
5.2测试概述
根据系统测试目的并结合面向对象的测试方法，给出如下系统测试方案：
1、尽可能早的、并且不绝地举行系统测试。因为错误发现的越早，修正它所付出的代价以及费用就会越小。
2、设计本测试用例时，应该给出测试的预期结果。一个公道的测试用例由两部分组成：主要有测试用的输入数据和该输入数据所盼望的系统运行结果。
3、在设计本测试用例时，不但需要有合法的输入测试用例，还应该要有非法的输入测试用例。因为，因为在系统的实际使用过程中，通常由于各种缘故原由，用户往往会使用一些非法的输入测试用例来举行测试。测试用例为了测试系统的精确性和完备性，本节将对系统中重点模块的测试举行介绍。
5.3功能测试
（1）登录测试
登录测试用比方下表所示。
表6-1 登录测试用例
测试用例编号
| YL_01
| 测试用例名称
| 系统使用者登录
| 测试用例描述
| 登录者输入用户名、暗码和验证码
| 系统入口
| 欣赏器
| 步调
| 预期结果
| 实际结果
| 输入精确的用户名、暗码和验证码
| 提示“登录乐成”，并进入系统
| 预期结果
| 输入错误的用户名、暗码和验证码
| 提示“登录失败”，并返回登录界面
| 预期结果
| 不输入用户名、暗码和验证码
| 提示“请输入完备”
| 预期结果
|
（2）添加商品信息测试
添加商品信息测试用比方下表所示。
表6-2 添加商品信息测试用例
测试用例编号
| YL_02
| 测试用例名称
| 系统使用者举行添加商品信息
| 测试用例描述
| 使用者输入商品信息等信息
| 系统入口
| 欣赏器
| 步调
| 预期结果
| 实际结果
| 输入完备的商品信息
| 提示“添加乐成”，并进入系统
| 预期结果
| 不输入的个别内容
| 提示“请输入完备”
| 预期结果
|
（3）导入商品信息测试
导入商品信息测试用比方下表所示。
表6-3 导入商品信息测试用例
测试用例编号
| YL_03
| 测试用例名称
| 系统使用者举行导入商品信息数据表格
| 测试用例描述
| 使用者下载导入文档，在文档中填写并保存商品信息，然后回到在系统界面举行导入
| 系统入口
| 欣赏器
| 步调
| 预期结果
| 实际结果
| 在下载的导入文档中精确输入商品信息，保存后再导入
| 提示“操纵乐成”，并进入系统
| 预期结果
| 没有另存为，填写信息
| 导入失败
| 预期结果
|
5.4集成测试
集成测试的方案主要如下所述：
1.将系统移植到另一台计算机上，运行出错。修改设置信息后运行乐成。
2.用户信息管理模块综合测试，添加新用户roess，为其分配一般管理员角色，检察一般管理员角色权限，保存设置，以roess身份登录，检察所拥有权限。
3.最后按照 农产物销售管理系统的设计与实现，以不同角色的身份进入系统，对系统各模块功能举行测试，测试模块间逻辑功是否有误。
经过测试，发现此开发系统可以满足农产物销售管理系统流程的根本工作流程和根本要求。
结论
该数据可视化平台使用的开发情况是功能强大的，通过使用Hadoop技术框架对大量数据举行分布式处置处罚，对于导入到的数据举行实时处置处罚，利用Echarts数据可视化图表库实现可视化结果图表，并采用MySQL数据库举行数据的储存和处置处罚，这些技术在大学的学科中都有重点学习过，在对这些技术学习、熟悉之后，结合对系统举行的需求分析顺利的完成了本次项目的设计。在最初接到任务书的那一刻，比较迷茫，没有任何的思绪，在经过了老师的指导以后，观察了一些数据分析可视化系统相关的资料后，慢慢的有了头绪，开始入手开题，明确了系统的内容，对系统举行可行性的分析，确定系统可行以及功能内容以后，就按照开题初步设计的内容举行完善，慢慢增补、学习，最闭幕束了步调的开发，也完成了论文的写作。这一过程，固然艰辛，但也学习到了很多，对项目开发流程也有了一个新的认识，动手能力也得到了提高，这正是书籍上所学习不到的。
经过开发本项目，让我非常有结果高，与此同时我对步调的开发更加感爱好了，信息技术真的很强大，也很深奥，在以后工作中，我将会探求与其相关工作，继续深入学习，开发出更良好的项目。
参考文献
[1]周玮.基于网络爬虫技术的财务大数据采集系统设计[J].中国新技术新产物,2024,(03):37-40.DOI:10.13612/j.cnki.cntp.2024.03.023.
[2]黎心怡,夏梓彤,庄嘉濠等.基于大数据技术的实时轨道交通分析预测可视化系统的设计与实现[J].电脑知识与技术,2023,19(29):71-74.DOI:10.14004/j.cnki.ckt.2023.1531.
[3]李威,邱永峰.基于Hadoop的电商大数据可视化设计与实现[J].当代信息科技,2023,7(17):46-49.DOI:10.19850/j.cnki.2096-4706.2023.17.009.
[4]杨政安.基于大数据技术的沉浸式假造实际可视化展示系统研究[J].信息系统工程,2023,(08):12-15.
[5]晋梓尧.新世纪中国科幻商品信息研究的知识图谱——基于CNKI数据库的CiteSpace可视化分析[J].今古文创,2023,(17):130-133.DOI:10.20024/j.cnki.CN42-1911/I.2023.17.041.
[6]朱毓.基于Hadoop与Spark的大数据处置处罚平台的构建研[J].互联网周刊,2023,(07):87-89.
[7]农佳明.基于Hadoop的电商数据分析系统设计与实现[J].电子技术,2023,52(03):67-69.
[8]梁肇敏,梁婷婷.基于大数据技术的电商用户画像可视化系统设计与实现[J].智能计算机与应用,2023,13(03):242-245+249.
[9]陈丹,周启刚,艾军勇等.新工科配景下数据科学与大数据技术专业课程群模块化教学模式改革——以大数据集群与可视化课程群为例[J].西部素质教育,2023,9(01):138-141.DOI:10.16681/j.cnki.wcqe.202301035.
[10]元伟靖,陈复兴,戴左琴.基于Hadoop平台下医保智能分析系统的研究[J].中国当代医药,2022,29(36):145-147.
[11]燕翔,周瑾,赵海军.基于Hadoop的铁路货运大数据平台设计与应用[J].铁道运输与经济,2022,44(S1):170-175+182.DOI:10.16668/j.cnki.issn.1003-1421.2022.13.28.
[12]李颍春,姜丹.基于大数据技术的航天数据可视化系统设计[J].科技创新与应用,2022,12(32):6-10.DOI:10.19981/j.CN23-1581/G3.2022.32.002.
[13]杨孟姣,杜棋东.基于Python爬虫网站数据分析系统设计与实现[J].计算机时代,2022,(11):81-83+88.DOI:10.16644/j.cnki.cn33-1094/tp.2022.11.019.
[14]邱凯.基于Hadoop平台的大数据可视化分析实现与应用[J].电子技术与软件工程,2022,(19):184-187.
[15]林在宁,杨文杰,陈修洁.基于Hadoop的网站大数据分析系统设计[J].北京印刷学院学报,2022,30(09):61-64.DOI:10.19461/j.cnki.1004-8626.2022.09.010.
[16]卞咸杰.大数据时代聪明档案信息服务平台智能分析系统设计与实现[J].档案管理,2022,(05):40-43.DOI:10.15950/j.cnki.1005-9458.2022.05.031.
[17]李林国,查君琪,赵超等.基于Hadoop平台的大数据可视化分析实现与应用[J].西安文理学院学报(自然科学版),2022,25(03):53-58.
[18]杨立业.基于COG、Hadoop和 Spark的海量影像快速可视化共享方法[J].河北省科学院学报,2022,39(03):25-31.DOI:10.16191/j.cnki.hbkx.2022.03.013.
[19]刘丽.基于Hadoop高校大数据平台建立方案的研究[J].信息与电脑(理论版),2021,33(17):133-135.
[20]闫鹏,张林.基于Hadoop平台的交通大数据智能特性分析研究[J].华北理工大学学报(自然科学版),2020,42(03):80-88.
致 谢
通过这样设计与开发这样一个系统，首先向我们老师、同学和朋友表达真诚的感谢。没有指导老师的指导和通常子的辅导，我也不可以或许学到云云多的专业知识。另外，也佩服老师兢兢业业的工作态度，给我们做好了楷模。系统开发技术要学习的东西很多，前台框架、后台框架、业务流程、数据结构、操纵系统等各种知识非常的丰富，都需要慢慢的专研。在这里，首先感谢老师细心的辅导，我只想说一句：“老师，谢谢您，您辛劳了！有您在，大门生活才更加的充实。另外，我要感谢我的室友，由于知识把握得不够产生各种问题，正因为有了你们的帮助，给我提出很多很好的建议，才能更好的解决系统开发问题。同时，我也应该感谢那些计算机专业的先哲们，正是由于有这么一群人，才能把这样的专业研究得云云透彻，才能助力新世界的诞生。你们的理论，是我们一生学习的内容，你们的结果，是我们一生寻求的目标。
最后，也希望本身在未来的道路上可以或许走得更远，不辜负在大学的学习，以及老师们的细致的辅导。
免费领取项目源码，请关注❤点赞收藏并私信博主，谢谢-
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
