ToB企服应用市场:ToB评测及商务社交产业平台

标题: 旅游大数据的数据收罗模子和数据分析体系 [打印本页]

作者: 王海鱼 时间: 2024-8-28 07:37
标题: 旅游大数据的数据收罗模子和数据分析体系
小白学习ing

媒介

旅游大数据的数据收罗模子和数据分析体系，以六安市旅游景点为例，收罗携程网站上游客对景点的评价。对数据进行情感分类后，得到情感分析机器学习的数据集，进而训练情感分析模子。用训练好的模子制作简单的问答体系，实现对用户输入的文本进行情感预测。不仅如此，将六安市景点的数据进行简单的数据分析，包括热门景点分析、时间趋势分析和关键字词频统计。
GitHub地址：LSTM-DataAnalysis，欢迎下载指正！

一、头脑导图

二、过程

1.数据的收罗与存储

我尝试了两个方法。
方法一是使用八爪鱼收罗器。下载后直接使用即可，输出为csv文件。
方法二是采用 Selenium 和 Chrome 欣赏器自动化工具。
GitHub地址：Spider_Xiecheng_Comments
   1.1版本题目    chromedriver 和 chrome 欣赏器的版本必要对应。我的代码中有 chromedriver.exe 和对应的 chrome 欣赏器安装包。    1.2数据收罗    编写 python 代码，通过 CSS 选择器获取必要的数据，生存在数组中。用户输入爬取的景点名称和对应的携程网址，将收罗效果输出为csv文件。    1.3数据存储    使用 SQLite Expert Professional 将csv文件转换为db文件，然后直接将必要的db文件生存在项目文件夹下。py文件必要时直接导入包即可使用。
import sqlite3 2.情感分析模子创建

   2.1安装库    项目能跑首先要安装各种必要的库，而且版本对应也要非常注意。
在命令行：使用 conda 创建房间，进入房间，进入项目文件夹，下载好这个项目必要的包。
在base创建房间： conda create -n 房间名字 python=3.9    部分 conda 命令
进入房间：conda activate 房间名字
安装依赖：

pip install -r requirements.txt
conda install --file requirements.txt
pip install 要安装的包名 -i mirrors.aliyun.com... --trusted-host mirrors.aliyun.com

  查看已安装哪些依赖：conda list
   2.2训练运行程序    在 pycharm 编辑py代码（大概jupyter）
训练运行程序
法一：（命令行） python train.py --data_path data/test.csv --dataset_type classification --save_path model_save --log_path log
法二：（编辑器）run，编辑器的 console
pycharm 选择 python interperter
conda executable 选择：安装的anaconda的位置下的condabin\conda.bat
environment 选择：刚刚创建的那个房间    2.3基于LSTM的情感分析模子    定义一个简单的基于LSTM的神经网络模子，它包括输入层、LSTM层、全连接层、Dropout层和输出层。最后输出两个神经元，分别代表着消极和积极的概率。 3.数据分析体系

使用 Flask 框架，设置路由以及通过AJAX向Flask发送数据，实现各个页面的跳转，数据库数据的调用，欣赏器与服务器的数据交互。
   3.1 热门景点分析和时间趋势分析    使用 JavaScript 的 Echart 插件，绘制对应的柱状图和折线图。该景点的评论数量的多少，反映了景点的热门程度。一方面给游客选择景点提供参考，另一方面分析不同月份景点的热门程度，帮助游客选择符合的出行时间。    3.2 词云关键字提取    使用 python 的 wordcloud 库绘制词云树，对收罗的用户评论进行关键词提取，采用一棵树的图片作为遮罩图片。    3.3 六安市地图绘制    在这个网站的下载的： echarts六安市地图加立体效果代码下载，感谢分享。    3.4 情感预测交互    实现一个简单的问答体系，用户输入一句话后点击提交按钮，欣赏器接收数据通报给服务器，调用训练好的模子进行情感预测，返回效果。

三、参考

1、携程网景点评论爬虫
2、Flask模子部署教程
3、Python+Flask框架的数据可视化网站
4、情感分析可视化界面
5、基于Bert和双向LSTM的情感分类

总结

紧张是作为学习的一个小项目，许多地方都是用简单的办法办理的。紧张目的就是能够实现这些功能就行，以是另有许多可以改进的地方。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)