14.0 语境关系图
14.0.1 业务驱动
1.发现商机
2.引发创新
3.实现产物服务的个性化展示
4.提升运营程度
5.实现主动化，从而提升构造服从、削弱本钱、低沉风险
14.1 大数据与数据科学【7 个步调，告急】
1.界说大数据战略和业务需求（P）
(1) 构造正在实行办理什么标题，必要分析什么；
(2) 获取或利用哪些数据源；
(3) 要提供的数据的及时性和范围；
(4) 对其他数据布局的影响和与其他数据布局的关系；
(5) 对现有已建模数据的影响。
2.选择数据源（P）【重点】
(1) 它的劈头（不要用有争议的数据，来路是正的）；
(2) 其格式；
(3) 数据元素代表什么；
(4) 它怎样毗连到其他数据；
(5) 更新频率。
Q：选择数据源时有哪些要点必要思量？
A：以上五条，数据劈头、格式、数据元素代表什么、怎样毗连到其他数据、更新频率。
必要留意根本数据、颗粒度（筹划只管原子化，以最细粒度获取数据，聚适用于多种用途，如姓&名）、同等性、可靠性、查抄/分析新数据源。
3.获取和融合数据源（D）【工作量最大】
4.订定假设和方法（D）
5.集成/构造数据举行分析（D）【工作量最大】
6.利用模子探索数据（D）【精讲 3 36 分左右】
(1) 添补猜测模子。
(2) 训练模子（默认 70%数据用来训练，创建算法）。
(3) 评估模子（默认 30%数据用来验证评估哪一个算法最好，liftvalue值越高，模子越好）。
(4) 创建数据可视化。
7.摆设和监控 （O）
Q：工作量最大的是什么步调？【多选题】
A：3.获取和融合数据源（D）、5.集成/构造数据举行分析（D）。
DW/传统 BI 对已经发生的事变产生过后结论，数据科学是对未来发生事变的洞察和预见，规范性分析比猜测性分析更全面（规范性，算命逃难）。
数据科学是将数据发掘、统计分析、及其学习与数据集成整合，联合数据建模本领，去构建猜测模子、探索数据内容的模式。
数据科学依赖于：
1）丰富的数据源。具有可以大概展示隐蔽在构造或客户运动中不可见模式的潜力。
2）信息构造和分析。用来了解数据内容，联合数据集针对故意义模式举行假设和测试的技能。
3）信息交付。针对数据运行模子和数学算法，举行可视化展示及其他方式输出，以此加强对运动的深入洞察。
4）展示发现和数据洞察。分析和展现结果，分享洞察观点（表14-1）对比了传统的数据堆栈/商务智能与基于数据科学技能实现的猜测性分析和规
范性分析的作用。
数据湖是一种可以提取、存储、评估和分析差别范例和布局海量
数据的情况，可供多种场景利用。比方，它可以提供：
1）数据科学家可以发掘和分析数据的情况。
2）原始数据的会集存储地域，只需很少量的转换（如果必要的
话）。
3）数据堆栈明细汗青数据的备用存储地域。
4）信息记载的在线归档。
5）可以通过主动化的模子辨认提取流数据的情况
14.2 大数据和云盘算【各种软件】
组件图谱：文件体系、数据存储、内存技能、数据搜集与消息体系、数据处置惩罚、查询引擎、分析和陈诉工具、调治与管理服务、呆板学习、开辟平台。
1.文件体系：
HDFS Hadoop Distributed File System，简称 HDFS，是一个分布式文件体系。HDFS 是一个高度容错性的体系，恰当摆设在自制的呆板上。HDFS 能提供高吞吐量的数据访问，非常恰当大规模数据集上的应用。
2.数据存储：
（1）MongoDB 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为 web 应用提供可扩展的高性能数据存储办理方案。介于关系数据库和非关系数据库之间的开源产物，黑白关系数据库当中功能最丰富、最像关系数据库的产物。
（2）Redis 是一个高性能的 key-value 存储体系，和Memcached 雷同，它支持存储的 value 范例相对更多，包罗 string（字符串）、list（链表）、set（聚集）和 zset（有序聚集）。Redis 的出现，很洪流平赔偿了memcached这类key/value 存储的不敷，在部门场所可以对关系数据库起到很好的增补作用。【如果数据库性能欠好，加个 Redis】
（3）Neo4j 是一个高性能的，NOSQL 图形数据库，它将布局化数据存储在网络上而不是表中。自称“天下上第一个和最好的图形数据库”，“速率最快、扩展性最佳的原生图形数据库”，“最大和最有活力的社区”。用户包罗Telenor、Wazoku、ebay、必能宝（Pitney Bowes）、MigRaven、思乐（Schleich）和 Glowbl 等。【洛杉矶警员局用图数据库打击黑帮】
（4）HBASE 是 Hadoop 的数据库，一个分布式、可扩展、大数据的存储。是为有数十亿行和数百万列的超大表筹划的，是一种分布式数据库，可以对大数据举行随机性的及时读取/写入访问。提供雷同谷歌 Bigtable 的存储本领，基于Hadoop 和 Hadoop 分布式文件体系（HDFS）而建。
（5）Cassandra 是一个肴杂型的非关系的数据库，雷同于Google的BigTable，其重要功能比 Dynamo（分布式的 Key-Value 存储体系）更丰富。这种NoSQL数据库最初由 Facebook 开辟，现已被 1500 多家企业构造利用，包罗苹果、欧洲原子核研究构造（CERN）、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit 及其他机构。【渐渐被HBase 高出】
3.内存技能：
数据盘算在内存中举行，但不能断电，Redis。
4.数据搜集与消息体系：
数据搜集： Logstash 是一个应用步伐日志 、事故的传输、处置惩罚、管理和搜刮的平台。可以用它来同一对应用步伐日志举行网络管理，提供了Web 接口用于查询和统计。
消息体系：
（1）RabbitMQ 是一个受欢迎的消息署理体系，通常用于应用步伐之间大概步伐的差别组件之间通过消息来举行集成。RabbitMQ 提供可靠的应用消息发送、易于利用、支持全部主流操纵体系、支持大量开辟者平台。
（2）ActiveMQ 是 Apache 出品，号称“最盛行的，最强盛”的开源消息集成模式服务器。ActiveMQ 特点是速率快，支持多种跨语言的客户端和协议，其企业集成模式和许多先辈的功能易于利用，是一个完全支持JMS1.1 和J2EE1.4规范的 JMS Provider 实现。Kafka 是一种高吞吐量的分布式发布订阅消息体系，它可以处置惩罚消耗者规模网站中的全部动作流数据，如今已成为大数据体系在异步和分布式消息之间的最佳选择。
5.数据处置惩罚：
（1）Spark 是一个高速、通用大数据盘算处置惩罚引擎。拥有Hadoop MapReduce所具有的优点，但差别的是 Job 的中央输出结果可以生存在内存中，从而不再必要读写 HDFS，因此 Spark 能更好地实用于数据发掘与呆板学习等必要迭代的MapReduce 的算法。它可以与 Hadoop 和 Apache Mesos 一起利用，也可以独立利用
（2）Kinesis 可以构建用于处置惩罚或分析流数据的自界说应用步伐，来满意特定需求。Amazon Kinesis Streams 每小时可从数十万种泉源中一连捕获和存储数TB 数据，如网站点击流、财务买卖业务、交际媒体源、IT 日志和定位追踪事故。【前端用 kibana（开源的分析和可视化平台）出现，后端用elastic search】
（3）Hadoop 是一个开源框架，恰当运行在通用硬件，支持用简朴步伐模子分布式处置惩罚跨集群大数据集，支持从单一服务器到上千服务器的程度scaleup。Apache 的 Hadoop 项目已险些与大数据划上了等号，它不停强大起来，已成为一个完备的生态体系，拥有浩繁开源工具面向高度扩展的分布式盘算。高效、可靠、可伸缩，可以大概为你的数据存储项目提供所需的 YARN、HDFS 和根本架构，而且运行重要的大数据服务和应用步伐。
6.查询引擎：
（1)Presto 是一个开源的分布式 SQL 查询引擎，实用于交互式分析查询，可对 250PB 以上的数据举行快速地交互式分析。Presto 的筹划和编写是为了办理像 Facebook 如许规模的贸易数据堆栈的交互式分析和处置惩罚速率的标题。Facebook 称 Presto 的性能比诸如 Hive 和 MapReduce 要好上10 倍有多。
（2）Pig 是一种编程语言，它简化了 Hadoop 常见的工作任务。Pig可加载数据、转换数据以及存储终极结果。Pig 最大的作用就是为MapReduce 框架实现了一套 shell 脚本，雷同我们通常认识的 SQL 语句。【pig 是编程语言】
（3）Solr 基于 Apache Lucene，是一种高度可靠、高度扩展的企业搜刮平台。着名用户包罗 eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、95Instagram、Netflix、彭博社和 Travelocity。【企业级搜刮引擎，如今许多企业用百度较贵，可以思量 solr】
7.分析和陈诉工具：（
1）Kylin 是一个开源的分布式分析引擎，提供了基于Hadoop 的超大型数据集（TB/PB 级别）的 SQL 接口以及多维度的 OLAP 分布式联机分析。最初由eBay开辟并贡献至开源社区。它能在亚秒内查询巨大的 Hive 表。【麒麟社区】
（2）Kibana 是一个利用 Apache 开源协议的 Elasticsearch 分析和搜刮仪表板，可作为 Logstash 和 ElasticSearch 日志分析的 Web 接口，对日志举行高效的搜刮、可视化、分析等各种操纵。
（3）Zeppelin 是一个提供交互数据分析且基于 Web 的条记本。方便你做出可数据驱动的、可交互且可协作的精致文档，而且支持多种语言，包罗Scala(利用Apache Spark)、Python(Apache Spark)、SparkSQL、Hive、Markdown、Shell 等。【配景数据库用 Hive，前台用 Zeppelin 界面】
8.调治与管理服务：
（1）YARN 是一种新的 Hadoop 资源管理器，它是一个通用资源管理体系，可为上层应用提供同一的资源管理和调治，办理了旧 MapReduce 框架的性能瓶颈。它的根本头脑是把资源管理和作业调治/监控的功能分割到单独的守卫进程。【yet another resource negotiator 另一种资源调治体系，AMPlab提倡以人为本，Aligent mechine people】
（2）Ambari 作为 Hadoop 生态体系的一部门，提供了基于Web 的直观界面，可用于设置、管理和监控 Hadoop 集群。如今已支持大多数Hadoop组件，包罗 HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop 和Hcatalog等。【hive 性能比力糟糕，可看做 OLAP 数据堆栈】
9.呆板学习：
（1）Tensorflow 是 Google 开源的一款深度学习工具，利用C++语言开辟，上层提供 Python API。在开源之后，在工业界和学术界引起了极大的震惊，由于 TensorFlow 曾经是著名的 Google Brain 筹划中的一部门，GoogleBrain项目的乐成曾经吸引了浩繁科学家和研究职员往深度学习这个“坑”内里跳，这也是当今深度学习云云繁荣的告急缘故因由。
（2）Torch 是 Facebook 和 Twitter 主推的一个特殊着名的深度学习框架，Facebook Reseach 和 DeepMind 所利用的框架，正是Torch（DeepMind被Google 收购之后才转向 TensorFlow）。出于性能的思量，它利用了一种比力小众的编程语言 Lua，如今在音频、图像及视频处置惩罚方面有着大量的应用。在目96前深度学习大部门以 Python 为编程语言的大情况之下，一个以Lua 为编程语言的框架只有更多的劣势，而不是上风。Ricardo 没有 Lua 的利用履历，他表现，如果他要用 Torch 的话，就必须先学习 Lua 语言才气利用Torch。就他个人来说，更倾向于认识的 Python、Matlab 大概 C++来实现。
（3）Mahout 目的是“为快速创建可扩展、高性能的呆板学习应用步伐而打造一 个 环 境 ” ， 主 要 特 点 是 为 可 伸 缩 的 算 法 提供可扩展情况、面向Scala/Spark/H2O/Flink 的新奇算法、Samsara（雷同R 的矢量数学情况），它还包罗了用于在 MapReduce 上举行数据发掘的浩繁算法。
基于呆板学习保举引擎，不光是淘宝、快手、抖音，运营商携号转网也可参考如
1、哪些人会脱离公司？
2、对客户举行代价评估（高净值客户必要留下）；
3、挽留客户的步伐（保举引擎，若客户对现有服务不满意，是否有更好的服务可以保举给客户
14.3 根本算法先容【12 种算法，PPT 中只提供了 9 个，多选】
Q：请从下列选项中选择根本算法
A：回归算法、基于实例算法、正则化算法、决议树算法、贝叶斯算法、基于核的算法、聚类算法、关联规则算法、人工神经算法、深度学习、低沉维度算法、集成算法。
(1) ❖ Association Algorithm 关联算法【牵手→谈爱情】
(2) ❖ Clustering Algorithm 集群算法【杭州人→爱吃酸甜口】
(3) ❖ Decision Trees Algorithm 决议树算法
(4) ❖ Linear Regression Algorithm 线性回归算法
(5) ❖ Logistic Regression Algorithm 逻辑回归算法/对数几率回归算法
(6) ❖ Naive Bayes Algorithm 贝叶斯算法
(7) ❖ Neural Network Algorithm 神经网络算法
(8) ❖ Sequence Clustering Algorithm 序列聚类算法
(9) ❖ Time Series Algorithm 时间序列算法
14.4 保举引擎【开源】
国务院国资委：战略性新型数据平台采购与创建。去 IOE：IBM 小型机、oracle 数据库、EMC 存储装备。
1.数据收罗：
爬虫-NUTCH
爬虫-SCRAPY
署理-SQUID
署理-MITM PROXY
负载均衡-Haproxy
负载均衡-Nginx
2.数据存储：
文件体系-HDFS： HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件体系。HDFS 是一个高度容错性的体系，恰当摆设在自制的呆板上。HDFS 能提供高吞吐量的数据访问，非常恰当大规模数据集上的应用。
图盘算-Neo4j： Neo4j 是一个高性能的，NOSQL 图形数据库，它将布局化数据存储在网络上而不是表中。自称“天下上第一个和最好的图形数据库”，“速率最快、扩展性最佳的原生图形数据库”，“最大和最有活力的社区”。用户包罗 Telenor、Wazoku、ebay、必能宝（Pitney Bowes）、MigRaven、思乐（Schleich）和 Glowbl 等。
图盘算-Titan： 分布式图数据库，支持高并发，NoSQL 中的一员，可构建知识图谱。
缓存 、数据 库-Redis ： Redis 是一 个高性 能的 key-value 存储体系，和Memcached 雷同，它支持存储的 value 范例相对更多，包罗string（字符串）、list（链表）、set（聚集）和 zset（有序聚集）。Redis 的出现，很洪流平赔偿了 memcached 这类 key/value 存储的不敷，在部门场所可以对关系数据库起到很好的增补作用。队列-Kafka： Kafka 是一种高吞吐量的分布式发布订阅消息体系，它可以处置惩罚消耗者规模网站中的全部动作流数据，如今已成为大数据体系在异步和分布式消息之间的最佳选择。
数据协同-Zookeeper： ZooKeeper 是一个分布式的应用步伐和谐服务，是Hadoop 和 Hbase 的告急组件。它是一个为分布式应用提供同等性服务的工具，让 Hadoop 集群内里的节点可以相互和谐。ZooKeeper 如今已经成为了Apache 的顶级项目，为分布式体系提供了高效可靠且易于利用的协同服务。
文档型存储-MongoDB：MongoDB 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为 web 应用提供可扩展的高性能数据存储办理方案。介于关系数据库和非关系数据库之间的开源产物，黑白关系数据库当中功能最丰富、最像关系数据库的产物。
海量存储-Cassandra：Cassandra 是一个肴杂型的非关系的数据库，雷同于Google 的 BigTable，其重要功能比 Dynamo（分布式的Key-Value 存储体系）更丰富。这种 NoSQL 数据库最初由 Facebook 开辟，现已被1500 多家企业构造利用，包罗苹果、欧洲原子核研究构造（CERN）、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit 及其他机构。
海量存储-HBase：HBase 是 Hadoop 的数据库，一个分布式、可扩展、大数据的存储。是为有数十亿行和数百万列的超大表筹划的，是一种分布式数据库，可以对大数据举行随机性的及时读取/写入访问。提供雷同谷歌Bigtable的存储本领，基于 Hadoop 和 Hadoop 分布式文件体系（HDFS）而建。
3.分析盘算：
盘算框架-Storm：Storm 是一个分布式、高可用的及时盘算框架，支持数据流式处置惩罚，盘算速率快。
盘算框架-Spark：Spark 是一个高速、通用大数据盘算处置惩罚引擎。拥有HadoopMapReduce 所具有的优点，但差别的是 Job 的中央输出结果可以生存在内存中，从而不再必要读写 HDFS，因此 Spark 能更好地实用于数据发掘与呆板学习等必要迭代的 MapReduce 的算法。它可以与 Hadoop 和 Apache Mesos 一起利用，也可以独立利用。
数据发掘-Mahout：Mahout 目的是“为快速创建可扩展、高性能的呆板学习应用步伐而打造一个情况”，重要特点是为可伸缩的算法提供可扩展情况、面向Scala/Spark/H2O/Flink 的新奇算法、Samsara（雷同R 的矢量数学情况），它还包罗了用于在 MapReduce 上举行数据发掘的浩繁算法。
数据发掘-R： R 语言是一种用于数据分析、统计、呆板学习和数据可视化的开源语言。R 语言的一个重要上风是它有一个巨大的生态体系，包罗许多用于数据发掘的库和包。
数据发掘-Weka：Weka 的全名是怀卡托智能分析情况（Waikato Environmentfor Knowledge Analysis），是一款免费的，非贸易化（与之对应的是SPSS公司贸易数据发掘产物–Clementine）的，基于 JAVA 情况下开源的呆板学习（machine learning）以及数据发掘（data mining）软件。
呆板学习-Caffe：Caffe 是最老的框架之一。Caffe 是加州大学伯克利分校视觉与学习中央（Berkeley Vision and Learning Center，BVLC)贡献出来的一套深度学习工具，利用 C/C++开辟，上层提供 Python API。Caffe 同样也在走分布式蹊径，比方著名的 Caffe On Spark 项目。
呆板学习-TensorFlow：Tensorflow 是 Google 开源的一款深度学习工具，利用 C++语言开辟，上层提供 Python API。在开源之后，在工业界和学术界引起了极大的震惊，由于 TensorFlow 曾经是著名的 Google Brain 筹划中的一部门，Google Brain 项目的乐成曾经吸引了浩繁科学家和研究职员往深度学习这个“坑”内里跳，这也是当今深度学习云云繁荣的告急缘故因由。
呆板学习-MLlib：MLlib 是 Spark 的呆板学习库，旨在简化呆板学习的工程实践工作，并方便扩展到更大规模的数据集。它提供了一组丰富的呆板学习算法和工具，用于数据预处置惩罚、特性提取、模子训练和评估等任务。MLlib 是基于Spark的分布式盘算引擎构建的，可以处置惩罚大规模数据集，并利用分布式盘算的上风来加快呆板学习任务的实行。MLlib 提供了丰富的算法实现，包罗线性回归、逻辑回归、决议树、随机丛林、梯度提升树、K-means 聚类等，以及用于特性提取、转换和选择的工具。别的，MLlib 还支持利用管道（Pipeline）API 将多个呆板学习步调组合成一个同一的流程，从而简化模子训练和调优的过程。
4.查询应用：
****加粗样式查询分析-Kylin：Kylin 是一个开源的分布式分析引擎，提供了基于Hadoop的超大型数据集（TB/PB 级别）的 SQL 接口以及多维度的OLAP 分布式联机分析。最初由 eBay 开辟并贡献至开源社区。它能在亚秒内查询巨大的Hive 表。
查询分析-Zeppelin：Zeppelin是一个提供交互数据分析且基于Web的条记本。方便你做出可数据驱动的、可交互且可协作的精致文档，而且支持多种语言，包罗 Scala(利用 Apache Spark)、Python(Apache Spark)、SparkSQL、Hive、Markdown、Shell 等。
信息检索-Solr：Solr 基于 Apache Lucene，是一种高度可靠、高度扩展的企业100搜刮平台。着名用户包罗 eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和 Travelocity。
信息检索-Elastic Search：ES 是一个基于 Lucene 的搜刮服务器。它提供了一个分布式、支持多用户的全文搜刮引擎，基于 RESTful web 接口。Elasticsearch是用 Java 开辟的，并作为 Apache 答应条款下的开放源码发布，是当前盛行的企业级搜刮引擎。筹划用于云盘算中，可以大概到达及时搜刮、稳固、可靠、快速、安装利用方便。
对外接口-Thrift：Thrift 在 2007 年 facebook 提交Apache 基金会将Thrift作为一个开源项目，对于其时的 facebook 来说创造 thrift 是为了办理facebook体系中各体系间大数据量的传输通讯以及体系之间语言情况差别必要跨平台的特性。
对外接口-ProtoBuf：Protocol Buffers 是一种与语言无关、平台无关、可扩展的序列化布局数据的方法，它可用于（数据）通讯协议、数据存储等。ProtocolBuffers 是一种机动，高效，主动化机制的布局数据序列化方法－可类比XML，但是比 XML 更小（310倍、更快（20100 倍）、更为简朴。你可以界说数据的布局，然后利用特殊天生的源代码轻松地在各种数据流中利用各种语言举行编写和读取布局数据。你乃至可以更新数据布局，而不粉碎由旧数据布局编译的已摆设步伐。
5.数据管理：
资源管理-Mesos/yarn：YARN 是一种新的 Hadoop 资源管理器，它是一个通用资源管理体系，可为上层应用提供同一的资源管理和调治，办理了旧MapReduce 框架的性能瓶颈。它的根本头脑是把资源管理和作业调治/监控的功能分割到单独的守卫进程。Mesos 是由加州大学伯克利分校的 AMPLab 起首开辟的一款开源聚集管理软件，支持 Hadoop、ElasticSearch、Spark、Storm 和Kafka 等架构。对数据中央而言它就像一个单一的资源池，从物理或假造呆板中抽离了CPU，内存，存储以及别的盘算资源， 很轻易创建和有用运行具备容错性和弹性的分布式体系。
微服务管理-DCOS：DC/OS（Data Center Operating System）是以ApacheMesos 为分布式体系内核的分布式数据中央操纵体系。DC/OS 可以使企业像利用一台主机一样利用分布式数据中央的多个集群资源，举行弹性地扩容与缩容。DC/OS 实现资源主动化管理、进程调治、方便内部进程通讯、简化分布式服务的安装和管理。DC/OS 提供网页界面和 CLI，方便对集群和此中的服务举行远程地管理和监控。
元数据管理-WhereHows：WhereHows:WhereHows 是LinkedIn 公司为了方便员工发现公司内部数据、跟踪数据集移动、查察各种内部工具和服务的动向，而开辟的用于大数据发现和管理的工具。它从差别的源体系中收罗元数据，并举行尺度化和建模，从而作为元数据堆栈完成血缘分析。
数据安全管理-Sentry：Apache Sentry 是一个安全管理框架，可以为Hadoop生态体系提供同一的权限管理和访问控制功能。Sentry 可以为HBase、HDFS、Hive、MapReduce 等组件提供访问控制，实现数据安全和合规。## 6.ETL：
KETTLE： Kettle 这是一个 ETL 工具集，它答应你管理来自差别数据库的数据，通过提供一个图形化的用户情况来形貌你想做什么，而不是你想怎么做。作为Pentaho 的一个告急构成部门，如今在国内项目应用上渐渐增多。
SQOOP：Sqoop 是一款开源的工具，重要用于在 Hadoop（Hive）与传统的数据库（MySQL、Postgresql…）间举行数据的通报，可以将一个关系型数据库（比方 ： MySQL ，Oracle ，Postgres 等）中的数据导进到Hadoop的HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。
7.运维监控：
工作流监控-Oozie：Oozie 是一个开源的工作流和协作服务引擎，基于ApacheHadoop 的数据处置惩罚任务。Oozie 是可扩展的、可伸缩的面向数据的服务，运行在 Hadoop 平台上。Oozie 包罗一个离线的 Hadoop 处置惩罚的工作流办理方案，以及一个查询处置惩罚 API。
容器管理-Docker Swarm：Docker Swarm 是 Docker 官方提供的一款集群管理工具，和 Kubernetes 比力雷同，但是更加轻，具有的功能也较Kubernetes更少一些。其本质是把多少台 Docker 主机抽象为一个团体。
连续集成-Gitlab：GitLab 是一个用于堆栈管理体系的开源项目，利用Git 作为代码管理工具，并在此根本上搭建起来的 Web 服务。安装方法是参考GitLab在 GitHub 上的 Wiki 页面。Gitlab 是被广泛利用的基于git 的开源代码管理平台，基于 Ruby on Rails 构建，重要针对软件开辟过程中产生的代码和文档举行管理，Gitlab 重要针对 group 和 project 两个维度举行代码和文档管理，此中group 是群组，project 是工程项目，一个 group 可以管理多个project，可以明白为一个群组中有多项软件开辟任务，而一个project中大概包罗多个branch，意为每个项目中有多个分支，分支间相互独立，差别分支可以举行归并。
日志网络-Flume：Flume 是 Cloudera 提供的一个高可用的、高可靠的、分布102式的海量日志收罗、聚合和传输的体系。Flume 支持在日志体系中定制各类数据发送方，用于网络数据。同时，Flume 支持对数据举行简朴处置惩罚，并写入各种数据担当方（可定制）。
集群监控-Hue：Hue 是一个开源的 Apache Hadoop UI 体系，最早是由Cloudera Desktop 演化而来，由 Cloudera 贡献给开源社区，它是基于PythonWeb 框架 Django 实现的。通过利用 Hue 我们可以在欣赏器端的Web控制台上与 Hadoop 集群举行交互来分析处置惩罚数据，比方操纵HDFS 上的数据，运行MapReduce Job 等等。- Q：Mahout 干嘛用的？
- A：（主要关注）推荐引擎。
- Q：目前音频视频人工智能已有解决方案能够解决判断多少人进出入口、实现照片以图搜图，现在还需解决？
- A：NLP 自然语言处理，有长足发展，但还不够成熟，未解决问题。
- Q 哪些场景可能会有大数据杀熟的法律风险？购买机票、外卖、打车、购物等。
战略交付结果应思量管理以下要素：
1）信息生命周期。2）元数据。3）数据质量。4）数据收罗。5）数据访问和安全性。6）数据管理。7）数据隐私。8）学习和接纳。9）运营。
14.5.2 停当评估/风险评估
评估与关键乐成因素干系的构造准备情况，详细包罗：
1）业务干系性。大数据/数据科学筹划及其相应的用例与公司业务的同等性怎样？要取得乐成，他们必须强有力地实行业务功能或流程。
2）业务准备情况。业务互助搭档是否为长期递增的交付做好了准备？他们是否答应创建杰出中央以在未来版本中支持产物？目的团体内的均匀知识或技能差距有多大，是否可以在单个增量内超过？
3）经济可行性。发起的办理方案是否守旧地思量了有形收益和无形收益？全部权本钱的评估是思量购买或租赁物品，照旧从零开始构建？
4）原型。是否可以在有限的时间内，为一小部门终极用户团体提供发起的原型方案，以证实发起的代价？大规模的实行会造成巨大的影响，试验场可以低沉这些交付风险。
5）大概最具寻衅性的决议将围绕数据采购、平台开辟和资源设置举行。
6）数字资料存储有许多泉源，并非全部泉源都必要内部拥有和运营。有些可以买，其他的可以租赁。
7）市场上有多种工具和技能，满意一样平常需求将是一个寻衅。
8）及时掩护具有专业技能的员工，并在实行过程中留住顶尖人才，大概必要思量更换方案，包罗专业服务、云采购或互助。
9）作育内部人才的时间大概会高出交付窗口的时间。
14.6 大数据和数据科学管理
与其他数据一样，大数据同样必要管理。寻源、泉源分析、提取、丰富和发布流程必要业务和技能控制，办理以下标题：
1）寻源。 泉源有哪些，什么时间接入源，什么是特定研究的最佳数据泉源。
2）共享。 构造内部和外部要签订的数据共享协媾和条约、条款和条件。
3）元数据。 数据在源端意味着什么，怎样表明输出端的结果。
4）丰富。 是否丰富数据，怎样丰富数据，以及丰富数据的优点。
5）访问。 发布什么，向谁发布，怎样以及何时发布。企业数据视图应该推动数据处置惩罚决议。
14.6.2 数据科学和可视化尺度
最佳实践是创建一个界说和发布可视化尺度和指南的社区，并在指定的交付方法中查察工件，这对于面向客户和羁系的内容尤为告急。尺度大概包罗：
1）分析范例、用户团体、主题域的工具尺度。
2）新数据的哀求。
3）数据集流程尺度。
4）接纳中立的、专业的陈诉过程，克制产生有私见的结果，并确保全部要素都以公平同等的方式完成， 包罗：
①数据包罗和扫除。
②模子中的假设。
③结果统计有用性。
④结果表明的有用性。
⑤接纳恰当的方法。
14.6.6 度量指标
1.技能利用指标
许多大数据工具都提供了富有洞察力的管理员陈诉功能，可直接与用户社区查询的内容举行交互。利用技能分析本领查找数据热门（最常访问的数据），以便管理数据分发和保持性能。增长率也有助于产能规划。
2.加载和扫描指标
加载和扫描指标界说了提取率以及与用户社区的交互。在收罗新数据源时，预期的加载指标会随着源被完全提取而到达峰值，然后趋于安稳。及时馈送（Feeds）可以通过服务查询提供，但也可以按筹划的抽取处置惩罚；对于这些馈送，预计数据加载会不停增长。应用层大概会从实行日志中提供最佳数据利用指标。通过可用的元数据监控消耗或访问，表现最频仍发生的查询实行筹划，以引导利用情况分析。扫描指标应与查询处置惩罚相联合，这种处置惩罚大概发生在分析处置惩罚自身之外。管理工具应该可以大概提供这种级别的陈诉以及团体的服务运行情况。
3.学习和故事场景
为了表现代价，大数据/数据科学项目必须权衡有形结果，以证实开辟办理方案和管理流程变更的本钱是公道的。指标可以包罗效益的量化、本钱防备或克制，以及启动和实现效益之间的时间长度。
常用的丈量方法包罗：
1）已开辟模子的数目和正确性。
2）已辨认的时机中实现的收入。
3）克制已辨认的威胁所低沉的本钱。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金 |
发表于 2026-2-9 19:46:24