ICT技术发展趋势，AI、大数据和云计算的概述及存储应用技术【2】
[*] SDN：Software Defined Network，即软件界说网络。
[*] NFV，Network Function Virtualization，即网络功能假造化。
[*] Cloud RAN（也被称为C-RAN和Centralized-RAN）是用于将来移动网络根本结构的一种新型蜂窝网络架构。
https://img-blog.csdnimg.cn/20210121181045681.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 根本设施融合：通过云操作体系将数据中心内多厂家异构的计算、存储、网络装备资源进行同一整合与主动化调理管理
[*] 价值驱动力：更低的TCO，更高效的业务部署 ，更灵敏的客户需求响应本领。
https://img-blog.csdnimg.cn/2021012118105558.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 建立：
[*] 原有网络对接和演进
[*] 安全隔离和安全防护
[*] 构建差异化资源池，满足差异业务需求
[*] 管理：
[*] 原有资源池的纳管
[*] 假造化、物理资源的同一管理
[*] 制定资源池管理规范，资源使用规范化
[*] 业务迁移：
[*] 老旧物理机业务和数据平滑迁移
[*] 老旧假造机业务和数据平滑迁移
云计算概述
https://img-blog.csdnimg.cn/2021012118154180.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 云计算（cloud computing）是基于互联网的相干服务的增长、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是假造化的资源。云是网络、互联网的一种比喻说法。过去在图中通常用云来表示电信网，厥后也用来表示互联网和底层根本设施的抽象。狭义云计算指IT根本设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相干，也但是其他服务。它意味着计算本领也可作为一种商品通过互联网进行流通。
[*] 云计算的资源是动态易扩展而且假造化的，通过互联网提供。终端用户不必要了解“云”中根本设施的细节，不必具有相应的专业知识，也无需直接进行控制，只关注本身真正必要什么样的资源以及如何通过网络来得到相应的服务。
[*] 云计算的关键特征：
[*] 按需自助服务（On-demand Self-service）：消费者可以按需部署处理本领，如服务器和网络存储，而不必要与每个服务供应商进行人工交互。
[*] 无处不在的网络接入（Ubiquitous network access）：通过互联网获取各种本领,并可以通过标准方式访问，以通过各种客户端接入使用（比方移动电话，笔记本电脑，PDA等）。
[*] 与位置无关的资源池（Location independent resource pooling）：供应商的计算资源被会集，以便通过多用户租用模式给客户提供服务，同时差异的物理和假造资源可根据客户需求动态分配。客户一般无法控制或知道资源简直切位置。这些资源包罗存储、处理器、内存、网络带宽和假造机等。
[*] 快速弹性（Rapid Elastic）：可以迅速、弹性地提供本领，能快速扩展，也可以快速释放实现快速缩小。对客户来说，可以租用的资源看起来好像是无穷的，而且可在任何时间购买任何数量的资源。
[*] 按使用付费（Pay per user）：本领的收费是基于计量的一次一付，或基于广告的收费模式，以促进资源的优化利用。比如计量存储，带宽和计算资源的斲丧，按月根据用户实际使用收费。在一个构造内的云可以在部分之间计算费用。
[*] 云计算部署模式：私有云计算、公有云计算、混合云计算
[*] 私有云计算：一般由一个构造来使用，同时由这个构造来运营。华为数据中心属于这种模式，华为本身是运营者，也是它的使用者，也就是说使用者和运营者是一体，这就是私有云。
[*] 公有云计算：就如共用的交换机一样，电信运营商去运营这个交换机，但是它的用户可能是平凡的大众，这就是公有云。
[*] 混合云计算：它强调根本设施是由二种或更多的云来构成的，但对外呈现的是一个完备的实体。企业正常运营时，把紧张数据生存在本身的私有云里面（比如：财政数据），把不紧张的信息放到公有云里，两种云组合形成一个整体，就是混合云。比如说电子商务网站，平常业务量比力稳定，本身购买服务器搭建私有云运营，但到了圣诞节促销的时候，业务量非常大，就从运营商的公有云租用服务器，来分担节日的高负荷；但是可以同一的调理这些资源，这样就构成了一个混合云。
https://img-blog.csdnimg.cn/20210121181631166.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] “On-Demand”商业模式，即按需服务模式。用户所必要的应用软件和数据都位于云中，用户使用客户端按照本身的需求访问所要的应用。云服务提供商同样按照客户的需求提供相应的服务，和收到相应费用。
[*] 从商业视角来看，云服务可以分别为以下几种范例：
[*] IaaS：根本架构即服务（Infrastructure as a Service）。IaaS提供ICT根本架构资源并确保其正常运行。
[*] PaaS：平台即服务（Platform as a Service）。PaaS为软件开发者提供了开发平台。在传统的开发环境中，开发者在编写应用程序的时候，同时必要关注所采取的操作体系和硬件装备。而使用PaaS，开发者可以专注于编写最好的应用程序，根本平台的维护由PaaS供应商负责。
[*] SaaS：软件即服务（Software as a Service）。这是云计算最早出现的服务模式。用户只必要使用简易的装备去毗连SaaS供应商提供的操作体系和应用程序。所有繁杂的体系维护工作，比方软件和授权的升级，均由SaaS供应商来负责。
https://img-blog.csdnimg.cn/20210121181647631.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
https://img-blog.csdnimg.cn/20210121181654442.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 通过对多项核心技术进行归类汇总，可归结为三个方面：整体的计算架构、承载的硬件装备和软件体系。
[*] 整体的计算架构，必要涵盖高性能、高可靠和可扩展。
[*] 云计算硬件包罗：高可靠和高性能的计算服务器提供计算资源；低成本、数据安全的存储装备提供数据存储空间；支持大二层网络的高密度交换机进行数据的通讯和交流。
[*] 云计算软件包罗：用于大数据的并行分析计算技术；整合存储资源提供动态可伸缩资源池的分布式存储技术；用于数据管理的分布式文件管理；计算、存储等资源池化的假造化技术；简化运维职员工作，方便高效智能运维的体系管理技术。
https://img-blog.csdnimg.cn/20210121181702569.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 云计算的关键特征：
[*] 按需自助服务（On-demand Self-service）
[*] 无处不在的网络接入（Ubiquitous network access）
[*] 与位置无关的资源池（Location independent resource pooling）
[*] 快速弹性（Rapid Elastic）
[*] 按使用付费（Pay per use）
https://img-blog.csdnimg.cn/20210121181717234.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] “云平台”的根本原理是一个分布式计算体系，通过使计算分布在大量的计算机上，提供On-Demand的超级运算本领和存储本领；终端也是云的一部分。
[*] “云平台”的核心部分依然是数据中心（心脏），但技术上和传统的数据中心有本质的差异，从强调单机的性能和集群向“分布式、智能化、超大容量”等方向发展。
[*] “云” 只是一个形象的说法，既是对网状分布计算机的比喻，也指数据的计算过程被隐匿起来。
https://img-blog.csdnimg.cn/2021012118172417.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 假造化的界说：对物理实体资源进行抽象与隔离的管理技术，以到达最大程度利用资源的目标。
[*] 云计算的部署范例：
[*] 私有云：企业拥有独立的云根本设施
[*] 公有云：云服务运营商拥有云服务设施，为公众或企业提供云服务
[*] 混合云：由私有云和公有云构成，通过专用技术互联，实现数据和应用共享
https://img-blog.csdnimg.cn/20210121181731221.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 存储融合:
[*] 开放：支持多厂家假造化和物理机数据库部署
[*] 高性能：支持4096个节点，性能线性提升，支持万万级IOPS，支持高性能数据库和大容量云资源池
[*] 高可靠：多副本，支持7个9可靠性，机柜级可靠性
[*] DHT（Distributed Hash Table）：即分布式哈希表，它通常是为了拥有极大节点数量的体系，而且在体系的节点常常会加入或退出节点而设计的。
https://img-blog.csdnimg.cn/20210121181744569.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] OceanStor DJ是华为公司推出的面向云数据中心发展的业务驱动存储控制软件，同一管理数据中心存储资源，提供业务驱动、主动化的存储服务，提升云化环境中存储资源的利用率和存储服务的供给效率。
[*] OceanStor DJ核心是基于OpenStack相干服务的增强，实现存储资源同一管理，按需分配和数据掩护服务。OceanStor DJ将应用与底层存储解耦，打破传统装备和应用厂商的把持地位。在云化场景下，将存储和数据掩护等本领以XaaS的方式提供，顺应存储价值链向软件和服务转移。
[*] 从控制面和数据面来看，OceanStor DJ的价值如下：
[*] OceanStor DJ在控制面上将存储的功能特性从物理阵列中抽象出来，把具备相同或近似本领的多个物理存储池在逻辑上构成资源池。用户在哀求存储资源的时候，基于资源池的SLA（Service Level Agreement）本领而无需关心后端由哪台阵列为其应用提供存储服务。
[*] 从数据面上来看，OceanStor DJ具备集成所有范例的数据服务的本领，以及支持应用程序访问块存储、文件存储的本领。同时由于它始终具有并继续使用底层存储阵列独特的功能，OceanStor DJ的存储服务保留了存储阵列的增值特性，比方远程复制等，不会增长用户的购置成本。
https://img-blog.csdnimg.cn/20210121181801525.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
NFV，即网络功能假造化，Network Function Virtualization。通过使用x86等通用性硬件以及假造化技术，来承载很多功能的软件处理。从而降低网络昂贵的装备成本。可以通过软硬件解耦及功能抽象，使网络装备功能不再依赖于专用硬件，资源可以充分机动共享，实现新业务的快速开发和部署，并基于实际业务需求进行主动部署、弹性伸缩、故障隔离和自愈等。
AI、大数据存储应用技术
===========================================================================
https://img-blog.csdnimg.cn/20210121181810558.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 大数据趋势：跨越裂谷，走向成熟，进入落地与实施阶段。
[*] 50%的企业已经投资和使用大数据，33%的企业正在规划如何利用大数据，我们看到大数据范畴的持续投资，大数据即将步入成熟发展阶段。
[*] 云计算和大数据已不再是“新兴”技术，而是成为了“主流”技术了。
https://img-blog.csdnimg.cn/20210121181821927.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 全球创建和共享的数字信息5年增长9倍，2013年到达3.8ZB。
[*] CERN： LHC对撞产生1PB/s的数据。
[*] SKA：2015年存储必要1EB。
[*] 云化的IDC建立催生了数据的大会集。
[*] Facebook：每天产生50TB的日志数据，衍生分析数据超过100TB。
[*] “呆板制造”和“人工制造”共同贡献了海量数据，会集式的数据中心建立加快数据
会集
大数据概述
https://img-blog.csdnimg.cn/2021012118183698.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 维基百科：巨量资料(big data)，或称大数据，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内到达撷取、管理、处理并整理成为帮助企业谋划决议更积极目标的资讯。
[*] Gartner：“大数据”是必要新处理模式才能具有更强的决议力、洞察发现力和流程优化本领的海量、高增长率和多样化的信息资产。
[*] 大数据的本质：就是物理天下在数字天下的映像，比如：每年节假日的人流迁移方向，都会在数字天下中记录。
[*] 现实天下的现象，也可以通过大数据分析发现其背后的逻辑关系。比如：当暴雨到临时，可以看到海鸟低飞。通过分析发现，海鸟低飞是由于很多鱼儿浮游到海水外貌，海鸟可以方便的捕食；为什么鱼儿要游到海面呢？原来是暴雨到临时，水里气压增大，鱼儿浮游到海面可以更方便的呼吸。这些，都可以通过大数据分析得出表象背后的接洽。
[*] 大数据并不但光是指新数据，在这个社会当中，最有价值的数据仍然是在企业内部本身几十年来已经累计下来的数据，也就是说在传统的数据管理核心体系当中产生出的，是仍然具有价值的，不一定是最大的数据，也不一定是最新潮的数据，但它一定是具有最大商业价值的数据。
https://img-blog.csdnimg.cn/20210121181845217.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 从大数据在容量、数据多样性、处理速度和价值挖掘等四个方面所面对的挑战看，大数据技术涵盖了从数据的海量存储、处理到应用的多方面的技术，包罗异构数据源融合、海量分布式文件体系、NoSQL数据库、并行计算框架、实时流数据处理以及数据挖掘、商业智能和数据可视化等。
[*] 一个典型的大数据处理体系可分为五层：数据采集、存储、处理、分析、应用及展现等，其技术参考架构如图所示。
[*] 大数据的数据范例及模型：
[*] 非结构化数据，是指不方便用数据库二维逻辑表来表现的数据，包罗所有格式的
办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
[*]半结构化数据，就是介于完全结构化数据（如关系型数据库、面向对象数据库中
的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档
就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明
显的区分。
[*]结构化数据，是指可以存储在数据库里，可以用二维表结构来逻辑表达实现的数
据。
https://img-blog.csdnimg.cn/20210121181913480.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 针对大数据处理的流程与一般数据处理的流程根本一致，包罗数据采集、数据存储、数据管理、数据分析四个环节。
[*] 数据采集是利用多种途径、方法和工具来获取所必要的数据，为后续数据分析提供依据。在大数据的背景下，必要采集什么数据？通过什么途径采集数据？运用什么方法采集数据？利用什么工具实现更高效的数据采集？等都是我们必须关注的问题。
[*] 数据存储是对采集到的数据进行传输和存储。随着数据的增长呈指数级增长，传统的数据存储方式已经很难满足大数据存储的需求，因此必要采取新技术来实现大数据的存储需求。
[*] 数据管理是数据存储的延伸。在数据存储的根本上对数据进行深加工，进一步实现数据细分，为后续数据分析提供直接可用的元数据，提升数据分析的效率。
[*] 数据分析是利用数据分析的方法、模型、工具对数据进行分析，最终得出分析结果，以此满足大多数常见的分析需求。基于前面分析和查询的数据进行更深入的数据挖掘，可以满足更高级别的数据分析需求。
https://img-blog.csdnimg.cn/20210121181946230.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 大数据时代：
[*] 计算：向集群化发展
[*] 存储：块装备和文件装备都向横向扩展 假造化 以及提供丰富的软件对外接口发展，但文件存储横向扩展本领要更高，硬件装备通常会扩展到百节点以上，文件体系由本地文件体系向集群文件体系和分布式文件体系发展
[*] 网络：无论是网间还是网内都开始向更高速，协议开销更低，更有效的方向发展
[*] 数据库：由关系型数据库向分布式数据库以及非关系型数据发展（内存性数据库）
[*] 在这些技术变革中出现了新的时机点：
[*] 数据库革命：关系型数据库-非关系型数据库-混合型数据库
[*] 文件体系的变革：本地文件体系-集群文件体系-分布式文件体系
[*] 传统专业存储面对的挑战：
[*] 传统SAN，双控到多控的架构，难以存储和管理PB级数据
[*] 传统NAS， 面对PB级数据，复杂的卷管理及体系容量分配不平衡，导致资源浪费
[*] 海量存储体系的特点：
[*] 单一文件体系，管理更简朴
[*] 精简设置，配额管理，容量分配更合理，磁盘利用率更高
[*] 大规模横向扩展本领
https://img-blog.csdnimg.cn/20210121182030473.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[*] 华为在大数据产业中偏重技术提供者身份，提供大数据根本设施硬件、云平台及大数据分析平台。
[*] 大数据与云计算深度融合的寄义解析:
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]