ICT技术发展趋势，AI、大数据和云盘算的概述及存储应用技术【2】(3) ...

• IaaS：基础架构即服务（Infrastructure as a Service）。IaaS提供ICT基础架构资源并确保其正常运行。
  
• PaaS：平台即服务（Platform as a Service）。PaaS为软件开发者提供了开发平台。在传统的开发情况中，开发者在编写应用程序的时候，同时需要关注所接纳的操作系统和硬件装备。而使用PaaS，开发者可以专注于编写最好的应用程序，基础平台的维护由PaaS供应商负责。
  
• SaaS：软件即服务（Software as a Service）。这是云盘算最早出现的服务模式。用户只需要使用简易的装备去毗连SaaS供应商提供的操作系统和应用程序。所有繁杂的系统维护工作，比方软件和授权的升级，均由SaaS供应商来负责。
  

• 通过对多项焦点技术进行归类汇总，可归结为三个方面：整体的盘算架构、承载的硬件装备和软件系统。
  
• 整体的盘算架构，需要涵盖高性能、高可靠和可扩展。
  
• 云盘算硬件包括：高可靠和高性能的盘算服务器提供盘算资源；低本钱、数据安全的存储装备提供数据存储空间；支持大二层网络的高密度交换机进行数据的通信和交流。
  
• 云盘算软件包括：用于大数据的并行分析盘算技术；整合存储资源提供动态可伸缩资源池的分布式存储技术；用于数据管理的分布式文件管理；盘算、存储等资源池化的捏造化技术；简化运维人员工作，方便高效智能运维的系统管理技术。
  

• 云盘算的关键特性：
  
• 按需自助服务（On-demand Self-service）
  
• 无处不在的网络接入（Ubiquitous network access）
  
• 与位置无关的资源池（Location independent resource pooling）
  
• 快速弹性（Rapid Elastic）
  
• 按使用付费（Pay per use）
  

• “云平台”的基本原理是一个分布式盘算系统，通过使盘算分布在大量的盘算机上，提供On-Demand的超等运算能力和存储能力；终端也是云的一部分。
  
• “云平台”的焦点部分依然是数据中心（心脏），但技术上和传统的数据中心有本质的不同，从夸大单机的性能和集群向“分布式、智能化、超大容量”等方向发展。
  
• “云” 只是一个形象的说法，既是对网状分布盘算机的比喻，也指数据的盘算过程被隐匿起来。
  

• 捏造化的定义：对物理实体资源进行抽象与隔离的管理技术，以到达最大程度利用资源的目标。
  
• 云盘算的部署类型：
  
• 私有云：企业拥有独立的云基础设施
  
• 公有云：云服务运营商拥有云服务设施，为公众或企业提供云服务
  
• 混淆云：由私有云和公有云组成，通过专用技术互联，实现数据和应用共享
  

• 存储融合:
  
• 开放：支持多厂家捏造化和物理机数据库部署
  
• 高性能：支持4096个节点，性能线性提升，支持万万级IOPS，支持高性能数据库和大容量云资源池
  
• 高可靠：多副本，支持7个9可靠性，机柜级可靠性
  
• DHT（Distributed Hash Table）：即分布式哈希表，它通常是为了拥有极大节点数量的系统，而且在系统的节点常常会加入或退出节点而计划的。
  

• OceanStor DJ是华为公司推出的面向云数据中心发展的业务驱动存储控制软件，统一管理数据中心存储资源，提供业务驱动、自动化的存储服务，提升云化情况中存储资源的利用率和存储服务的供给效率。
  
• OceanStor DJ焦点是基于OpenStack相关服务的增强，实现存储资源统一管理，按需分配和数据掩护服务。OceanStor DJ将应用与底层存储解耦，打破传统装备和应用厂商的把持职位。在云化场景下，将存储和数据掩护等能力以XaaS的方式提供，顺应存储价值链向软件和服务转移。
  
• 从控制面和数据面来看，OceanStor DJ的价值如下：
  
• OceanStor DJ在控制面大将存储的功能特性从物理阵列中抽象出来，把具备相同或近似能力的多个物理存储池在逻辑上组成资源池。用户在请求存储资源的时候，基于资源池的SLA（Service Level Agreement）能力而无需关心后端由哪台阵列为其应用提供存储服务。
  
• 从数据面上来看，OceanStor DJ具备集成所有类型的数据服务的能力，以及支持应用程序访问块存储、文件存储的能力。同时由于它始终具有并继承使用底层存储阵列独特的功能，OceanStor DJ的存储服务生存了存储阵列的增值特性，比方远程复制等，不会增加用户的购置本钱。
  

NFV，即网络功能捏造化，Network Function Virtualization。通过使用x86等通用性硬件以及捏造化技术，来承载很多功能的软件处置惩罚。从而降低网络昂贵的装备本钱。可以通过软硬件解耦及功能抽象，使网络装备功能不再依赖于专用硬件，资源可以充实灵活共享，实现新业务的快速开发和部署，并基于实际业务需求进行自动部署、弹性伸缩、故障隔离和自愈等。
AI、大数据存储应用技术
===========================================================================

• 大数据趋势：跨越裂谷，走向成熟，进入落地与实施阶段。
  
• 50%的企业已经投资和使用大数据，33%的企业正在规划如何利用大数据，我们看到大数据范畴的连续投资，大数据即将步入成熟发展阶段。
  
• 云盘算和大数据已不再是“新兴”技术，而是成为了“主流”技术了。
  

• 全球创建和共享的数字信息5年增加9倍，2013年到达3.8ZB。
  
• CERN： LHC对撞产生1PB/s的数据。
  
• SKA：2015年存储需要1EB。
  
• 云化的IDC建立催生了数据的大集中。
  
• Facebook：每天产生50TB的日志数据，衍生分析数据凌驾100TB。
  
• “呆板制造”和“人工制造”共同贡献了海量数据，集中式的数据中心建立加快数据
  

集中
大数据概述

---

• 维基百科：巨量资料(big data)，或称大数据，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在公道时间内到达撷取、管理、处置惩罚并整理成为资助企业经营决议更积极目标的资讯。
  
• Gartner：“大数据”是需要新处置惩罚模式才气具有更强的决议力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
  
• 大数据的本质：就是物理天下在数字天下的映像，比如：每年节假日的人流迁移方向，都会在数字天下中记录。
  
• 现实天下的征象，也可以通过大数据分析发现其背后的逻辑关系。比如：当暴雨到暂时，可以看到海鸟低飞。通过分析发现，海鸟低飞是由于很多鱼儿浮游到海水表面，海鸟可以方便的捕食；为什么鱼儿要游到海面呢？原来是暴雨到暂时，水里气压增大，鱼儿浮游到海面可以更方便的呼吸。这些，都可以通过大数据分析得出表象背后的联系。
  
• 大数据并不光光是指新数据，在这个社会当中，最有价值的数据仍旧是在企业内部本身几十年来已经累计下来的数据，也就是说在传统的数据管理焦点系统当中产生出的，是仍旧具有价值的，不一定是最大的数据，也不一定是最新潮的数据，但它一定是具有最大商业价值的数据。
  

• 从大数据在容量、数据多样性、处置惩罚速度和价值挖掘等四个方面所面临的挑战看，大数据技术涵盖了从数据的海量存储、处置惩罚到应用的多方面的技术，包括异构数据源融合、海量分布式文件系统、NoSQL数据库、并行盘算框架、及时流数据处置惩罚以及数据挖掘、商业智能和数据可视化等。
  
• 一个典型的大数据处置惩罚系统可分为五层：数据采集、存储、处置惩罚、分析、应用及展现等，其技术参考架构如图所示。
  
• 大数据的数据类型及模子：
  
• 非布局化数据，是指不方便用数据库二维逻辑表来表现的数据，包括所有格式的
  

办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

• 半布局化数据，就是介于完全布局化数据（如关系型数据库、面向对象数据库中
  

的数据）和完全无布局的数据（如声音、图像文件等）之间的数据，HTML文档
就属于半布局化数据。它一般是自描述的，数据的布局和内容混在一起，没有明
显的区分。

• 布局化数据，是指可以存储在数据库里，可以用二维表布局来逻辑表达实现的数
  

据。

• 针对大数据处置惩罚的流程与一般数据处置惩罚的流程基本一致，包括数据采集、数据存储、数据管理、数据分析四个环节。
  
• 数据采集是利用多种途径、方法和工具来获取所需要的数据，为后续数据分析提供依据。在大数据的背景下，需要采集什么数据？通过什么途径采集数据？运用什么方法采集数据？利用什么工具实现更高效的数据采集？等都是我们必须关注的题目。
  
• 数据存储是对采集到的数据进行传输和存储。随着数据的增加呈指数级增长，传统的数据存储方式已经很难满意大数据存储的需求，因此需要接纳新技术来实现大数据的存储需求。
  
• 数据管理是数据存储的延伸。在数据存储的基础上对数据进行深加工，进一步实现数据细分，为后续数据分析提供直接可用的元数据，提升数据分析的效率。
  
• 数据分析是利用数据分析的方法、模子、工具对数据进行分析，最终得出分析结果，以此满意大多数常见的分析需求。基于前面分析和查询的数据进行更深入的数据挖掘，可以满意更高级别的数据分析需求。
  

• 大数据期间：
  
• 盘算：向集群化发展
  
• 存储：块装备和文件装备都向横向扩展 捏造化 以及提供丰富的软件对外接口发展，但文件存储横向扩展能力要更高，硬件装备通常会扩展到百节点以上，文件系统由当地文件系统向集群文件系统和分布式文件系统发展
  
• 网络：无论是网间还是网内都开始向更高速，协议开销更低，更有效的方向发展
  
• 数据库：由关系型数据库向分布式数据库以及非关系型数据发展（内存性数据库）
  
• 在这些技术厘革中出现了新的时机点：
  
• 数据库革命：关系型数据库-非关系型数据库-混淆型数据库
  
• 文件系统的厘革：当地文件系统-集群文件系统-分布式文件系统
  
• 传统专业存储面临的挑战：
  
• 传统SAN，双控到多控的架构，难以存储和管理PB级数据
  
• 传统NAS， 面对PB级数据，复杂的卷管理及系统容量分配不均衡，导致资源浪费
  
• 海量存储系统的特点：
  
• 单一文件系统，管理更简单
  
• 精简设置，配额管理，容量分配更公道，磁盘利用率更高
  
• 大规模横向扩展能力
  

• 华为在大数据产业中偏重技术提供者身份，提供大数据基础设施硬件、云平台及大数据分析平台。
  
• 大数据与云盘算深度融合的含义解析:
  
• 云盘算IaaS为大数据提供存储和盘算分析服务，此层面对应大数据管理员岗位角色；
  

网上学习资料一大堆，但如果学到的知识不成体系，遇到题目时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化资料的朋侪，可以戳这里获取
一个人可以走的很快，但一群人才气走的更远！不论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、口试辅导），让我们一起学习成长！
g-2OCwm6H5-1714702759478)]
[外链图片转存中…(img-18qpDPaR-1714702759478)]
网上学习资料一大堆，但如果学到的知识不成体系，遇到题目时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化资料的朋侪，可以戳这里获取
一个人可以走的很快，但一群人才气走的更远！不论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、口试辅导），让我们一起学习成长！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。