ToB企服应用市场:ToB评测及商务社交产业平台

标题: 云盘算、雾盘算 [打印本页]

作者: 去皮卡多 时间: 2024-6-19 00:32
标题: 云盘算、雾盘算
阅读论文里涉及了云盘算、雾盘算的概念，遂学习记录。（非原创）
一、云盘算

云盘算最初的目标是对资源的管理，管理的主要是盘算资源、网络资源、存储资源三个方面。

盘算资源：如电脑CPU、内存
网络资源：如通过插网线、大概可以毗连路由器的无线网卡上网
存储资源：如电脑硬盘多大

对于一台电脑是这个样子的，对于一个数据中心也是同样的。想象你有一个非常非常大的机房，里面堆了许多的服务器，这些服务器也是有CPU、内存、硬盘的，也是通过雷同路由器的设备上网的。这时的问题就是：运营数据中心的人是怎么把这些设备统一的管理起来的呢？
1.机动性（弹性）

时间机动性：想什么时间要就什么时间要，必要的时间一点就出来了
空间机动性：想要多少就有多少。必要一台很小的电脑，可以满足；必要一个特殊大的空间比方云盘，云盘给每个人分配的空间动不动就很大很大，随时上传随时有空间，永久用不完，也是可以满足的。
虚拟化：虚拟化的技能使得差别客户的电脑看起来是隔离的。也就是我看着好像这块盘就是我的，你看着这块盘就是你的，但实际情况可能我的这个10G和你的这个10G是落在同样一个很大很大的存储上。而且如果事先物理设备都准备好，虚拟化软件虚拟出一个电脑黑白常快的，基本上几分钟就能解决。以是在任何一个云上要创建一台电脑，一点几分钟就出来了，就是这个原理。解决了机动性的问题。

2.虚拟化的半自动和云盘算的全自动

由于虚拟化软件一般创建一台虚拟的电脑，是必要人工指定这台虚拟电脑放在哪台物理机上的。这一过程可能还必要比力复杂的人工设置。以是仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特殊大，一般在十几台、几十台、最多百台这么一个规模。
以是随着集群的规模越来越大，基本都是千台起步，动辄上万台、乃至几十上百万台。如果去查一下BAT，包括网易、谷歌、亚马逊，服务器数量都大的吓人。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的设置，几乎是不可能的事情，还是必要机器去做这个事情。
人们发明了各种各样的算法来做这个事情，算法的名字叫做调理(Scheduler)。普通一点说，就是有一个调理中心，几千台机器都在一个池子里面，无论用户必要多少CPU、内存、硬盘的虚拟电脑，调理中心会自动在大池子里面找一个能够满足用户需求的地方，把虚拟电脑启动起来做好设置，用户就直接能用了。这个阶段我们称为池化大概云化。到了这个阶段，才可以称为云盘算，在这之前都只能叫虚拟化。

3.云盘算的共有与私有

云盘算大致分两种：一个是私有云，一个是公有云。

私有云：把虚拟化和云化的这套软件部署在别人的数据中心里面。使用私有云的用户往往很有钱，本身买地建机房、本身买服务器，然后让云厂商部署在本身这里。VMware厥后除了虚拟化，也推出了云盘算的产品，并且在私有云市场赚的盆满钵满。
公有云：把虚拟化和云化软件部署在云厂商本身数据中心里面的，用户不必要很大的投入，只要注册一个账号，就能在一个网页上点一下创建一台虚拟电脑。比方AWS即亚马逊的公有云；比方国内的阿里云、腾讯云、网易云等。

OpenStack已经成为开源云平台的究竟尺度。
4.laaS（Infranstracture As A Service）

每个用户云盘都分配了5T乃至更大的空间，如果有1亿人，那加起来空间多大啊。
实在背后的机制是这样的：分配你的空间，你可能只用了其中很少一点，比如说它分配给你了5个T，这么大的空间仅仅是你看到的，而不是真的就给你了，你实在只用了50个G，则真实给你的就是50个G，随着你文件的不断上传，分给你的空间会越来越多。
当大家都上传，云平台发现快满了的时间(比方用了70%)，会采购更多的服务器，扩充背后的资源，这个对用户是不透明的、看不到的。从感觉上来讲，就实现了云盘算的弹性。
到了这个阶段，云盘算基本上实现了时间机动性和空间机动性；实现了盘算、网络、存储资源的弹性。盘算、网络、存储我们常称为根本设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性。管理资源的云平台，我们称为根本设施服务，也就是我们常听到的IaaS（Infranstracture As A Service）。

实现了资源层面的弹性，另有应用层面的弹性。

1、PaaS（Platform As A Service）

本身的应用自动安装：比如电商应用是你本身开发的，除了你本身，其他人是不知道怎么安装的。像电商应用，安装时必要设置支付宝大概微信的账号，才气使别人在你的电商上买东西时，付的钱是打到你的账户里面的，除了你，谁也不知道。以是安装的过程平台帮不了忙，但能够帮你做得自动化，你必要做一些工作，将本身的设置信息融入到自动化的安装过程中方可。比如上面的例子，双十一新创建出来的90台机器是空的，如果能够提供一个工具，能够自动在这新的90台机器上将电商应用安装好，就能够实现应用层面的真正弹性。比方Puppet、Chef、Ansible、Cloud Foundary都可以干这件事情，最新的容器技能Docker能更好的干这件事情。

通用的应用不消安装：所谓通用的应用，一般指一些复杂性比力高，但大家都在用的，比方数据库。几乎全部的应用都会用数据库，但数据库软件是尺度的，固然安装和维护比力复杂，但无论谁安装都是一样。这样的应用可以变成尺度的PaaS层的应用放在云平台的界面上。当用户必要一个数据库时，一点就出来了，用户就可以直接用了。有人问，既然谁安装都一个样，那我本身来好了，不必要花钱在云平台上买。当然不是，数据库是一个非常难的东西，光Oracle这家公司，靠数据库就能赚这么多钱。买Oracle也是要花许多钱的。

2.容器 Container

虽说脚本的方式能够解决本身的应用的部署问题，然而差别的情况千差万别，一个脚本往往在一个情况上运行正确，到另一个情况就不正确了。容器能更好地解决这个问题。Container另一个意思是集装箱，实在容器的头脑就是要变成软件交付的集装箱。集装箱的特点：一是封装，二是尺度。
那么容器怎样对应用打包呢？还是要学习集装箱。起主要有个封闭的情况，将货物封装起来，让货物之间互不干扰、互相隔离，这样装货卸货才方便。好在 Ubuntu中的LXC技能早就能做到这一点。
封闭的情况主要使用了两种技能，一种是看起来是隔离的技能，称为 Namespace，也即每个 Namespace中的应用看到的是差别的 IP地址、用户空间、程号等。另一种是用起来是隔离的技能，称为 Cgroups，也即明明整台机器有许多的 CPU、内存，而一个应用只能用其中的一部分。
所谓的镜像，就是将你焊好集装箱的那一刻，将集装箱的状态保存下来，就像孙悟空说：“定”，集装箱里面就定在了那一刻，然后将这一刻的状态保存成一系列文件。这些文件的格式是尺度的，谁看到这些文件都能还原当时定住的谁人时刻。将镜像还原成运行时的过程（就是读取镜像文件，还原谁人时刻的过程）就是容器运行的过程。

大数据与云盘算

1、大数据里面的数据类型，一种叫布局化的数据，一种叫非布局化的数据，另有一种叫半布局化的数据。

布局化的数据：即有固定格式和有限长度的数据。比方填的表格就是布局化的数据，国籍：中华人民共和国，民族：汉，性别：男，这都叫布局化数据。
非布局化的数据：现在非布局化的数据越来越多，就是不定长、无固定格式的数据，比方网页，偶然候非常长，偶然候几句话就没了；比方语音，视频都黑白布局化的数据。
半布局化数据：是一些XML大概HTML的格式的，不从事技能的可能不相识，但也没有关系。

比方你天天跑步带个手环网络的也是数据，网上这么多网页也是数据，我们称为Data。数据本身没有什么用处，但数据里面包罗一个很紧张的东西，叫做信息（Information）。数据非常紊乱，经过梳理和洗濯，才气够称为信息。信息会包罗许多规律，我们必要从信息中将规律总结出来，称为知识（Knowledge），而知识改变命运。有了知识，然后利用这些知识去应用于实战，有的人会做得非常好，这个东西叫做智慧（Intelligence）。
以是数据的应用分这四个步骤：数据、信息、知识、智慧。

2、数据处理的步骤

第一个步骤叫数据的网络。起首得有数据，数据的网络有两个方式：

第一个方式是拿，专业点的说法叫抓取大概爬取。比方搜索引擎就是这么做的：它把网上的全部的信息都下载到它的数据中心，然后你一搜才气搜出来。比如你去搜索的时间，效果会是一个列表，这个列表为什么会在搜索引擎的公司里面？就是由于他把数据都拿下来了，但是你一点链接，点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻，你拿百度搜出来，你不点的时间，那一页在百度数据中心，一点出来的网页就是在新浪的数据中心了。
第二个方式是推送，有许多终端可以帮我网络数据。比如说小米手环，可以将你天天跑步的数据，心跳的数据，睡眠的数据都上传到数据中心里面。

第二个步骤是数据的传输。一般会通过队列方式进行，由于数据量实在是太大了，数据必须经过处理才会有用。可体系处理不外来，只好排好队，慢慢处理。
第三个步骤是数据的存储。现在数据就是款项，掌握了数据就相当于掌握了钱。要不然网站怎么知道你想买什么？就是由于它有你汗青的交易的数据，这个信息可不能给别人，非常宝贵，以是必要存储下来。
第四个步骤是数据的处理和分析。上面存储的数据是原始数据，原始数据多是紊乱无章的，有许多垃圾数据在里面，因而必要洗濯和过滤，得到一些高质量的数据。对于高质量的数据，就可以进行分析，从而对数据进行分类，大概发现数据之间的相互关系，得到知识。
第五个步骤是对于数据的检索和挖掘。检索就是搜索，所谓外事不决问Google，内事不决问百度。表里两大搜索引擎都是将分析后的数据放入搜索引擎，因此人们想寻找信息的时间，一搜就有了。另外就是挖掘，仅仅搜索出来已经不能满足人们的要求了，还必要从信息中挖掘出相互的关系。
以是说什么叫做大数据？说白了就是一台机器干不完，大家一起干。可是随着数据量越来越大，许多不大的公司都必要处理相当多的数据，这些小公司没有这么多机器可怎么办呢？说到这里，大家想起云盘算了吧。当想要干这些活时，必要许多的机器一块做，真的是想什么时间要就什么时间要，想要多少就要多少。

3.大数据必要云盘算，云盘算必要大数据

比方大数据分析公司的财务情况，可能一周分析一次，如果要把这一百台机器大概一千台机器都在那放着，一周用一次非常浪费。那能不能必要盘算的时间，把这一千台机器拿出来；不算的时间，让这一千台机器去干别的事情？
谁能做这个事儿呢？只有云盘算，可以为大数据的运算提供资源层的机动性。而云盘算也会部署大数据放到它的PaaS平台上，作为一个非常非常紧张的通用应用。由于大数据平台能够使得多台机器一起干一个事儿，这个东西不是一般人能开发出来的，也不是一般人玩得转的。
以是说就像数据库一样，实在还是必要有一帮专业的人来玩这个东西。现在公有云上基本上都会有大数据的解决方案了，一个小公司必要大数据平台的时间，不必要采购一千台机器，只要到公有云上一点，这一千台机器都出来了，并且上面已经部署好了的大数据平台，只要把数据放进去算就可以了。
云盘算必要大数据，大数据必要云盘算，二者就这样结合了。

人工智能与云盘算

人工智能可以做的事情非常多，比方可以辨别垃圾邮件、辨别黄色暴力笔墨和图片等。这也是履历了三个阶段的：

第一个阶段依赖于关键词黑白名单和过滤技能，包罗哪些词就是黄色大概暴力的笔墨。随着这个网络语言越来越多，词也不断地厘革，不断地更新这个词库就有点顾不外来。
第二个阶段时，基于一些新的算法，比如说贝叶斯过滤等，你不消管贝叶斯算法是什么，但是这个名字你应该听过，这个一个基于概率的算法。
第三个阶段就是基于大数据和人工智能，进行更加精准的用户画像和文本理解和图像理解。

由于人工智能算法多是依赖于大量的数据的，这些数据往往必要面向某个特定的领域(比方电商，邮箱)进行长期的积聚，如果没有数据，就算有人工智能算法也白搭，以是人工智能步伐很少像前面的IaaS和PaaS一样，将人工智能步伐给某个客户安装一套，让客户去用。由于给某个客户单独安装一套，客户没有相关的数据做练习，效果往往是很差的。
但云盘算厂商往往是积聚了大量数据的，于是就在云盘算厂商里面安装一套，暴露一个服务接口，比如您想辨别一个文本是不是涉及黄色和暴力，直接用这个在线服务就可以了。这种形势的服务，在云盘算里面称为软件即服务，SaaS (Software AS A Service)

于是工智能步伐作为SaaS平台进入了云盘算。

二、雾盘算

雾盘算（Fog Computing）：
可理解为本地化的云盘算，是云盘算的延伸概念这个因“云”而“雾”的命名源自“雾是更贴近地面的云”这一名句。
在该模式中数据、（数据）处理和应用步伐集中在网络边缘的设备中，而不是几乎全部保存在云中。雾盘算并非由性能强盛的服务器构成，而是由性能较弱、更为分散的各类功能盘算机构成，渗入工厂、汽车、电器、街灯及人们物质生存中的各类用品。
在终端和数据中心之间再加一层，叫网络边缘层。如再加一个带有存储器的小服务器或路由器，把一些并不必要放到“云”的数据在这一层直接处理和存储，以减少“云”的压力，进步了效率，也提拔了传输速率，减低了时延，这个工作原理实在就可以理解为：雾盘算
实在谈雾盘算，不如谈边缘盘算更加贴切。
云是分布式技能的大规模应用，盘算能力强，规模大，集中开发成本低，解决了企业非常大的IT问题。但云不能干全部的事，比如自动驾驶，对当下路况的判断，必要微秒级的处理和时延，这些盘算如果放到云端来做，网络稍有问题，就错过了时机。以是，这些环节的盘算处理，要放在本地物联网终端大概基站乃至CDN节点上来做。

如果说CDN是弥补TCP/IP本地化缓存问题，那么雾盘算就是弥补云盘算本地化盘算问题！
雾盘算 VS 云盘算有以下几个显着的特点：
更轻压：盘算资源有限相比力云平台的构成单位——数据中心，雾节点更加轻！雾盘算能够过滤，如聚合用户消息（如不停发送的传感器消息），只将必要消息发送给云，减小焦点网络压力
更低层：雾节点在网络拓扑中位置更低，拥有更小的网络延迟（总延迟=网络延迟盘算延迟），反应性更强
更可靠：雾节点拥有广泛的地区分布，为了服务差别区域用户，雷同的服务会被部署在各个区域的雾节点上，使得高可靠性成为雾盘算的内在属性，一旦某一区域的服务异常，用户请求可以快速转向其他邻近区域，获取相关的服务。此外，由于使用雾盘算后，相较云盘算减少了发送到云端和从云端发送的数据量，和云盘算相比延迟更短，安全风险也得到了进一步的降低！
更低延：除了物联网的应用外，网上游戏、视频传输、AR等也都必要极低的时延，这点雾盘算也是有所发挥的
更灵便：雾盘算支持很高的移动性，手机和其他移动设备可以互相之间直接通讯，信号不必到云端乃至基站去绕一圈！此外，雾盘算也支持实时互动、多样化的软硬件设备以及云端在线分析等
更节能：雾盘算节点由于地理位置分散，不会集中产生大量热量，因此不必要额外的冷却体系，从而减少耗电，雾盘算更省电！
雾盘算以及边缘盘算、海盘算而言等等的出现，不是用来代替云盘算，更多的是对云盘算“bug类”问题的修修补补，本质上是作为云盘算的延伸拓展而诞生的产品和理念。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)