ToB企服应用市场:ToB评测及商务社交产业平台

标题: 云盘算关键技术 [打印本页]

作者: 忿忿的泥巴坨 时间: 2024-6-15 03:05
标题: 云盘算关键技术
一、了解谷歌分布式存储系统GFS

1.1、云盘算的关键技术有哪些

1.2、分布式存储技术

1.3、3分布式盘算技术

1.4、分布式数据库技术

二、了解GOOgle“三剑客”之间的关系

2.1、Google三剑客指的是什么？

2.2、Google三剑客之间的关系如何？

三、GFS的系统架构

3.1 、由什么构成呢

3.2、GFS系统的节点角色——从物理层面

3.3、GFS的实现机制

四、实操练习——私有云平台情况配置

4.1、需求形貌

4.2、实现思路

一、了解谷歌分布式存储系统GFS
1.1、云盘算关键技术分为哪些？
分布式存储技术、分布式盘算技术MapReduce、分布式数据库技术Bigtable
1.2、分布式存储技术是什么？
是一种数据存储架构，它将数据分散存储在多台盘算机或服务器上，以实现数据的高可靠性、可扩展性和性能。
特点：（1）巨量数据、数据类型极其丰富，无法依赖传统数据库；
（2）面向全球用户提供实时服务，需要引入新的盘算模式
包罗高可用性和安全性；可扩展性、数据安全性、低成本、易于管理、

支持多副本同等性。采用多副本备份机制，包管多个数据副本之间的同等性。
支持容灾与备份。支持多时间点快照备份，降低了故障定位的难度，确保数据安全高可用。

1.3、分布式盘算技术
分布式盘算技术是指将盘算机系统中的盘算任务分配到多个盘算机节点上,并通过网络协同工作完成盘算任务的技术。
分布式盘算比起别的算法具有以下几个优点：
1、有数资源可以共享。
2、通太过布式盘算可以在多台盘算机上平衡盘算负载。
3、可以把程序放在最适合运行它的盘算机上。其中，共享有数资源和平衡负载是盘算机分布式盘算的焦点头脑之一。
cr：baidu.com
1.4、分布式数据库技术
分布式数据库系统通常利用较小的盘算机系统，每台盘算机可单独放在一个地方，每台盘算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有本身局部的数据库，位于不同地点的许多盘算机通过网络相互连接，共同构成一个完整的、全局的逻辑上会合、物理上分布的大型数据库。
具有的优点：

灵活的体系结构。
分布式的管理和控制机制。
经济性能优越。
系统可靠性高可用性好。
局部应用的响应速度快。

二、了解Google“三剑客”之间的关系
2.1、Google三剑客指的是什么？
Google三剑客通常指的是Google搜刮、YouTube和Google Ads。

这三个平台是Google公司旗下最适合外贸营销的平台，它们在数字营销领域扮演着重要角色。
2.2、他们之间的关系是怎么样的呢？接下来会针对这三个进行说明。

Google搜刮：作为Google的焦点折务，它提供了全球最大的搜刮引擎，帮助用户查找信息。例如为应用程序提供访问Google云端存储的途径，这样就可以在各种装备之间共享文件。
YouTube：作为Google旗下的视频分享平台，它是天下上访问量最大的网站之一，对于品牌推广和内容营销至关重要。
Google Ads：即Google广告服务，它允许企业通过关键词广告、展示广告等多种形式在Google搜刮和其他Google服务上投放广告，以吸引潜在客户。

三、GFS的系统架构
3.1 由什么构成呢？
构成：client、master server、多少chunk server

3.2、GFS系统的节点角色——从物理层面
GFS将整个系统的节点分为三种角色：
Client(客户端)、Master(主服务器)和Chunk Server(数据块服务器)。
Client （客户端）：Client是GFS提供给应用程序的访问接口，以库文件的形式提供。
Master （主服务器）：Master是GFS的管理节点，负责整个文件系统的管理。
Chunk Server （数据块服务器）：Chunk Server （数据块服务器）
3.3、GFS的实现机制

控制流和数据流的分离：客户端起首访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。
Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。
Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。

GFS的优点有五大：

存储资源的弹性可伸缩、支持海量存储。
由文件系统来处理容错任务，系统容错性高。
支持文件以追加方式批量写入。
支持多个客户端对一个文件的高并发性写入利用，系统性能高。
支持多个客户端对一个文件的高并发性写入利用，系统性能高。

四、实操练习
4.1、需求形貌

准备私有云平台的盘算节点和控制节点中所需的镜像和数据存储装备
准备好私有云的安装软件，搭建内部ftp服务，设置情况变量

4.2实现思路

利用fdisk命令，对sdb和sdc进行分区，并进行文件系统创建，指派sdb供cinder服务,sdc供swift服务。
将centos7和iaas2.2软件复制到controller的/opt文件中，配置安装源为/opt文件夹的软件。
配置vsftp,以方便内网安装openstack，配置安装openstack情况变量。

实验开始~
一、存储装备准备
1.在controller中确定已添加两块20G的scsi硬盘，用命令fdisk -l ，观察到有/dev/sdb和/dev/sdc字样。(若无则 ehco “- - -” > /sys/class/scsi_host/host0/scan识别它们)，如图

2.实行 fdisk /dev/sdb进行分区，n进行新建，选p指定分区类型为主分区，选1指定分区编号为1，分区起点和尽头均回车采用默认值，选t进行系统类型选择，输入8e，最后w存务退出。对/dev/sdc实行同样的利用。再用命令fdisk -l 观察效果

3.对上述两个新分区进行文件系统创建，mkfs.xfs /dev/sdb1,mkfs.xfs /dev/sdc1

4.在compute中重复1-3。这里就不做演示了，重复以上利用就可以啦
  二、网卡和主机名准备
1.在controller中修改和添加/etc/sysconfig/network-scripts/ifcfg-ens*（具体是两个网卡,*一样平常是33和34）文件,主要改动以下参数:ONBOOT=yes,BOOTPROTO=static，第二网卡的gateway要删除。
  2.确认主机名为controller，输入命令hostnamectl set-hostname controller。
  3.在compute中重复前面第1步。
  4.确认当前主机名为compute，输入命令hostnamectl set-hostname compute。
  三、配置yum源
1.在controller中，先备份原来的安装源 #mv /etc/yum.repos.d/* /opt/
  2.创建repo文件，在/etc/yum.repos.d创建centos.repo源文件，内容如下:
  [centos]
  name=centos
  baseurl=file:///opt/centos
  gpgcheck=0
  enabled=1
  [iaas]
  name=iaas
  baseurl=file:///opt/iaas-repo
  gpgcheck=0
  enabled=1

3.在compute中，先备份原来的安装源
  #mv /etc/yum.repos.d/* /opt/
  4.创建repo文件，在/etc/yum.repos.d创建centos.repo源文件，内容如下:
  [centos]
  name=centos
  baseurl=ftp://192.168.1.241/centos
  gpgcheck=0
  enabled=1
  [iaas]
  name=iaas
  baseurl=ftp://192.168.1.241/iaas-repo
  gpgcheck=0
  enabled=1

四、复制centos7和iaas2.2光盘中的文件到/opt
1.在controller中，将光驱中光盘指为定centos7并确认已连接。
  2.挂载光盘到/mnt文件夹并复制文件
  [root@controller ~]# mount /dev/cdrom /mnt/
  [root@controller ~]# mkdir /opt/centos
  [root@controller ~]# cp -rvf /mnt/* /opt/centos/
  [root@controller ~]# umount /mnt/

3.将光驱中光盘指为定iaas2.2确认已连接。
  4.挂载光盘到/mnt文件夹并复制文件
  [root@controller ~]# mount /dev/cdrom /mnt/
  [root@controller ~]# cp -rvf /mnt/* /opt/
  [root@controller ~]# umount /mnt/

五、搭建ftp服务器，开启并设置自启
1.在controller中，安装并设置ftp。
   [root@controller ~]# yum install vsftpd –y
   [root@controller ~]# vi /etc/vsftpd/vsftpd.conf
  添加anon_root=/opt/
   2.启动并设置ftp开机启动
  [root@controller ~]# systemctl start vsftpd
  [root@controller ~]# systemctl enable vsftpd

六、关闭防火墙并设置开机不自启
【controller/compute都要做】
systemctl stop firewalld
systemctl disable firewalld

七、扫除缓存，验证yum源
【controller/compute都要做】
# yum clean all
# yum list
八、编辑情况变量【controller/compute都要做】
  # yum install iaas-xiandian -y
  # vi /etc/xiandian/openrc.sh
  在文件后面添加如下内容:
  HOST_IP=192.168.1.241
  HOST_NAME=controller
  HOST_IP_NODE=192.168.1.242
  HOST_NAME_NODE=compute
  RABBIT_USER=openstack
  RABBIT_PASS=000000
  DB_PASS=000000
  DOMAIN_NAME=demo
  ADMIN_PASS=000000
  DEMO_PASS=000000
  KEYSTONE_DBPASS=000000
  GLANCE_DBPASS=000000
  GLANCE_PASS=000000
  NOVA_DBPASS=000000
  NOVA_PASS=000000
  NEUTRON_DBPASS=000000
  NEUTRON_PASS=000000
  METADATA_SECRET=000000
  INTERFACE_NAME=ens34
  CINDER_DBPASS=000000
  CINDER_PASS=000000
  TROVE_DBPASS=000000
  TROVE_PASS=000000
  BLOCK_DISK=sdb1
  SWIFT_PASS=000000
  OBJECT_DISK=sdc1
  STORAGE_LOCAL_NET_IP=192.168.1.242
  HEAT_DBPASS=000000
  HEAT_PASS=000000
  CEILOMETER_DBPASS=000000
  CEILOMETER_PASS=000000
  AODH_DBPASS=000000
  AODH_PASS=000000

到这实验就竣事啦！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)