ToB企服应用市场:ToB评测及商务社交产业平台

标题: 云盘算基础-存储基础 [打印本页]
作者: 杀鸡焉用牛刀    时间: 2024-6-11 13:48
标题: 云盘算基础-存储基础
存储概念

什么是存储：
  存储就是根据不同的应用步调环境，通过接纳合理、安全、有用的方式将数据保存到某些介质上，并能保证有用的访问，存储的本质是记载信息的载体。
存储的特性：
什么是文件系统：
  文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构，即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。
  在文件系统中，我们可以看到文件的类型、文件的巨细、创建时间等，这些都是文件系统中的信息
  存储系统只有底层硬件和上层文件系统配合工作才气够真正的完成对于数据的读写管理，底层硬件只负责对0101这些二进制的读写，真正的帮助用户清晰简便管理数据的实在是上层的文件系统，而用户直接对接的实在也是文件系统
存储系统的分类（存储的构建方式）

从存储的毗连或者构建的方式来看，存储主要分为三种

DAS（Direct Attached Storage）：

主机设备或者盘算设备直接通过物理口和线缆毗连的存储磁盘，从而获得存储资源，如个人电脑装的硬盘就可以看作是DAS存储
长处：简朴
缺点：独立的数据存储模式，不能共享访问，可扩展性有限

NAS（Network Attached Storage）:

支持联网的存储，不同主机可以通过网络向存储中上传、下载自己的文件，Windows的文件共享就是NAS存储的范畴。NAS存储提供的存储自带文件系统，NAS存储具有以下特点：
长处：可实现跨平台的数据共享
缺点：应用有局限，比如无法在NAS存储上安装操作系统

SAN（Storage Area Network）:

SAN是一种独立于服务器的存储网络，它通过高速毗连将存储设备（如磁盘阵列、磁带库等）与多台服务器毗连起来，形成一个高性能、高可用性的存储环境。
通过网络将服务器和存储毗连起来，这个网络可以是FC网络，也可以是IP网络，这个取决于服务器跟磁针之间是 通过什么样的存储协议通讯，SAN存储提供的存储不自带文件系统，它只负责数据的IO读写
长处：可靠性高，可扩展性强
缺点：成本高，维护有难度

SAN存储分类：

SAN存储主要包括两种网络架构的SAN，一种是基于IP网络的IP SAN，另一种是基于FC网络的FC SAN
IP SAN

IP SAN网络它是通过ISCSI协议毗连服务器和磁针的，主机和存储之间走还是传统的IP网络
主机端：额外的网卡接口和客户端(OS一般自带)
网络：线速以太网交换机（传统的交换机）
存储端：具备ISCSI的接口
长处：利旧，扩展性好，可以充分利用现网的IT系统硬件，成本比较低
缺点：开销大、可靠性相比FC差，存储协议自己走的是SCSI协议(硬盘接口协议就是SCSI协议)，为了兼容IP网络，提出ISCSI协议，但是ISCSI协议开销比较大。其性能略低
FC SAN

FC SAN网络是基于FC协议的，在服务器端需要有专门的FC HBA卡，因为主机和存储之间走的是FC协议，传统的交换机走的是IP网络，所以FC SAN存储中，网络也需要专门的FC交换机，存储也需要具备FC接口
主机端：FC HBA卡
网络：FC交换机
存储端：具备FC接口
长处：可靠性高，性能比IP SAN好
缺点：需要FC网络，扩展性差，成本高

存储毗连架构总结


存储的服务类型

块存储

块存储，偶然也被称为"块级存储"，是一种主要用于在存储区域网络 (SAN) 或云环境中存储数据的技术。它的特性是将裸磁盘空间整个映射给主机利用，包括真实的物理磁盘或者通过RAID、逻辑卷等方式二次划分的逻辑磁盘。主机的操作系统可以识别这些硬盘，并进行分区和格式化操作，使其与服务器内置硬盘的功能并无二致。
文件存储

文件存储，也被称为文件级存储或基于文件的存储，是一种在盘算机硬盘驱动器或网络毗连存储 (NAS) 设备上组织和存储数据的方法。这种存储方式将数据以文件的形式进行保存，并进一步将文件按照文件夹进行分类，再将文件夹以目次和子目次的形式进行组织，形成一个层次化的存储结构。
对象存储

对象存储是一种基于分布式系统的数据存储服务，其以非结构化格式（称为对象）来存储和管理数据。它将数据存储为对象而不是文件，具有高度可靠性、高扩展性和高性能等长处。
存储服务类型
长处
缺点
应用场景

块级存储服务
如：前面提到的SAN , DAS，为主机提供的都是块存储，提供高性能的随机I/O和数据吞吐率，延迟低
可扩展性和可管理性较差
为一些高性能，高IO的企业关键业务系统（如企业内部数据库）提供存储。

文件级存储服务
如：NAS，扩展性好、易于管理、价格相对经济
开销高、延迟大，不适合高性能的存储场景
共享文件数据：FTP、家庭NAS存储、医院PACS医疗影像数据

对象存储服务
支持高并行性、可伸缩的数据访问, 管理性好、安全性高、适合大容量存储需求
时延伸、不适合频仍更改的数据。
相对静态的文件数据，如备份、档案、视频和音频文件

存储的重要特性及相关技术名词

RAID

RAID：独立磁盘冗余阵列，将多个独立的磁盘整合成为一个RAID组，用来提升磁盘的读写能力
实现RAID功能的部件：服务器有一块单独的RAID卡，存储设备上有相应的RAID控制器

RAID级别：

RADI0：

无冗余的条带化
最少需要1块硬盘，可用容量为所有硬盘加起来的总和
长处：读写性能最高
缺点：不提供冗余，此中某一块硬盘损坏，所有数据全部丢失
RAID0写入：比方条带化巨细为64K，若要写1024K文件，文件将会被分为16个小块，同时往RAID0内的磁盘写
RAID读取：假设RAID0由5块物理硬盘组成，读取时则从5个硬盘中同时读取
RAID1：镜像卷


所需物理硬盘数量为N*2，可用容量为50%
长处：答应损坏一块硬盘，提供冗余
缺点：数据写入时，最大只能到达单块磁盘的最大写性能，理论上来说，由于会同时向两块硬盘中同时写入，写性能会有所降落
长处：数据读取时，可以从两块硬盘中同时读取，读性能有所提高
读写：RAID1在写入时会同时向两块硬盘中写入同样的数据，同样，删除时，会同时在两块硬盘中同步删除
如果利用4块盘做RAID1会怎样：系统会自动创建两组RAID1，6块会创建三组.....
如下图。RAID0是将一个文件分成多份，同时往两块硬盘中写，写入性能更高，但无冗余，两块盘只要坏一块数据就丢失了
RAID1是同样一份文件会写两份，写性能会有所降落，但同样的数据会在RAID1组内的两块磁盘内各存一份，所以坏一块硬盘不会导致数据丢失，但开销太大，RAID总容量只要两块磁盘容量之和的1/2

RAID3：带奇偶校验的条带化(已被raid5取代)
RAID3会有专门的一块盘存放奇偶校验数据，RAID5的奇偶校验数据会平均分布存放在RAID5的所有硬盘上，RAID3如果进行数据重构的话，由于奇偶校验数据全部是存放在一块硬盘中的，进行数据重构的时候，奇偶校验盘会成为瓶颈，所以为了解决这个问题，出现了RAID5
RAID5：带奇偶校验的条带化


所需物理硬盘数量>=3，可用容量为N-1
长处：即解决了性能的问题，又解决了冗余的问题
缺点：假设RAID5此中某一块硬盘损坏，换上新硬盘后数据需要重构(重构：根据现有数据和奇偶值算出这块硬盘中的数据)，1TB的数据重构时间约莫需要10小时，如果重构的过程中会有业务数据写入，重构校验会暂停(业务优先级高于重构优先级)

RAID6


所需物理硬盘数量>=4，可用容量为N-2
RAID6每一个条带有两个校验，即：D1\D2校验为P1，D1\D2\P1校验为P2
RAID10


所需物理硬盘数量>=4，硬盘数量必须为2的倍数，可用容量为50%
先两块磁盘做RAID1，再将两组RAID1做RAID0
长处：可以同时坏两块盘，但是损坏的硬盘不能同时在一个RAID组内

热备盘


在创建RAID时就可以选择热备盘
Hot-Spare盘是一个不到场盘阵，但是加电上线的盘，当冗余阵列此中某一块硬盘损坏时，热备盘立刻顶上，可以理解为自动换盘的概念，当损坏的硬盘换上新硬盘之后，热备盘立刻又会变成热备盘的角色
RAID选择


RAID5更适合次序大IO场景：视频场景、备份场景，一次写入，很少更改的场景
RAID10更适合随机小IO场景：数据库场景
为什么RAID5不适合随机小IO场景
因为数据库删改频仍，每一次修改数据都需要重新进行奇偶校验，会造成更多的写惩罚，从而降低存储性能
写惩罚：一次写，带来了更多额外的读操作
如果修改的数据，小于整个阵列的一半，比如10块盘，只修改了此中某一块或几块(5块以下，不包罗5块)硬盘的数据(条带中的某一个或小于5个数据块)，只需要将这个新写入的数据和已有的奇偶校验数据一起读出来，经过奇偶校验再写回去，但如果修改的数据超过一半，需要将这个条带中全部的数据读出来，经过奇偶校验再写回去
为什么RAID10适合随机小IO场景
RAID10不需要奇偶校验，就像直接往硬盘中写入数据即可，没有写惩罚
为什么RAID10不适合次序大IO场景
在RAID10中，由于数据写入时，会将同一数据写入两份，降低了写的性能，假设RAID10是6块磁盘，在分块时，6块硬盘只能将数据分为3块同时写入，而6块硬盘RAID5可以分为5块同时写入，相比之下，次序大IO的场景，RAID5更符合
官方发起
如果是SAS盘：做RAID5
如果是SATA盘：做RAID6，因为RAID6故障率更高
如果是SSD盘：做RAID10，而且SSD更适合随机数据
RAID2.0

RAID2.0相较于传统RAID的区别
传统RAID都是以硬盘为单位，到场RAID成员的最小单位是硬盘，在一个RAID里，只能是一种类型的硬盘，不能是SATA硬盘，SAS硬盘，SSD硬盘，这三种硬盘不能肴杂在一起做RAID
RAID2.0可以支持不同类型的硬盘做RAID，RAID2.0不是以硬盘为单位，而是以CK为单位

RAID2.0原理

将硬盘划分为若干个一连的固定巨细的存储空间，成为存储块，即chunk，简称CK（华为存储默认是64MB，且不能更改）
chunk按RAID策略组合成RAID组，成为存储块组， 即chunk group，简称CKG
在CKG中划分若干个小数据块，即extent。LUN就是 由来自不同CKG的extent组成
用作热备盘空间的CK也是分散在各个盘上的



NL-SAS盘：Near-Line SAS，在SAS总线上接入了SATA硬盘
LD：逻辑磁盘
Extent：默认4M可调，数据热度统计和迁移的最小单位(颗粒度)

图片解释
由下往上，先看SSD这一列
LUN映射的是一块裸设备，也叫块设备，是不带文件系统的，需要分区格式化才气用

RAID2.0利用不同类型的磁盘有什么好处呢？
即解决了性能问题，又平衡了成本为题
重构速率非常快，每TB 30分钟，比传统RAID快了20倍，传统RAID以硬盘为单位进行数据重构，在RAID2.0中，假设某块硬盘损坏，该硬盘中的数据会被重构到其他CK中（每块硬盘都预留了热备CK），如果该硬盘换新了，会将部门旧数据迁移到该硬盘，新数据也会写入该硬盘，不是迁移损坏硬盘的原有数据，后台会自己算
RAID2.0利用了SmartTier分层技术
SmartTier原理
根据硬盘类型，将存储分为三个层面
把最活跃的数据放在高性能层，把热数据放在性能层，把冷数据放在容量层，即提升了性能，又节省了成本，这个过程是自动的
判定命据冷热的最小单位是extent，extent越小判定越正确，但CPU占用也更高
san存储中的相关技术名词

IQN：

在ISCSI组网中，一台主机利用IQN来表现，每台IQN是唯一的，QIN是根据主机名字随机天生的
WWPN：

FC的组网中是有WWPN的，FC组网需要专门的FC卡，FC卡上有FC专用的光模块，而WWPN的地址就是光模块端口号地址
FC卡也有一串地址，叫WWNN，中文名叫：全球唯一节点号，在FC卡上有个标签，可以看到该地址
FC卡的光模块也有一串地址，叫WWPN，中文名叫：全球唯一端口号，在FC卡和光模块上都能看到该地址
WWNs、WWN，现实上说的都是WWPN，简称而已
多路径

为了保证链路冗余，通常主机会利用两个网口分别毗连存储的A控和B控，如下图

什么是多路径

当一台主机又两条或两条以上的链路毗连同一个存储
两条链路毗连同一个存储会有什么问题？

电脑上会看到两个盘，但需要手动指定用哪个盘，无法到达冗余的目的，需要安装多路径软件，将相同IQN的LUN合并为一个盘
不同厂商需要安装不同厂商的多路径软件(是否有通用的多路径软件未知)
多路径软件安装后需要重启，华为的多路径软件不支持win10，Winserver2012
安装完多路径软件后，对存储进行读写利用的是哪个网口呢？

根据算法自动选择转发网口，可选择的策略有：轮询(默认)，最小队列，最小链路，无需太过注意是哪个口转发，两个口都转发
注意：

不同主机毗连同一个LUN，这些主机必须时集群关系，而且文件系统必须格式化为带锁机制的集群级文件系统
为什么毗连相同LUN的不同主机必须是集群关系

因为不同主机毗连相同的LUN，不同主机都可以同时对LUN空间的文件进行读写，有可能多台主机同时对同一个文件进行操作，造成文件损坏
比方华为FusionCompute的CNA链接存储后，查看存储挂载情况
华为存储挂在后，会以【dm】开头，所以通过这个可以找到它挂在的ipsan存储，他的文件系统类型既不是xfs，也不是ext3，而是ocfs2，这个就是集群级文件系统








免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4