分布式存储详解(图文全面总结)

2025-3-2 20:01| 发布者: admin| 查看: 43| 评论: 0|原作者: 自由的羽毛

摘要: 分布式存储分布式存储：是一种将数据分散存储在多个**的物理设备上的技能。通过将数据分散到多个节点上，可以或许提供高可用性、高可**性、可扩展性胡高性能的存储服务。分布式存储，实用于大数据存储、云存储、 ...

分布式存储
分布式存储：是一种将数据分散存储在多个**的物理设备上的技能。
通过将数据分散到多个节点上，可以或许提供高可用性、高可**性、可扩展性胡高性能的存储服务。

分布式存储，实用于大数据存储、云存储、CDN、备份与劫难规复...等多个范畴。
比如：**志数据、传感器数据、Web **志、大型数据库...等。
分布式存储**
常见的分布式存储实现技能，有GFS、HDFS、Ceph...等。
GFS
GFS（Google File **），是 Google 为了满意其大规模分布式盘算需求，而计划的分布式文件**。
GFS 计划的核心目标之一是处理大规模的文件胡数据集，可以或许支持大吞吐量的数据读写。
GFS 是一个分布式**，接纳主从架构。

**节点
** 是 GFS 的核心组件，负责**文件**的元数据。它**着以下信息：

文件到块的映射表（File-to-block mapping）。
每个块的位置（Block location）。
文件的元数据（如大小、访问权限等）。

Chunk**节点
存储文件块，负责数据的读写。
客户端
提供文件**的接口，与**胡Chunk**交互。
在 Google 的生产环境中，GFS 主要用于存储大文件（通常是几百 MB 到几 GB 的文件），并且能处理文件大小不可预测的环境。

HDFS
HDFS 接纳了类似 GFS 的计划，旨在存储大规模的文件数据，特别实用于大数据处理胡分析任务。
HDFS 实用于存储大规模数据，尤其是对大数据处理框架（如 MapReduce）中的数据存储与访问非常高效。
HDFS 包含两个主要组件：

NameNode
负责**文件**的元数据，包括文件胡目录的条理布局，以及文件块的位置。
DataNode
现实存储数据块，负责实行数据的读取与写入**纵。
HDFS 支持对大文件（通常是 GB 、或 TB 级别），进行高效的存储胡处理，数据块的大小默认为 128MB。
Ceph
Ceph作为一款成熟的分布式存储**，在性能、可**性、可扩展性等方面表现出色。
随着云盘算、大数据等技能的不停发展，Ceph的应用场景也将越来越广泛。

Ceph可以同时扮演对象存储（RADOS）、块存储（RBD）胡文件**（CephFS）的脚色，满意各种应用场景的需求。
Ceph 的对象存储模型基于 CRUSH（Controlled Replication Under Scalable Hashing）算法，进行数据分布，具有很好的可扩展性。
CRUSH算法可以或许感知集群中的故障域，确保数据的高可用性。
FastDFS
FastDFS，是一个开源的轻量级分布式文件**，专注于高效的文件存储、文件分发以及高可用性