引言
最近工作中有接触到 S3，往 S3 写入数据，从 S3 访问数据，所以花点时间整理一下有关 S3 的根本概念。
什么是 AWS S3
AWS S3 (Amazon Simple Storage Service) 是一个由 Amazon Web Services 提供的对象存储服务，专为存储和检索任意数量的数据而设计。与传统的文件系统和块存储不同，对象存储将数据存储为对象，每个对象包罗数据、可变数量的元数据以及唯一的标识符。它提供了高度可扩展、可用性高且安全的数据存储解决方案，广泛应用于各种数据存储需求。
重要特点
- 高度可扩展：S3 可以处理几乎无穷数量的数据，并且能够在需求增加时自动扩展以处理更多的存储需求。
- 高可用性和耐用性：S3 提供 99.999999999%（11个9）的数据耐用性，确保数据几乎不会丢失。它还提供高可用性，确保数据始终可访问。
- 安全性：S3 提供多条理的安全功能，包括数据加密（传输中和静态存储时）、访问控制、审计日志等，确保数据的安全性和隐私性。
- 低成本：S3 提供按需付费的定价模式，根据存储的数据量和请求次数收费，没有预付费用或最低消耗。
- 多种存储类别：S3 提供多种存储类别，如尺度存储（S3 Standard）、低频访问存储（S3 Standard-IA）、归档存储（S3 Glacier）等，以满足不同数据存储和访问需求。
- 灵活的数据访问：S3 支持 REST 和 SOAP 接口，这意味着几乎任何互联网连接的应用步伐都可以利用 HTTP 协议访问 Amazon S3 中的数据。
S3 应用
S3 用途
- 数据备份和规复：S3 是一种抱负的数据备份和规复解决方案，可以安全地存储大量备份数据，并在需要时快速规复。
- 内容存储和分发：网站、移动应用和其他在线服务可以利用 S3 存储和分发静态内容，如图像、视频、文档等。
- 大数据分析：与其他 AWS 服务（如 Amazon Redshift、Amazon EMR）集成，S3 可以用作大数据分析的存储库。
- 数据归档：通过利用 S3 Glacier 等低成本存储类别，用户可以将不常常访问但需要长期生存的数据进行归档。
- 应用步伐数据存储：各种应用步伐可以利用 S3 作为其数据存储后端，以便于数据管理和访问。
利用场景示例
- 企业备份：企业可以利用 S3 存储重要的业务数据备份，以防止数据丢失。
- 内容分发网络（CDN）：利用 S3 存储和分发网站内容，并通过 Amazon CloudFront 进步内容交付速率和性能。
- 数据湖 Data lake：将结构化和非结构化数据存储在 S3 中，作为大数据分析的数据湖。
- 应用日志存储：应用步伐可以将日志文件存储在 S3 中，便于集中管理和分析。
总的来说，AWS S3 是一种功能强大且灵活的数据存储服务，实用于各种规模和范例的存储需求。它的高可用性、安全性、成本效益和与其他 AWS 服务的细密集成，使其成为许多企业和开辟者的首选存储解决方案。
S3 的核心概念
架构概述
- 存储桶（Buckets）：存储桶是 S3 中存储数据的容器。每个存储桶都有一个在 Amazon S3 中全局唯一的名称，并且可以配置为在多个 AWS 区域之间复制数据。
- 对象（Objects）：对象是存储在 S3 存储桶中的根本实体。每个对象由数据和元数据构成。数据部分是对象的主体内容，而元数据是一组描述对象的名称-值对。
- 键（Keys）：每个 S3 对象都有一个键，这是对象在存储桶中的唯一标识符。键和存储桶名称的组合界说了对象在 S3 中的唯一地址。
- 区域（Regions）：Amazon S3 在环球多个区域提供服务。选择存储数据的区域可以最小化延迟，满足法规要求，并降低成本。
存储类
- 尺度存储（Standard）：实用于频繁访问的数据，提供低延迟和高吞吐量。
- 尺度 - 不常访问存储（Standard - IA）：实用于不常访问但需要快速访问的数据，存储成本低，但访问费用较高。
- 单区不常访问存储（One Zone - IA）：雷同于尺度 - IA，但仅在单一可用区内存储数据，实用于可容忍数据丢失的应用。
- 归档存储（Glacier）：低成本存储，实用于长期归档数据，数据规复时间在几分钟到数小时不等。
- 深度归档存储（Glacier Deep Archive）：更低成本的归档存储，实用于需要少少访问的数据，规复时间为 12 小时以内。
数据管理
- 生命周期管理：自动在存储类之间转移对象，以优化存储成本。可以根据对象的年龄或创建日期设置规则。
- 版本控制（Versioning）：允许多个版本的对象共存，防止不测删除和覆盖。
- 跨区域复制（Cross-Region Replication）：自动复制对象到另一个 AWS 区域的桶，增强数据冗余和灾难规复能力
安全和合规：
安全和合规
- 访问控制：利用 IAM （Identity and Access Managment）策略、桶策略 Bucket policies 和访问控制列表（ACL Access control lists）来管理对 S3 资源的访问。
- 加密：支持多种加密方法，包括服务器端加密（SSE-S3、SSE-KMS、SSE-C）和客户端加密。
- 日志记录：可以启用访问日志记录功能，将全部对桶和对象的访问记录到另一个 S3 桶中。
查询和分析
- S3 Select：允许从 S3 对象（如 CSV 文件、JSON 文件、Parquet 文件等）中检索特定的数据子集，淘汰数据传输量和处理时间。
- S3 Glacier Select：允许直接从 Glacier 中检索特定的数据子集，实用于归档数据的分析。
事件关照
- 配置方式：可以为桶配置事件关照，事件范例包括对象创建、删除、还原等。
- 关照目的：事件关照可以发送到 Amazon SNS 主题、SQS 队列或触发 AWS Lambda 函数。
Amazon S3 的这些特性和概念共同构成了一个强大、灵活且可扩展的云存储解决方案，实用于各种应用步伐和用例。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
