作者：Wayne Gao, Yi Wang, Jie Chen, Sarika Mehta
Alluxio 作为全球领先的 AI 缓存解决方案供应商， 提供针对 GPU 驱动 AI 负载的高速缓存。其可扩展架构支持数万个节点，能显着降低存储带宽的消耗。Alluxio 在解决 AI 存储挑战方面的前沿技能在很大程度上推动了大语言模子( LLM )在全球范围内的乐成。
“Solidigm 和 Alluxio 联合推出了高效的分布式 AI 缓存方案。通过将 Solidigm 的 D5-P5336 用作读缓存，D7-PS1010 用于 checkpoint 写入，并搭配 Alluxio 的低操作开销解决方案，我们帮助客户实现了大规模 AI 场景下成本和性能的最佳均衡。优化后的方案充实利用了Solidigm D7-PS1010 Gen5 TLC SSD 的写入带宽和 D5-P5336 Gen4 QLC SSD 的读取带宽，同时将 TLC 和 QLC SSD 的写放大系数保持在 1.02。我们希望与 Alluxio 一道连续为客户提供高效、低成本的AI 解决方案。” - Greg Matson，Solidigm 战略规划与营销高级副总裁。
Alluxio DORA 缓存架构的核心优势
DORA(Decentralized Object Repository Architecture 的缩写 )是 Alluxio 的新一代架构。
作为分布式缓存存储体系，DORA 具有低延迟、高吞吐量和节流成本的特点，同时旨在为 AI 工作负载提供高性能的数据访问层。
DORA 利用去中心化存储和元数据管理来提供更高的性能和可用性，以及可插拔的数据安全和管理，从而提高大规模数据访问的可扩展性和管理效率。
DORA 的架构目标：
- 可扩展性：可扩展性是 DORA 的首要目标，旨在支持数百亿个文件，从而满足数据麋集型应用（如 AI训练）的需求。
- 高可用性：DORA的架构设计思量了高可用性，具有99.99%的正常运行时间，并可以防止在 master 出现单点故障。
- 性能：性能是 DORA的核心目标，它优先思量模子训练、模子服务的速度，以及用于 AI 工作负载的GPU 利用率。
DORA 架构包含四个重要组件：服务注册( service registry )、调治器( scheduler )、客户端( client )和 worker。这些组件共同管理服务发现、分布式负载调治和数据存储等任务，同时维持整个体系的最佳性能。
NVMe 存储相关技能亮点
1. 页数据存储可以或许利用 SSD 的最大性能，并保持最佳的写放大系数（WAF）和耐用性
DORA 使用经严格测试的页存储模块进行缓存存储，从而可以更精细地缓存大文件上的小至中等规模的读取请求。这种可靠的页存储技能已在 Meta、Uber 和 TikTok 等应用中得到验证。DORA 的细粒度缓存使得读放大情况降低到原先的1/150，并使得文件随机读性能提高了 15 倍。
页数据存储通过日志文件体系，将数据分成两级目次，包含固定大小的大文件块。全部写操作都附加到这些文件块中，而当此中的对象文件被标志为删除时，只有在不必要这些文件时才会删除。这种设计确保了纵然在使用 PCIe 5.0 TLC SSD 时也能实现最佳性能， 同时也保持 SSD 的写放大系数（WAF）为 1，从而最大限度提高 SSD 的耐用性。
例如， 当使用 QLC SSD 进行 Alluxio 读缓存时，存储引擎会充实利用 QLC 的耐用性，不会导致任何内部写放大或垃圾回收写放大，从而确保 QLC NVMe SSD 的高效运行。
2. 去中心化的元数据存储
DORA 将元数据传递给每个 worker，确保元数据始终可访问且可用。为了优化元数据访问，DORA 对元数据条目使用两级缓存体系。第一级缓存是内存缓存，它将元数据条目存储在内存中。此缓存具有可设置的最大容量和有效时间 ( TTL ) 设置，可设置过期时限。第二级缓存是长期化缓存，通过RocksDB 将元数据条目存储在磁盘上。长期化缓存具有无限容量，具体取决于可用磁盘空间，而且还使用基于 TTL 的缓存驱逐策略，防止主动同步或主动失效。存储的元数据类似页存储，也是基于完备的 UFS 路径的哈希值来确定分发到哪个 Dora Worker。
内存和长期化缓存的组合有助于确保元数据可以或许随时可用且可访问，同时还可以高效利用体系资源。元数据的去中心化避免了在元数据主要由 master 节点来管理的架构中可能出现的瓶颈。由于每个 DORA worker 节点可存储多达 3000 万至 5000 万个文件, 整个体系便可以支持拥有数百亿文件的大规模数据麋集型应用。
经 Solidigm 验证， 内存元数据设计与 RocksDB 的组合提供了最佳的元数据存储解决方案。该设计充实利用了 PCIe 4.0 QLC SSD ( 读取 7GB/s，写入 3GB/s ）和 PCIe 5.0 TLC SSD（ 读写均为 14.5GB/s ）的读写性能。此外，RocksDB 通过跳表（ skiplist-based ) 写缓存将许多小的写入归并为较大的2MB 顺序写，这种方式极其高效，有助于将 SSD 写放大系数（WAF）最小化，进一步提升 SSD 的耐用性。
性能测试:：Alluxio 搭配 Solidigm™ 的 D7-PS1010 和 D5-P5336
测试设置
在最近一项实验中( Solidigm D7-PS1010 和 D5-P5336 SSD，搭配 Intel Gen5 BNC 存储服务器 )，Alluxio 显现其在数据快速摄取以及读性能方面的优势，特别是在 GPU 扩容的情况下。部署 Alluxio 后取得的显着成效：
- 缓存加载效率: Alluxio 缓存引擎在写入 PCIe 5.0 TLC SSD 时，可以或许有效跑满 UFS QLC 存储的最大读取带宽。
- Fuse 读取测试: Alluxio 的 FUSE 框架几乎跑满单个 PCIe 5.0 SSD 的读取带宽，显示处置惩罚 NVMe SSD缓存命中时的开销极低。
为了可以或许快速部署，我们设置了一个单节点测试来展示 Alluxio 存储引擎的强大性能。Alluxio 的最大优势在于可以或许利用主机侧的分布式复制缓存，可随着 GPU 扩展并显着降低南北向存储带宽开销。纵然在单节点设置下，Alluxio 也体现出超高的效率，尤其是在搭配高性能 NVMe SSD 时。在此次测试中，我们将缓存设置为使用 PCIe 5.0 TLC 或 PCIe 4.0 QLC，而底层文件存储( UFS )使用了 PCIe 4.0 QLC。
重要结论
- Alluxio 的缓存加载引擎十分高效，可以或许跑满 UFS QLC 的最大读取带宽，并将数据摄入到 PCIe 5.0 TLC 缓存 SSD中。纵然 UFS 支持 10GB/s 的读取带宽，Alluxio 也能轻松地跑满 Solidigm D7-PS1010 9.3GB/s的写入带宽。
- Alluxio 的页缓存存储引擎基于 XFS 日志文件体系，并使用 Solidigm Alluxio FIO仿真器进行了严格的使用寿命测试。测试效果表明，无论使用 TLC 还是 QLC SSD，Alluxio 都能实现 1.02 的写放大（WAF ）。这种接近理想的 WAF=1的效果能让 SSD 的性能和耐用性最大化，为终端用户提供最佳性能。
重要结论
FUSE 的读开销极小。当实行 FUSE 读取，在 SSD 缓存上 100%缓存命中而且绕过 DRAM 页缓存时，FUSE 框架几乎可以跑满单个 PCIe 5.0 SSD 的读带宽，速度到达 14.8 GB/s。
对于寻求高效缓存方案的客户来说，Solidigm 的 61.44TB QLC 是理想选择。Alluxio 的存储引擎对于写放大十分友好，作为以读取为主的缓存，其写入量极少，使得 QLC 完美适配其读缓存路径。鉴于 Alluxio 的高效设计，我们可以根据 213 PB 的顺序写总量 （PBW）来估算 QLC 缓存设备的耐用性，这也意味着 Solidigm 支持写入高达 213PB 的数据。纵然在 5 年周期内以 50% 的使用率（已是较高的阈值）盘算，QLC 仍能支持 2900 MB/s 的写带宽，几乎到达其最大值。此外，QLC 每块 SSD 可提供高达 6GB/s 的随机读带宽，实现高性价比的 Alluxio AI 缓存体系。
Solidigm SSD 如何为 Alluxio 提供符合的存储
就读缓存而言，Solidigm D5-P5336 61.44TB QLC 提供了杰出的性能和可扩展性。对于 checkpoint 写入而言，PCIe 5.0 D7-PS1010 提供了一流的写性能。
“我们与 Solidigm 团队紧密合作，验证了将 Alluxio 分布式缓存技能与 Solidigm SSD 和 NVMe 驱动联合用于 AI 模子训练工作负载的性能优势。通过这次合作，我们进一步优化了 Alluxio，通过充实发挥 Solidigm 驱动的优势，将大规模 AI 工作负载的 I/O 吞吐量最大化。” Alluxio 工程副总裁杜璿表示，“我们期待与 Solidigm 继续开展这项重要合作，共同为我们的客户提供高性能、高成本效益的解决方案，帮助客户构建、训练和部署大规模 AI 模子。”
Alluxio 和 Solidigm 的合作成果表明，Solidigm TLC 和 QLC SSD 都能显着提升 Alluxio 的服务，同时降低运营成本。此外，Solidigm 还提高了质量和可靠性标准，并由专门的客户服务团队为 Alluxio 提供出色的支持。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
