IT评测·应用市场-qidao123.com

标题: 软件界说存储SDS应用场景分析 & 保险企业SDS对象存储实践分享 [打印本页]
作者: 前进之路    时间: 2025-3-7 10:12
标题: 软件界说存储SDS应用场景分析 & 保险企业SDS对象存储实践分享
作者：顾文俊
1.软件界说存储SDS概述

物联网 (IoT) 的蓬勃发展推动了结构化/非结构化数据的空前增长，给企业带来了发掘新客户、创造新收入来源的巨大时机。对于IT部门来说，必要在满足海量数据增长的同时，还必须提供存储方式以及其访问方式的多样性。必要IT部门同时可以或许对于传统环境以及云环境提供技术支持。因此，数据密集型企业的 IT 组织必须重新评估怎样管理日益分散的异构数据和应用程序环境。
软件界说存储SDS（Software Define Storage）可以保障体系的存储访问能在一个精准的程度上更灵活地管理。软件界说存储是从硬件存储钟抽象出来的，这也意味着它可以编程一个不受物理体系限制的共享池，以便于最有效地利用资源。它还可以通过软件和管理进行部署和供应，也可以通过基于策略的主动化管理进一步简化。作为IT基础架构云化不可或缺的一环，软件界说存储（SDS）办理方案因其灵活性、灵敏性、主动化、高成本服从、高度可拓展性等关键优势，比年来也愈发受到业界关注。
1.1. 什么是软件界说存储

1.1.1. Gartner界说

SDS将源于物理或虚拟设备或存储服务的存储能力抽象出来，提供灵敏性和交付QoS的同时，还可以优化成本。存储服务通过分为控制平面（管理和策略实施）和数据平面（基础架构和数据传输）的软件层，凭借互操作的、可编程的接口进行编排，来满足预先界说好的策略或者SLA,与数据存放的位置无关。
Gartner认为，SDS具备如下的特色：

软件界说存储办理方案可以分为两类：iSDS和mSDS
[attach]2195[/attach]

iSDS-基础设施SDS，创建并提供代替或者增强传统存储阵列的数据中心服务。目的常常在于让存储体系可以部署到成本较低、基于行业标准的硬件上，以此改善资本付出（Capex）。
mSDS-与现有的存储体系接洽、提供更强的存储服务灵敏性。mSDS产品可以或许对存储资源实现抽取、移动性、虚拟化、存储资源管理（SRM）及I/O优化。目的常常在于减少对管理工作量的需求，以此改善运营付出（Opex）。
[attach]2196[/attach]

从Gartner Hyper Cycle2017年曲线看出，iSDS相比mSDS更加成熟。
[attach]2197[/attach]

从Gartner优先级矩阵看，iSDS是一个革命性的技术，而mSDS的优先级只是中等。也就是说，iSDS的未来更加美好。
1.1.2. SNIA界说

SNIA在SDS的界说中提到，SDS答应异构的或者专有的平台。必须满足的是，这个平台可以或许提供部署和管理其虚拟存储空间的自助服务接口。除此之外，SDS应该包括：
SNIA认为，存储服务的借口必要答应数据拥有者（存储用户）同时表达，对于数据和所需服务水准的需求。数据的需求，就是SDS建立在数据路径（data path）的虚拟化，而控制路径（control path）也必要被抽象化成为存储服务。数据路径由以往的标准接口（块、文件和对象）构成。控制路径，在传统存储中，就是指存储管理员为数据提供部署数据的服务。在利用纯铜存储的大多数情况下，每一个数据服务有着各自的管理接口。变动数据服务，会导致所有存放在相应存储空间的数据都受到影响。理想的SDS，其传递数据请求的方式是：让应用通过元数据来请求相应的数据服务。实现了存储基础架构的主动化机制，极大地降低了人工运维成本，数据请求需直接传达至主动化软件。它可以或许直策应对请求，分配应用人员所需的存储资源，而无需人工干涉。
1.2. 行业分析

1.2.1. 全球&中国市场分析

[attach]2198[/attach]


图中看出：到2020年，20%的软件界说存储基础设施项目将有单独的软件和硬件采购报价和决议，而如今不到15%；到2022年，30%的企业将实施至少一种混合云存储方式，而2018年仅为5%；到2019年，尚未更新并运行在8GBps光纤通道FC和10G以太网上的存储网络将成为存储阵列的性能发挥的瓶颈；到2022年，50%以上的大型企业的数据中心的存储介质中将继续保留磁带；到2020年，存储业务领军企业就将面临必要提供足够的存储能力以满足天下对存储的渴望的挑战。
1.2.2. 厂商分析

1） 云服务、虚拟化厂商：积极应对，做时代厘革者
AWS提供了多样化的云存储，ESB/S3/EFS/S3 Glacier/Snowball等，为客户提供了多种选择；
阿里云同样提供了块，对象，文件存储，同时提供了很多存储服务；
VMware 通过发布分布式Server SAN存储产品vSAN,在vSphere场景下全面挑战传统存储厂商；
Intel 积极寻求多方面SDS控制面合作及标准制定，2015年主动联手EMC 推SDS CoprHD开源标准。同时，推出多款SSD存储盘，为SDS提供技术支持。
2） 传统存储厂商：严防死守，延续现有优势
EMC是传统存储厂商的代表，要保护已有存储市场，在EMC World2013上发布ViPR，基于控制面进行SDS构建。同时通过发布软件化战略，支持传统阵列变为软件界说存储，除闪存和高端外的所有产品全部软件化，对存储体系软件化、硬件标准化的发展方向进行摸索性应对；
IBM发布Spetrum战略，投资10亿美元用于投入SDS领域，分三个阶段实施：存储虚拟化阶段、smart(API)阶段和应用平台阶段。目前，Cleversafe作为对象存储的领军产品，正在对象存储的市场上劈波斩浪；
NetApp提供StorageGRID（有两种形式：物理设备和虚拟设备），为该公司的存储产品组合提供了支持。NetApp拥有相当数量的PB级对象存储客户。除了虚拟设备外，NetApp还为基于软件的部署提供了有限的选择；
Huawei自收购华为-赛门铁克合资公司以来，就不绝在积极投资于存储行业。华为拥有多元化的产品组合，横跨SAN、NAS和对象存储三大产品线。华为的对象存储产品OceanStor/FusionStor。该产品只能作为华为贩卖的套装设备来部署。
3） 新兴分布式存储技术：时代的挑战者
Redhat 2014年5月以1.75亿美元收购Ceph办理方案公司inktank。并于2014年7月发布Ceph企业版，正式进入存储市场；
XSKY 于2015年5月建立，目前在开源存储体系Ceph社区的代码贡献排名位居中国第一，全球前三，而且与Redhat、戴尔、英特尔等公司达成合作；
国内也有大批的初创型公司以及一些传统企业涉足Ceph领域，例如ZTE，H3C，浪潮，Easystack，中移软件，sanstone等；
除此之外，另有一部分基于自研技术的分布式存储厂商，例如曙光，ZettaCloud等。
1.3. SDS利用场景分析

1.3.1. 从存储平面来划分

 iSDS利用场景：

1） 通过按需扩展性和充分利用商品化硬件资源，降低存储平台的总体拥有成本
Strengthen
成本：技术设施SDS不必要价格高昂的专有存储硬件。基础设施及运维人员将把存储软件部署在基于行业标准的服务器硬件上，并降低存储升级和维护成本带来的运营付出；
创新：基于行业标准的硬件可以或许迅速充分利用最新的服务器硬件创新，好比新的处理器芯片、固态硬盘（SSD）和普通硬盘（HDD）技术；
可用性：一些SDS办理放哪提供分布式向外扩展方案：冗余性实施在软件层；
性能：SDS可以或许通过添加节点或通过必要时升级现有的硬件服务器，增添和扩展性能及/容量，而不是预先购买整体式设计的体系；
灵活性：硬件平台缓解了厂商锁定、增强了互操作性，很容易由IT团队来扩展和升级；
灵敏性：存储配置和管理更容易集成到标准数据中心主动化和管理工具中。
Weakness
集成：必要接受SDS与商品化服务器的集成，必要与OEM/ODM提供商一同确保互操作性；
性能：SDS性能将基于硬件优化以及软硬件资源的公道配置，必要定期监控、测量和优化；
成本：必要密切关注SDS成本，确保总体办理方案不仅可以降低采购成本，还由于增强了IT责任，总体上降低总体拥有成本；
Suitable for
大型IT业务部门渴望降低成本资本付出；
针对非结构化数据的存储办理方案，数据增长迅速；
开发运维场景，必要常见的数据服务和数据移动性，此外必要消除专有硬件；
基础设施及运维领导人把IT作为一种核心专长和业务差异化优势，乐意投入新技能、培训和交付模式方式可能出现的变化。
2） 通过优化和合并存储IO，提拔性能
Strengthen
成本：IO优化产品可以在不干扰正常运行的情况下提拔虚拟机或物理主机的性能、无需升级硬件；
服从：IO优化软件将缓解常常困扰密集型虚拟机环境的“IO搅拌机”问题，提高密度；
性能：在更靠近应用程序和计算资源的地方添加存储功能可缩短事务时间、提高可连续IO。
Weakness
灵活性：由于在数据路径引入了额外的软件层和任何所需的主机代理，这种SDS办理方案可能会增加复杂性；
成本：可重复手动任务的主动化将提高IT生产力，以此降低存储的总体拥有成本。
Suitable for
IT业务部门和基础设施及运维人员渴望提拔之前部署的IT资产的性能、存储服从和利用率；
基础设施和运维人员、应用程序和服务器管理员渴望优化应用程序和工作负载的性能，而且实现服务质量和负载平衡。
 mSDS利用场景：

1） 改善存储资源的配置和主动化
Strengthen
成本：可重复手动任务的主动化可提拔IT生产力，从而降低存储的总体拥有成本；
可靠性：减少了人为错误，只管降低了风险；
灵敏性：可灵活地将存储作为服务来提供，将权力授予最终用户。
Weakness
创新：一些产品面临陡峭的学习曲线才可以或许定制，以满足企业要求，可能必要与开发运维团队互动；
集成：产品可能必要与其余SDDC工具集成起来；
灵活性：必要为新的存储办理方案和SDS制作并维护一个兼容性支持矩阵。
Suitable for
IT部门渴望简化为软件界说数据中心（SDDC）配置预先界说的存储服务类别；
基础设施及运维人员如今在管理异构存储资源，或者计划在不远的将来管理这种资源；
基础设施及运维人员渴望通过存储抽取、延长旧阵列的利用寿命。
2） 异构存储阵列稳健的利用率、管理和生命周期
Strengthen
成本：颠末改善的资产管理将延长遗留部署体系的利用寿命，可能还可以在现有存储办理方案上面添加新的数据服务，以此遏制成本；
服从：抽取和聚合存储容量可以用更少量的可用存储资源，满足更广泛的存储请求，以此提高利用率；
性能：聚合不通的存储资源可改善总体IO。
Weakness
灵活性：一些SDS虚拟化工具可能带来了另外的厂商锁定；
服从：一些可能只是用一小部分的SDS工具功能，因而使SDS产品的现实成本成为购买之前必要考虑的重要因素。
Suitable for
IT业务部门和基础设施人员力求延长之前部署的多厂商资产的利用资助；
基础设施及运维人员、应用陈旭和服务器管理员渴望优化应用程序和工作负载的容量、性能和移动。
3） 存储与更广泛的基础设施软件管理紧密配合
Strengthen
成本：减少过度配置的必要，提供了更迅速地满足存储容量和可用性要求这一能力，因而提高了资源利用率，只必要较少的硬性分配的物理资源及管理开销；
灵敏性：存储是由状态的，因而具有数据重力，这就必要花时间来移动数据。因此，可以或许让存储与IT的其他方面更配合、因而与业务需求更配合，意味着提高了满足业务需求的总体IT能力和速率。
Weakness
集成：这种SDS只适合拥有SDDC框架的企业。这种新兴方案必要额外的开发运维资源，以便将SDS整合到现有的IT运维管理平台之下；
灵活性：在新的框架下，遗留办理方案可能得不到支持。
Suitable for
IT部门力求实现标准的SDDC及主动化程度更高的数据中心。存储基础设施被当作数据中心平台的一部分，必要通过SDS集成来交付和控制；
适用于非常成熟的数据中心。
1.3.2. 从存储数据的类型来划分

根据计算资源和存储资源是否分离，SDS有融合模式和分离模式两种部署方式。根据不同的存储利用接口，SDS可以分为对象存储、文件存储和块存储，分别对应不同的应用场景。
块存储：虚拟机、数据库；
文件存储：备份&归档、共享资源池、IoT、大数据分析、HPC；
对象存储：备份&归档、视频/音频、影像、IoT、大数据分析、云应用。


2. 保险企业SDS对象存储实践

2.1. 对象存储

对象存储与熟悉的块和文件存储略有不同。它将数据整理到可灵活调整巨细的数据容器中，也就是对象。这些对象存储在可能跨多个位置的平面命名空间中。每个对象都包含数据（未解释的字节序列）和元数据（独一无二的 ID 再加上描述该对象的一组可扩展属性）。
[attach]2199[/attach]

此方式的优势在于，可以基于任何属性引用和查询数据。此外，不同于很容易放错地方的纸质停车票据，您可以通过多种方式找到正确的“票据”，而且还可以根据必要采用安全或简朴的方式利用票据。标识符标志支持大量文件索引，高出文件体系几个数量级，因而对象存储成为分布在各地而且包含几十亿个文件的企业存储的理想选择。
以下三大趋势促使人们越来越关注对象存储：
• 非结构化数据的连续增长要求采用新方式来存储和保护数据。支持对象的数据管理有助于智能数据放置，可满足广泛的性能、持久性、可用性、位置和长期性要求。
• 越来越多的企业必要应对日趋分散的数据创建和利用所带来的问题。“主数据中心加灾难规复数据中心”这种模式正徐徐被多站点方式所代替。在多站点方式中，用户、工作负载和数据的接洽越来越紧密。
• 混合云提供了可平衡成本和性能的新选项，而且 IT 团队希望找到公道利用内部存储和基于云的存储的最佳方式
2.2. 需求分析

保险企业对云对象存储的需求主要来自业务体系和存储运维管理两方面。其中业务体系方面的需求主要包括影像体系后端存储的升级改造、双录体系存储建设。而运维对云对象存储的需求则更倾向于存储安全性、容量和性能扩展性以及存储管理便捷性等方面。 需求分析如下：
在线票据影像场景主要处理小文件，及时性能要求高，目前以会合式NAS建设为主；票据影像归档场景处理海量文件的归档，性能要求不高，容量增长快，目前以存放到SDS对象存储为主。
2.3. 部署实践

2.3.1. 物理架构

[attach]2200[/attach]

2.3.2. 逻辑架构

[attach]2201[/attach]

2.3.3. 集群概述

此次采用了NetApp StorageGRID Webscale，可以打造一个易于实施的企业级交付即用办理方案。在物理服务器大将纯软件 StorageGRID Webscale 节点部署为容器，从而利用底层的存储，可以利用任何节点类型的组合，快速部署数 PB 存储。
该物理架构利用四类节点：
• 管理节点 — 提供配置、监控、审核和日志记载等管理服务。
• 存储节点 — 管理对象存储，包括复制。
• API 网关节点（可选）— 提供负载平衡接口，应用程序通过该接口毗连到利用标准 API 的 StorageGRID Webscale。
• 归档节点（可选）— 提供毗连到磁带等归档介质的接口。
可以在每个数据中心内通过每种类型的多个节点进行横向扩展，以支持大规模扩展。
NAS 协议网桥支持 SMB 和 NFS 访问，同时支持利用 Amazon S3 API 以对象方式访问这些文件。
存储租户可按分段为对象配置WORM保留和诉讼保留，可配置以便连同重复副本或者逻辑上的等同副本存储合规性数据。利用基于软件的加密和内置审计记载确保数据安全。
支持虚拟机部署，颠末优化且基于硬件的设备以及采用Docker容器技术的裸机服务进行部署，还可以通过组合方式进行部署。
2.3.4. 访问方式

1） S3接口
创建access key：
[attach]2202[/attach]

[attach]2203[/attach]

注意下载 key文件；
Netapp s3是https应用，必要厂商协助制作证书，具体调用可以参考官方文档：
https://library.netapp.com/ecmdocs/ECMLP2574702/html/GUID-1497F033-9021-47B5-A54F-28BC0C5B8C0A.html
2） S3 Browser
[attach]2204[/attach]

2.4. 实践中问题处理

1） 集群性能优化
针对不同的应用，在体系层面进行了定制化的优化步伐：
OS层面，采用了更适合应用的文件体系调理模式，体系采用了大页面技术；
网络层面，采用了万兆双网卡bond，并通过mod4支持交换机的堆叠。
2） 集群访问优化
利用F5作为访问入口，进行load balance。将集群的storage gateway与存储节点合一，节流了硬件资源，提高了利用率。
3） 副本技术与纠删码选择
分布式存储同时支持副本技术和纠删码技术，各有优势。当初为了节流空间，最大化存储，采用了纠删码。但是在运行一段实践后，发现存储节点的CPU利用率经常冲高，存储集群不稳固。后来颠末分析，纠删码在利用的过程中会吃掉部分CPU。以是，颠末考虑，保险起见，采用了副本技术。



3.项目收益

云对象存储的实施给企业现有的会合式 SAN 和 NAS 存储带来了更多的活力，是对传统存储架构的有效补充，增强了企业存储体系应对日益变化的前端业务需求的灵活性。
由于云对象存储产品普遍采用了商用 x86 硬件的分布式架构，因此较之于传统会合式的存储办理方案，这种新的平台可以有更灵活的横向在线扩展能力，从而可以轻松应对业务规模、数据量骤增带来的后端存储压力。
另外在云对象存储平台办理了企业海量非结构化数据存储需求的同时，通过其分布式架构天然具有的容灾特性可以轻松构建跨多站点的灾备方案。
再者，借助云对象存储对文件多版本的支持以及比传统存储更高的可用性、可靠性和可维护性指标， 云对象存储平台同时也成为了一个免备份的数据保护平台，从而可以进一步降低企业 IT 体系的 TCO。


原题：《保险企业软件界说存储规划及对象存储实践经验分享》
作者：顾文俊，主要从事通讯、IT、云计算、分布式存储相关领域的研发、售前顾问等，有十多年从业经验。目前负责某保险核心业务的云计算基础架构办理方案相关工作。


社区正在进行“保险行业对象存储需求分析及架构规划实践在线答疑交换”线上交换，如您对相关话题感爱好，欢迎点击阅读原文参加，即可提问、参与探讨。


下载 twt 社区客户端 APP
与更多偕行在一起
高手随时解答你的疑难问题

轻松订阅各领域技术主题
浏览下载最新文章资料
[attach]2205[/attach]


[attach]2206[/attach]

长按识别二维码即可下载
或到应用商店搜索“twt”


长按二维码关注公众号
[attach]2207[/attach]



*本公众号所发布内容所涉及之技术或产品相关观点均来自作者，仅供参考之用，不代表社区立场

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4