软件定义存储SDS应用场景分析 & 保险企业SDS对象存储实践分享
作者：顾文俊1.软件定义存储SDS概述
物联网 (IoT) 的发达发展推动告终构化/非布局化数据的空前增长，给企业带来了发掘新客户、创造新收入泉源的巨大机会。对于IT部门来说，必要在满意海量数据增长的同时，还必须提供存储方式以及其访问方式的多样性。必要IT部门同时能够对于传统环境以及云环境提供技术支持。因此，数据密集型企业的 IT 组织必须重新评估如何管理日益分散的异构数据和应用程序环境。
软件定义存储SDS（Software Define Storage）可以保障系统的存储访问能在一个精准的水平上更机动地管理。软件定义存储是从硬件存储钟抽象出来的，这也意味着它可以编程一个不受物理系统限制的共享池，以便于最有效地使用资源。它还可以通过软件和管理举行部署和供应，也可以通过基于策略的自动化管理进一步简化。作为IT底子架构云化不可或缺的一环，软件定义存储（SDS）办理方案因其机动性、敏捷性、自动化、高本钱服从、高度可拓展性等关键优势，近年来也愈发受到业界关注。
1.1. 什么是软件定义存储
1.1.1. Gartner定义
SDS将源于物理或虚拟装备或存储服务的存储本领抽象出来，提供敏捷性和交付QoS的同时，还可以优化本钱。存储服务通过分为控制平面（管理和策略实施）和数据平面（底子架构和数据传输）的软件层，凭借互操纵的、可编程的接口举行编排，来满意预先定义好的策略或者SLA,与数据存放的位置无关。
Gartner认为，SDS具备如下的特色：
[*]能够动态抽取来自物理或者虚拟装备的存储功能——独立于存储位置或种别，提供更高的敏捷性、确保服务质量，同时优化本钱。
[*]以软件的情势提供使用或者许可，不必要从同一厂商购买硬件或者专有硬件。一些厂商可以将SDS包装成预先即成的硬件办理方案，加速交付速度。
[*]拥有下列主要特性中的一个或者几个：抽取、丈量、可编程性、自动化、移动性、策略管理及编排。
软件定义存储办理方案可以分为两类：iSDS和mSDS
iSDS-底子办法SDS，创建并提供代替或者增强传统存储阵列的数据中心服务。目标常常在于让存储系统可以部署到本钱较低、基于行业标准的硬件上，以此改善资源付出（Capex）。
mSDS-与现有的存储系统联系、提供更强的存储服务敏捷性。mSDS产物能够对存储资源实现抽取、移动性、虚拟化、存储资源管理（SRM）及I/O优化。目标常常在于淘汰对管理工作量的需求，以此改善运营付出（Opex）。
从Gartner Hyper Cycle2017年曲线看出，iSDS相比mSDS更加成熟。
从Gartner优先级矩阵看，iSDS是一个革命性的技术，而mSDS的优先级只是中等。也就是说，iSDS的未来更加美好。
1.1.2. SNIA定义
SNIA在SDS的定义中提到，SDS答应异构的或者专有的平台。必须满意的是，这个平台能够提供部署和管理其虚拟存储空间的自助服务接口。除此之外，SDS应该包括：
[*]自动化：简化管理，低落维护存储架构的本钱；
[*]标准接口：提供应用编程接口，用于管理、部署和维护存储装备和存储服务；
[*]虚拟数据路径：提供块、对象和文件的接口，支持应用通过这些接口写入数据；
[*]扩展性：无需中断应用，也能提供可靠性和性能的无缝扩展；
[*]透明性：提供存储消费者对存储使用状态及本钱的监控和管理。
SNIA认为，存储服务的捏词必要答应数据拥有者（存储用户）同时表达，对于数据和所需服务水准的需求。数据的需求，就是SDS建立在数据路径（data path）的虚拟化，而控制路径（control path）也必要被抽象化成为存储服务。数据路径由以往的标准接口（块、文件和对象）组成。控制路径，在传统存储中，就是指存储管理员为数据提供部署数据的服务。在使用纯铜存储的大多数情况下，每一个数据服务有着各自的管理接口。变更数据服务，会导致所有存放在相应存储空间的数据都受到影响。理想的SDS，其传递数据请求的方式是：让应用通过元数据来请求相应的数据服务。实现了存储底子架构的自动化机制，极大地低落了人工运维本钱，数据请求需直接传达至自动化软件。它能够直接应对请求，分配应用人员所需的存储资源，而无需人工干涉。
1.2. 行业分析
1.2.1. 全球&中国市场分析
图中看出：到2020年，20%的软件定义存储底子办法项目将有单独的软件和硬件采购报价和决议，而现在不到15%；到2022年，30%的企业将实施至少一种混合云存储方式，而2018年仅为5%；到2019年，尚未更新并运行在8GBps光纤通道FC和10G以太网上的存储网络将成为存储阵列的性能发挥的瓶颈；到2022年，50%以上的大型企业的数据中心的存储介质中将继承保留磁带；到2020年，存储业务领军企业就将面临必要提供足够的存储本领以满意世界对存储的渴望的挑战。
1.2.2. 厂商分析
1） 云服务、虚拟化厂商：积极应对，做时代变革者
AWS提供了多样化的云存储，ESB/S3/EFS/S3 Glacier/Snowball等，为客户提供了多种选择；
阿里云同样提供了块，对象，文件存储，同时提供了很多存储服务；
VMware 通过发布分布式Server SAN存储产物vSAN,在vSphere场景下全面挑战传统存储厂商；
Intel 积极寻求多方面SDS控制面合作及标准制定，2015年自动联手EMC 推SDS CoprHD开源标准。同时，推出多款SSD存储盘，为SDS提供技术支持。
2） 传统存储厂商：严防死守，连续现有优势
EMC是传统存储厂商的代表，要保护已有存储市场，在EMC World2013上发布ViPR，基于控制面举行SDS构建。同时通过发布软件化战略，支持传统阵列变为软件定义存储，除闪存和高端外的所有产物全部软件化，对存储系统软件化、硬件标准化的发展方向举行试探性应对；
IBM发布Spetrum战略，投资10亿美元用于投入SDS领域，分三个阶段实施：存储虚拟化阶段、smart(API)阶段和应用平台阶段。目前，Cleversafe作为对象存储的领军产物，正在对象存储的市场上劈波斩浪；
NetApp提供StorageGRID（有两种情势：物理装备和虚拟装备），为该公司的存储产物组合提供了支持。NetApp拥有相当数量的PB级对象存储客户。除了虚拟装备外，NetApp还为基于软件的部署提供了有限的选择；
Huawei自收购华为-赛门铁克合资公司以来，就不停在积极投资于存储行业。华为拥有多元化的产物组合，横跨SAN、NAS和对象存储三大产物线。华为的对象存储产物OceanStor/FusionStor。该产物只能作为华为贩卖的套装装备来部署。
3） 新兴分布式存储技术：时代的挑战者
Redhat 2014年5月以1.75亿美元收购Ceph办理方案公司inktank。并于2014年7月发布Ceph企业版，正式进入存储市场；
XSKY 于2015年5月成立，目前在开源存储系统Ceph社区的代码贡献排名位居中国第一，全球前三，并且与Redhat、戴尔、英特尔等公司达成合作；
国内也有大批的初创型公司以及一些传统企业涉足Ceph领域，比方ZTE，H3C，浪潮，Easystack，中移软件，sanstone等；
除此之外，还有一部分基于自研技术的分布式存储厂商，比方曙光，ZettaCloud等。
1.3. SDS使用场景分析
1.3.1. 从存储平面来划分
iSDS使用场景：
1） 通过按需扩展性和充分使用商品化硬件资源，低落存储平台的总体拥有本钱
Strengthen
本钱：技术办法SDS不必要价格高昂的专有存储硬件。底子办法及运维人员将把存储软件部署在基于行业标准的服务器硬件上，并低落存储升级和维护本钱带来的运营付出；
创新：基于行业标准的硬件能够迅速充分使用最新的服务器硬件创新，比如新的处理器芯片、固态硬盘（SSD）和普通硬盘（HDD）技术；
可用性：一些SDS办理放哪提供分布式向外扩展方案：冗余性实施在软件层；
性能：SDS能够通过添加节点或通过必要时升级现有的硬件服务器，增添和扩展性能及/容量，而不是预先购买团体式计划的系统；
机动性：硬件平台缓解了厂商锁定、增强了互操纵性，很容易由IT团队来扩展和升级；
敏捷性：存储配置和管理更容易集成到标准数据中心自动化和管理工具中。
Weakness
集成：必要接受SDS与商品化服务器的集成，必要与OEM/ODM提供商一同确保互操纵性；
性能：SDS性能将基于硬件优化以及软硬件资源的公道配置，必要定期监控、丈量和优化；
本钱：必要密切关注SDS本钱，确保总体办理方案不但可以低落采购本钱，还由于增强了IT责任，总体上低落总体拥有本钱；
Suitable for
大型IT业务部门盼望低落本钱资源付出；
针对非布局化数据的存储办理方案，数据增长迅速；
开发运维场景，必要常见的数据服务和数据移动性，别的必要消除专有硬件；
底子办法及运维向导人把IT作为一种焦点专长和业务差异化优势，乐意投入新技能、培训和交付模式方式可能出现的变革。
2） 通过优化和合并存储IO，提升性能
Strengthen
本钱：IO优化产物可以在不干扰正常运行的情况下提升虚拟机或物理主机的性能、无需升级硬件；
服从：IO优化软件将缓解常常困扰密集型虚拟机环境的“IO搅拌机”题目，进步密度；
性能：在更靠近应用程序和计算资源的地方添加存储功能可收缩事务时间、进步可连续IO。
Weakness
机动性：由于在数据路径引入了额外的软件层和任何所需的主机署理，这种SDS办理方案可能会增长复杂性；
本钱：可重复手动任务的自动化将进步IT生产力，以此低落存储的总体拥有本钱。
Suitable for
IT业务部门和底子办法及运维人员盼望提升之前部署的IT资产的性能、存储服从和使用率；
底子办法和运维人员、应用程序和服务器管理员盼望优化应用程序和工作负载的性能，并且实现服务质量和负载均衡。
mSDS使用场景：
1） 改善存储资源的配置和自动化
Strengthen
本钱：可重复手动任务的自动化可提升IT生产力，从而低落存储的总体拥有本钱；
可靠性：淘汰了人为错误，只管低落了风险；
敏捷性：可机动地将存储作为服务来提供，将权力授予最终用户。
Weakness
创新：一些产物面临陡峭的学习曲线才能够定制，以满意企业要求，可能必要与开发运维团队互动；
集成：产物可能必要与其余SDDC工具集成起来；
机动性：必要为新的存储办理方案和SDS制作并维护一个兼容性支持矩阵。
Suitable for
IT部门盼望简化为软件定义数据中心（SDDC）配置预先定义的存储服务种别；
底子办法及运维人员如今在管理异构存储资源，或者操持在不远的未来管理这种资源；
底子办法及运维人员盼望通过存储抽取、延伸旧阵列的使用寿命。
2） 异构存储阵列稳健的使用率、管理和生命周期
Strengthen
本钱：经过改善的资产管理将延伸遗留部署系统的使用寿命，可能还可以在现有存储办理方案上面添加新的数据服务，以此遏制本钱；
服从：抽取和聚合存储容量可以用更少量的可用存储资源，满意更广泛的存储请求，以此进步使用率；
性能：聚合不通的存储资源可改善总体IO。
Weakness
机动性：一些SDS虚拟化工具可能带来了别的的厂商锁定；
服从：一些可能只是用一小部分的SDS工具功能，因而使SDS产物的实际本钱成为购买之前必要思量的紧张因素。
Suitable for
IT业务部门和底子办法人员力求延伸之前部署的多厂商资产的使用帮助；
底子办法及运维人员、应用陈旭和服务器管理员盼望优化应用程序和工作负载的容量、性能和移动。
3） 存储与更广泛的底子办法软件管理精密共同
Strengthen
本钱：淘汰过分配置的必要，提供了更迅速地满意存储容量和可用性要求这一本领，因而进步了资源使用率，只必要较少的硬性分配的物理资源及管理开销；
敏捷性：存储是由状态的，因而具有数据重力，这就必要花时间来移动数据。因此，能够让存储与IT的其他方面更共同、因而与业务需求更共同，意味着进步了满意业务需求的总体IT本领和速度。
Weakness
集成：这种SDS只得当拥有SDDC框架的企业。这种新兴方案必要额外的开发运维资源，以便将SDS整合到现有的IT运维管理平台之下；
机动性：在新的框架下，遗留办理方案可能得不到支持。
Suitable for
IT部门力求实现标准的SDDC及自动化程度更高的数据中心。存储底子办法被当作数据中心平台的一部分，必要通过SDS集成来交付和控制；
适用于非常成熟的数据中心。
1.3.2. 从存储数据的类型来划分
根据计算资源和存储资源是否分离，SDS有融合模式和分离模式两种部署方式。根据差别的存储使用接口，SDS可以分为对象存储、文件存储和块存储，分别对应差别的应用场景。
块存储：虚拟机、数据库；
文件存储：备份&归档、共享资源池、IoT、大数据分析、HPC；
对象存储：备份&归档、视频/音频、影像、IoT、大数据分析、云应用。
2. 保险企业SDS对象存储实践
2.1. 对象存储
对象存储与熟悉的块和文件存储略有差别。它将数据整理到可机动调整巨细的数据容器中，也就是对象。这些对象存储在可能跨多个位置的平面定名空间中。每个对象都包含数据（未解释的字节序列）和元数据（独一无二的 ID 再加上描述该对象的一组可扩展属性）。
此方式的优势在于，可以基于任何属性引用和查询数据。别的，差别于很容易放错地方的纸质停车单子，您可以通过多种方式找到准确的“单子”，而且还可以根据必要接纳安全或简朴的方式使用单子。标识符标志支持大量文件索引，高出文件系统几个数量级，因而对象存储成为分布在各地并且包含几十亿个文件的企业存储的理想选择。
以下三大趋势促使人们越来越关注对象存储：
• 非布局化数据的连续增长要求接纳新方式来存储和保护数据。支持对象的数据管理有助于智能数据放置，可满意广泛的性能、持久性、可用性、位置和长期性要求。
• 越来越多的企业必要应对日趋分散的数据创建和使用所带来的题目。“主数据中心加灾难规复数据中心”这种模式正逐渐被多站点方式所代替。在多站点方式中，用户、工作负载和数据的联系越来越精密。
• 混合云提供了可均衡本钱和性能的新选项，并且 IT 团队希望找到公道使用内部存储和基于云的存储的最佳方式
2.2. 需求分析
保险企业对云对象存储的需求主要来自业务系统和存储运维管理两方面。此中业务系统方面的需求主要包括影像系统后端存储的升级改造、双录系统存储建设。而运维对云对象存储的需求则更倾向于存储安全性、容量和性能扩展性以及存储管理便捷性等方面。 需求分析如下：
[*]业务发生在白天6-8小时，上传和查询比为1:3；
[*]均匀每交易产生10个文件，文件均匀巨细100~200KB；
[*]要求查询一批文件的时间小于3秒；
[*]上传业务以突发性（有一定周期性）写为主（文件写操纵，有一定量的写合并），4K和128K占较大比例；
[*]下载业务以连续较随机读为主，IO巨细4K~32K。
[*]特性需求：WORM、一体化备份、快照、远程复制。
[*]业务挑战：海量非布局化小文件，在线存储本钱高，容量有限，备份和规复服从要求高。
在线单子影像场景主要处理小文件，实时性能要求高，目前以集中式NAS建设为主；单子影像归档场景处理海量文件的归档，性能要求不高，容量增长快，目前以存放到SDS对象存储为主。
2.3. 部署实践
2.3.1. 物理架构
2.3.2. 逻辑架构
2.3.3. 集群概述
此次接纳了NetApp StorageGRID Webscale，可以打造一个易于实施的企业级交付即用办理方案。在物理服务器上将纯软件 StorageGRID Webscale 节点部署为容器，从而使用底层的存储，可以使用任何节点类型的组合，快速部署数 PB 存储。
该物理架构使用四类节点：
• 管理节点 — 提供配置、监控、审核和日记记录等管理服务。
• 存储节点 — 管理对象存储，包括复制。
• API 网关节点（可选）— 提供负载均衡接口，应用程序通过该接口毗连到使用标准 API 的 StorageGRID Webscale。
• 归档节点（可选）— 提供毗连到磁带等归档介质的接口。
可以在每个数据中心内通过每种类型的多个节点举行横向扩展，以支持大规模扩展。
NAS 协议网桥支持 SMB 和 NFS 访问，同时支持使用 Amazon S3 API 以对象方式访问这些文件。
存储租户可按分段为对象配置WORM保留和诉讼保留，可配置以便连同重复副本或者逻辑上的等同副本存储合规性数据。使用基于软件的加密和内置审计记录确保数据安全。
支持虚拟机部署，经过优化且基于硬件的装备以及接纳Docker容器技术的裸机服务举行部署，还可以通过组合方式举行部署。
2.3.4. 访问方式
1） S3接口
创建access key：
注意下载 key文件；
Netapp s3是https应用，必要厂商协助制作证书，具体调用可以参考官方文档：
https://library.netapp.com/ecmdocs/ECMLP2574702/html/GUID-1497F033-9021-47B5-A54F-28BC0C5B8C0A.html
2） S3 Browser
2.4. 实践中题目处理
1） 集群性能优化
针对差别的应用，在系统层面举行了定制化的优化步伐：
OS层面，接纳了更得当应用的文件系统调度模式，系统接纳了大页面技术；
网络层面，接纳了万兆双网卡bond，并通过mod4支持交换机的堆叠。
2） 集群访问优化
使用F5作为访问入口，举行load balance。将集群的storage gateway与存储节点合一，节流了硬件资源，进步了使用率。
3） 副本技术与纠删码选择
分布式存储同时支持副本技术和纠删码技术，各有优势。当初为了节流空间，最大化存储，接纳了纠删码。但是在运行一段实践后，发现存储节点的CPU使用率经常冲高，存储集群不稳固。后来经过分析，纠删码在使用的过程中会吃掉部分CPU。以是，经过思量，保险起见，接纳了副本技术。
3.项目收益
云对象存储的实施给企业现有的集中式 SAN 和 NAS 存储带来了更多的活力，是对传统存储架构的有效增补，增强了企业存储系统应对日益变革的前端业务需求的机动性。
由于云对象存储产物普遍接纳了商用 x86 硬件的分布式架构，因此较之于传统集中式的存储办理方案，这种新的平台可以有更机动的横向在线扩展本领，从而可以轻松应对业务规模、数据量骤增带来的后端存储压力。
别的在云对象存储平台办理了企业海量非布局化数据存储需求的同时，通过其分布式架构天然具有的容灾特性可以轻松构建跨多站点的灾备方案。
再者，借助云对象存储对文件多版本的支持以及比传统存储更高的可用性、可靠性和可维护性指标， 云对象存储平台同时也成为了一个免备份的数据保护平台，从而可以进一步低落企业 IT 系统的 TCO。
原题：《保险企业软件定义存储规划及对象存储实践经验分享》
作者：顾文俊，主要从事通讯、IT、云计算、分布式存储相关领域的研发、售前顾问等，有十多年从业经验。目前负责某保险焦点业务的云计算底子架构办理方案相关工作。
社区正在举行“保险行业对象存储需求分析及架构规划实践在线答疑交流”线上交流，如您对相关话题感兴趣，接待点击阅读原文参加，即可提问、参与探究。
下载 twt 社区客户端 APP
与更多同行在一起
高手随时解答你的疑难题目
轻松订阅各领域技术主题
欣赏下载最新文章资料
长按识别二维码即可下载
或到应用商店搜索“twt”
长按二维码关注公众号
*本公众号所发布内容所涉及之技术或产物相关观点均来自作者，仅供参考之用，不代表社区立场
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]