过亿云资源运维管控难？华为云CloudMap带你喝着咖啡做运维 ...

择要：华为云站点数字化平台CloudMap携手华为云图引擎GES打造云服务全栈拓扑，网络流量路径和云服务动态依靠等空间关系数据，支撑现网运行态风险辨认和分钟级定位定界，构建业界领先的数字化本领。  本文分享自华为云社区《构建站点数字孪生，支撑确定性运维：华为云九洲云图CloudMap》，作者：HWCloudAI 。
随着云计算财产的蓬勃发展，站点数字化历程方兴未艾，如何管理云站点中数目众多的云资源和日益复杂的关系数据，通过数字化技能提前辨认和发现现网风险，保证现网不出巨大事故成为当前SRE面对的巨大挑战。面对海量业务和运维数据，如何构建站点级数字孪平生台，让数据发挥自身价值为SRE所用，是迈入DataOps的我们亟需解决的题目。为此，华为云站点数字化平台CloudMap（以下简称“九洲平台CloudMap”）携手华为云图引擎GES打造云服务全栈拓扑，网络流量路径和云服务动态依靠等空间关系数据，支撑现网运行态风险辨认和分钟级定位定界，构建业界领先的数字化本领。
1、传统云资源运维面对的挑战

传统的云资源的运维存在诸多题目：对风险的管控仍旧依靠人工而不是工具体系，风火水电基础设施在碰到题目时因无法定位影响只能全局管控，使影响面无故扩大。由于缺乏云资源的拓扑信息，部分资源依靠获取不到会导致许多题目的搁置……提升云资源的自动化运维本领，面对诸多挑战：
缺乏拓扑信息，依靠分析难

不同的云资源（如租户信息、云服务信息、机柜机房信息）泉源于不同的体系中，从软件层面的云服务，到硬件层面的机房机柜等，都可能出现各种各样的题目，而且不同的云服务之间存在着一些依靠关系，一个云服务出题目可能影响其他云服务。
自动化程度低，题目定位依靠人工

即使拥有这些依靠关系并存储在设置管理数据库中，传统运维手段也只能定位题目节点，对于题目的爆炸半径（如题目节点依靠的机柜机房信息、或者受到其依靠的其他云服务)每每要依靠手工定位。
运维诉求杂，查询类型多

别的运维例行维护、故障定位需要进行类型繁多的查询，既需要有实时性要求的单点深度链路查询支撑运维，也需要全局类链路统计等偏离线任务的查询支撑卑鄙任务。
2、九洲平台CloudMap的解决方案

图 1 九洲平台CloudMap数据概览
九洲平台CloudMap携手华为云图引擎GES完成了亿级空间数据构建，通过租户资源拓扑构建、网络流量路径分析、服务动态依靠发现打造全链路可视本领，构筑基于站点视角的数字化平台，实现分钟级题目定界。
   

  图 2 云上资源拓扑关系示意图
2.1 租户资源拓扑构建

租户资源拓扑是将实体抽象成与其大小、形状无关的“点”，而把毗连实体的线路抽象成“线”。CloudMap通过整合各类体系中的数据信息，将华为云的租户与其相关租赁的物理机、假造机进行关系的构建并存储到华为云图引擎GES中，构建租户资源拓扑，使得依靠分析成为可能。在租户出现题目时第一时间能够通过“线”溯源回对应的租赁机器，并快速定位息争决此中的题目。
2.2 网络流量路径分析

华为云作为国内TOP云服务厂商，每日网络流量数据是比较巨大的，对于网络流量路径的管理和可视就如百度地图之于道路交通一样紧张。而在运维场景下，把握了网络流量路径可以进一步的增补由基础设施、基础服务到高阶服务之间的链路关系。CloudMap通过将哀求流量进行监控，绘制出一个团体、清晰的物理和假造网络路径，可以准确截断题目的蔓延，进步自动化运维程度。
2.3 服务动态依靠发现

服务依靠发现是发现分布式软件体系中各组件依靠关系的过程，随着华为云的规模扩张，服务每每会被拆分为多个子服务。分布式软件体系通过不同子服务之间的组合，提供了稳固多样化的服务。与此同时，由于这些错综复杂的依靠关系，也陪同着很多连锁反应。此中最经典的案例就是由于单个服务的故障导致其在分布式软件体系中快速流传，导致大量的服务失效。在华为云的一样平常运维中，把握各个服务的动态依靠是让云稳固可靠不可或缺的一项技能，它关系到了可否快速的找到保障服务的各个关联服务，制止其他服务引火烧身。CloudMap通过对服务间依靠的动态探测，构造全链路微服务依靠关系；同时借助GES的多跳查询本领，及时定位单服务题目的影响范围，制止大量服务失效，解决爆炸半径求解难的题目。
   

  图 3 服务资源视图查询示例
3、华为云图引擎GES助力CloudMap高效检索图数据

从数据入库到计算查询，华为云图引擎GES为九洲平台CloudMap的存储、查询和分析提供了一站式解决方案。
3.1 图数据建模

• 在复杂、巨大数据量的背景下很难利用传统的结构化数据库进行数据建模，图引擎帮助快速构建点到点、点到边之间的数据建模；
  
• 从基础设施到云服务，利用图引擎构建全栈元数据，创建了过亿的点边关系，同时这些点、边支持增加属性机制，让每个点、边都能存储对应的属性；
  
• 数亿级属性数据实现小时级数据导入本领，保证了数据的时效性。
  

   

  图 4 简化后的元数据截选
3.2 多样接口本领

华为云图引擎GES提供了丰富的API接口查询本领，CloudMap通过调用GES API，实现接口化的查询逻辑。现在CloudMap有数十个查询哀求通过GES的Cypher、PipelineQuery、PathQuery等接口完成，这些哀求响应和返回格式统一，便于处置惩罚，简化了CloudMap的处置惩罚逻辑，降低了运维诉求杂，查询类型多带来的业务开发本钱。查询哀求的高效响应，让长链路的空间关系数据得以快速查询并消费。
   

  3.3 计算分析

• 秒级响应本领：在图引擎的强盛算力支持下，九洲平台CloudMap实现了多点、多跳查询的本领，在复杂的空间关系中快速、准确的找到需要的数据及关系。此中利用业界领先的技能，图引擎将大量6-8跳查询的响应控制在秒级，使得CloudMap进行实时故障影响面分析、设备依靠关系查询成为可能；
  
• 离线计算本领：在对于需要巨大计算量、大量数据的分析型任务中，图引擎提供了异步任务本领，通过提前执行离线查询/算法任务并缓存结果，保证了结果获取的服从，支撑了CloudMap向卑鄙应用提供数据；
  
• 强盛索引机制：图引擎支持像关系型数据库一样的索引构建本领，可以基于label、属性等进行索引创建，实现全图属性过滤任务的快速响应；
  
• 稳固可靠的查询本领：由于数据量大、查询链路长的原因，在查询过程中每每会利用大量内存，图引擎通过内存管理技能控制总内存利用量，让查询稳固可靠。
  

   

  图 5 CloudMap数据示例
4、九洲平台CloudMap的应用

作为站点数字化平台，九洲平台CloudMap在图引擎GES上搭建运维图谱图模型，创建站点空间数据关系。通过叠加空间数据和运维作业数据，从而冲破数据孤岛、消除数据断裂点，形成运维知识图谱，开释数据价值，助力故障快速定位定界：
   

  

• 空间数据：通过提供华为云站点三类空间数据（租户资源拓扑、网络流量路径与服务架构依靠），提供从租户资源实例、物理网络到基础设施风火水电等全局视野，支撑快速辨认服务影响与租户影响范围；
  
• 知识图谱：基于以上空间数据，联合告警、变动、监控与事件等核心运维数据，通过整合整理，再提取出故障线索，形成发现即定界本领，提升黑盒和自愈规复触达服从。
  
• 专家履历：在各个运维场景下不断固化专家履历并进行实践和沉淀，使得专家履历真正使能运维数据。
  

制止现在，CloudMap空间关系数据已覆盖30+云服务，在分布式缓存服务DCS、云数据库服务RDS、文档数据库服务DDS和大数据服务MRS等高阶服务故障快恢场景应用落地。除此之外，CloudMap还为站点风控、变动风控、故障快恢等多个运维场景提供了数据底座和计算本领，极大提升了现网运维服从，为华为云稳固可靠，为SRE确定性运维而持续积极。

点击关注，第一时间了解华为云新鲜技能~

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。