什么是数据可观测性?

一、定义  

数据可观测性是指在组织内的各种流程、系统和管道中监控、管理和维护数据，以确保数据的质量、可用性和可靠性。它不光涉及传统监控描述问题的层面，还能近乎及时地识别、排查息争决数据问题，帮助从业者了解端到端数据质量，包括数据可靠性。
二、重要性   

数据可靠性问题广泛 ：大多数组织认为自身数据不可靠，如 82% 的受访者表示数据质量问题阻碍数据集成项目，80% 的高管不信任数据。不良数据影响严重，如 2022 年 5 月 Unity Software 因获取不良数据导致股票暴跌 30%，丧失 1.1 亿美元收入。
传统数据问题识别困难 ：与应用程序宕机立即影响用户不同，企业可能在不知不觉中对不良数据举行操纵较长时间，如销售团队能立即知道 Salesforce 仪表板未加载，却难以及时发现仪表板数据不正确。
防止不良数据的关键 ：数据可观测性监控数据管道，确保数据完整、正确和及时交付，防止数据停机，满足数据 SLA 要求，维护企业对数据的信任。
三、演变   

更多外部数据源 ：已往数据基础办法处置处罚少量内部运营数据，如今数据产品依赖大量内外部数据，导致意外漂移、架构更改、转换和延迟等问题。
更复杂的转换 ：需转换、构建和聚合多种格式的大量外部数据，若格式变化，严格编码逻辑无法适应，引发卑鄙失败的多米诺骨牌效应。   
过于关注分析工程 ：复杂的摄取管道催生自动化摄取和 ETL/ELT 流程的工具，形成现代数据堆栈（MDS），但自动化程度越高，对数据交付方式的控制越少，组织需构建自定义数据管道保证数据按预期交付。
四、与 DataOps 运动   

DataOps 是实现灵敏交付管道和反馈循环的工作流程，使企业高效创建和维护产品，其周期包括三个阶段：
检测 ：以验证为重点，举行数据质量查抄，确保数据集符合业务规则，但本质上是被动的。
感知 ：以可见性为中心，引入元数据优先方法，会合和标准化管道及数据集元数据，让团队了解组织内问题，实现更主动解决数据问题。
迭代 ：以流程为中心，确保数据开发有可重复且可持续的标准，从而改善数据平台整体运行状况。
五、优势   

更高的数据质量 ：及早发现数据问题，如缺失值、重复记载或格式不一致等，使组织做出更好的数据驱动型决策，改善运营、客户满足度和整体绩效。
更快的故障排除 ：通过非常检测、及时监控和警报快速识别数据错误或偏差，降低停机成本和严重性。
改进的协作 ：共享仪表板让各长处相关者了解关键数据集状态，促进团队间协作。   
进步效率 ：查明瓶颈和性能问题，优化系统，进步资源利用率和缩短处置处罚时间，自动化镌汰维护数据运行状况的时间和精力。
进步合规性 ：帮助金融、医疗保健和电信等受监管行业组织确保数据符合标准，降低不合规风险。
增强的客户体验 ：维护正确、最新的客户数据，使组织提供更个性化、更相关的体验，进步客户满足度和忠诚度。
增加收入 ：进步数据质量解锁新看法、识别趋势和发现创收机会，充分利用数据资产增加收入和增长。
六、五大支柱   

新鲜度 ：描述数据更新程度和频率，数据管道停止通常因新鲜度问题。
分布 ：数据字段级运行状况指标，与预期分布偏差可能表示数据质量问题、错误或更改。
音量 ：衡量数据天生、提取、转换和移动量以及数据表完整性，是关键指标。
架构 ：描述数据组织，架构更改常导致数据破坏，数据可观测性确保数据组织一致、兼容并保持完整性。
血源 ：答复数据停止时 “Where？” 的问题，查看数据从源到结束位置的过程及变化。   
七、与数据质量   

数据可观测性支持数据质量，但两者管理数据不同。数据可观测性可指出质量问题，但不能保证精良质量，需解决和预防数据问题；数据质量监控衡量数据集状况是否满足预期用途，根据正确性、完整性等维度查抄数据。
八、与数据治理   

数据可观测性和数据治理相辅相成。数据治理确保数据可用、可用、一致且安全，符合内部标准和计谋，强盛的数据治理筹划有助于消除数据孤岛等问题，数据可观测性通过监控数据质量、可用性和相沿变化帮助治理筹划。
九、层次结构   

监控运行状况、静态和动态数据
静态数据 ：监督数据集作为一个整体的状态，答复数据集是否按时到达、是否按需更新、是否有预期数据量等问题。
动态数据 ：监控管道状态，了解数据在转换和通过管道时的状态，答复管道性能对数据集质量的影响等问题。
列级分析 ：建立新业务规则和实施现有业务规则，答复列的预期范围、架构、独特性等问题，改进数据质量框架。
行级验证 ：查看每行数据值是否正确，关注数据值格式、长度及信息充分性等，但需注意结合其他层次获得全局信息。   
十、实现框架步骤   

定义关键指标 ：确定需跟踪的指标，如数据质量指标、数据量、延迟、错误率和资源利用率等。
选择合适工具 ：选择与现有基础办法兼容、可处置处罚运营规模的数据收集、存储、分析和警报工具。
标准化库 ：建立用于 API 和数据管理及数据质量的标准化库，让团队同一语言并公开交换问题。
检测数据管道 ：将数据收集库或代理集成到数据管道中，收集定义指标，实现全面可见性。
设置数据存储解决方案 ：选择可扩展的数据库或时间序列平台存储收集指标。
实施数据分析工具 ：使用提供直观可视化和复杂查询支持的工具从存储指标中获得看法。
配置警报和通知 ：建立系统，在凌驾阈值或发生非常时发送自动警报，及时响应问题。
与事件管理平台集成 ：将可观测性管道与事件管理系统集成，简化响应工作流程。
定期查看和更新 ：随着业务发展，定期审查和更新可观测性管道，确保其提供须要洞察和性能。   




免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！