ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【开源项目推荐】Great Expectations—开源的数据质量工具 [打印本页]

---

作者: 万有斥力    时间: 2024-3-22 07:30
标题: 【开源项目推荐】Great Expectations—开源的数据质量工具

大家好，我是独孤风。
又到了本周的开源项目推荐。数据质量是企业进行数据治理非常重要的一个环节，高质量的数据对管理决策，业务支撑都有非常重要的作用。
只有持续的数据质量改进才能推动数据治理体系的完善，差劲的数据质量就如同顽固的疾病一样，如果不能得到及时的改善，最终可能会导致重大的问题。
近几年来，管理数据质量的工具层出不穷，但是能够全面的对企业数据质量进行分析与洞察的工具并不多见。
那么，有没有好用的开源的数据质量项目呢？
今天为大家推荐的开源项目，就是一个极为优秀的数据质量检查工具，开源的数据质量管理项目。让我们一起来看看吧~

概述

今天为大家推荐的开源项目名为Great Expectations。
Great Expectations是一个开源的数据质量检查工具，使用了基于机器学习的数据质量自动化管理工作流程。它可以轻松地对数据质量进行验证、建模和监控。用户以期望(expectations)的形式定义断言(assertions)。顾名思义，期望是您期望从数据中获得的质量，断言则是用声明性语言编写的。
例如，下图的断言示例定义了passenger_count列的值必须介于1和6之间。

Great Expectations根据这个规则，就会对数据进行验证，并且能够自动生成便于阅读的数据诊断报告。Great Expectations的另一个功能是自动化数据分析。它可以根据统计数据，自动从数据中生成期望。由于数据质量工程师不必从头开始编写断言，因此大幅节省了开发的时间。一旦各种预期准备就绪，它们就可以被合并到数据管道中。
可在大数据流动后台回复“GreatExpectations”获取安装包，源代码与学习资料。
功能演示

请参考大数据流动视频号的功能演示：
如何安装？

整个Great Expectations的使用流程如下图所示。

需要python版本为 3.8 到 3.11。
可以用下面的命令进行安装。

1. pip install great_expectations

复制代码

如果要在python代码中使用，可以这样引入。

1. import great_expectations as gx

复制代码

随后建立一个上下文。

1. context = gx.get_context()

复制代码

连接数据。

1. validator = context.sources.pandas_default.read_csv(
2.     "https://raw.githubusercontent.com/great-expectations/gx_tutorials/main/data/yellow_tripdata_sample_2019-01.csv"
3. )

复制代码

定义一个期望

1. validator.expect_column_values_to_not_be_null("pickup_datetime")
2. validator.expect_column_values_to_be_between(
3.     "passenger_count", min_value=1, max_value=6
4. )
5. validator.save_expectation_suite()

复制代码

定义一个检查点。

1. checkpoint = context.add_or_update_checkpoint(
2.     name="my_quickstart_checkpoint",
3.     validator=validator,
4. )

复制代码

随后执行就可以了。

1. checkpoint_result = checkpoint.run()

复制代码

如果要查看结果可以执行下面的命令。

1. context.view_validation_result(checkpoint_result)

复制代码

支持的数据源

目前Great Expectations支持如下的数据源。


更多大数据，数据治理，人工智能知识分享，开源项目推荐，学习社群加入，请关注大数据流动。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4