配景介绍
Shuffle 演进
随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的紧张基石。如图1，目前在大数据基础架构下，我们紧张接纳 Spark、Flink、Presto 以及 Hive 作为计算引擎支持各类复杂业务场景需求，离线计算集群根本天天运行30+万左右的 Spark 作业，包括任务调度平台的 ETL 任务、Kyuubi 提交的 Adhoc 作业等，其作业的 Shuffle 数据规模可以大概达到30PB以上，同时单个作业的 Shuffle 量最大规模有几百TB。同时 Shuffle 算子作为大数据计算引擎中心数据处置惩罚最紧张的算子，Shuffle 的稳定性关系着线上大量离线作业的可靠性和性能。因此，对于海量的 Shuffle 中心数据和复杂多变的计算环境来说，保证 Shuffle 数据处置惩罚的稳定性对线上作业的稳定性和运行效率尤为紧张。
图1：B站大数据基础架构图
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
