ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据基础：Doris重点架构原理 [打印本页]
作者: 圆咕噜咕噜    时间: 2024-7-20 02:47
标题: 大数据基础：Doris重点架构原理

文章目次
Doris重点架构原理
一、Apache Doris先容
二、Apache Doris使用场景
三、Apache Doris架构原理
四、Apache Doris 特点

Doris重点架构原理

一、Apache Doris先容

基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以 支持高并发的点查询场景，也能支持高吞吐的复杂分析场景 。

二、Apache Doris使用场景



三、Apache Doris架构原理


Doris 架构非常简单，只有两类进程FE和BE，这两类进程都是可以横向扩展的，单集群可以支持到数百台呆板，数十 PB 的存储容量。而且这两类进程通过同等性协议来包管服务的高可用和数据的高可靠。这种高度集成的架构筹划极大的低落了一款分布式系统的运维成本。

FE又分为 Leader、Follwer和Observer三种脚色 ，默认一个Doris集群中只能有一个Leader，可以有多个Follwer和Observer。其中Leader和Follwer构成一个Paxos选择组，如果Leader宕机，则剩下的Follower会自动选出新的Leader，包管单节点宕机环境下元数据的高可用及数据写入高可用。
Observer用来扩展查询节点、同步Leader元数据举行备份，如果Doris集群压力非常大，可以扩展Observer节点来进步集群查询能力，Observer不加入选举、数据写入，只加入数据读取。

BE分布式的存储Doris table表数据，table表数据会经过分区分桶形成tablet，tablet采用列式存储，默认有3个副本。BE会吸收FE命令来创建、查询、删除table表，吸收来自FE的执行筹划并分布式执行。BE会通过索引和谓词下推快速过滤数据，可以在后台执行Compact任务，减少查询时的读放大。

Apache Doris架构中除了有BE和FE进程之外，还可以摆设Broker可选进程，主要用于支持Doris读写远端存储上的文件和目次。例如：Apache HDFS 、阿里云OSS、亚马逊S3等。
Broker 通过提供一个 RPC 服务端口来提供服务，是一个无状态的 Java 进程，负责为远端存储的读写操作封装一些类 POSIX 的文件操作，如 open，pread，pwrite 等等。除此之外，Broker 不记录任何其他信息，所以包括远端存储的连接信息、文件信息、权限信息等等，都必要通过参数在 RPC 调用中传递给 Broker 进程，才能使得 Broker 能够精确读写文件。Broker 仅作为一个数据通路，并不加入任何盘算，因此仅需占用较少的内存。通常一个 Doris 系统中会摆设一个或多个 Broker 进程。

四、Apache Doris 特点