ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据最全Impala-架构与设计_impala架构，2024年最新大数据开发口试题集锦 [打印本页]

作者: 飞不高 时间: 2024-8-28 07:51
标题: 大数据最全Impala-架构与设计_impala架构，2024年最新大数据开发口试题集锦

四、Impala查询流程
- 1.发起查询
  - 2.生成执行计划
  - 3.分配任务
  - 4.交换中间数据
  - 5.汇集效果
  - 6.返回效果
总结
参考链接

一、配景和劈头

现有的大数据查询分析工具Hive更适合长时间批处理查询分析，并不能满意及时交互式场景。因此根据谷歌的Dremel设计头脑，Cloudera公司开发了一款高服从及时查询工具Impala，其性能比Hive快10到100倍。Impala没有使用MapReduce举行计算，而是将整个查询转化成执行计划树，分发到各个机器执行，然后通过拉的方式获取效果并组合成最闭幕果。
二、框架概述

Impala是一款基于Hive的大数据分析查询引擎，直接使用Hive的元数据Metastore，因此如果使用Impala须要先安装Hive并启动Metastore服务。Impala不依赖MapReduce而是将执行计划树举行并行计算，使用拉的方式获取效果数据，把效果数据按执行树流是转达汇集，淘汰中间效果落盘。
1.设计特点

本地化计算、淘汰数据的网络传输
接纳Hive Metastore举行元数据存储和管理
无需举行格式转化
支持即席查询无耽误
接纳大规模并行处理架构、硬件利用率高
不依赖MapReduce，并行处理执行计划，制止启动MapReduce开销
效果写入内存并通过网络汇总，节流读写磁盘开销

2.框架优点

基于内存举行计算，适合及时交互式SQL查询和分析
无需转化为MapReduce，直接访问HDFS以及Hbase数据，低耽误

3.框架限定

数据须要写入内存，对内存斲丧比力大
没有容错逻辑，如果执行过程发生错误会直接返回错误
不支持UDF定制

三、架构图

Impala接纳MPP架构，主要由Impala Daemon、Statestore和Catalog等三个模块组成。
1.Impala Daemon

接收查询哀求，将查询哀求生成计划树，分发执行计划到其他节点。举行数据读写，将效果举行汇总并返回。
Impala Daemon服务包罗三个模块：Query Planner、Query Coordinator和Query Executor。
2.Statestore

主要是收集集群中所有Deamon的节点信息和健康环境。每个Deamon会从Statestore拉取并缓存所有Deamon相关信息，用于执行计划的分配。
3.Catalog

Impala的元数据服务，集群启动时从Hive Metastore加载元数据信息，如需再次加载须要使用invalidate metadata、refresh下令。Catalog负责接收Statestore的元数据查询哀求。在Impala执行SQL导致元数据发生变革时，Catalog会将元数据变革同步给Statestore，再由Statestore广播给所有Daemon节点。
四、Impala查询流程

1.发起查询

客户端向Impala集群恣意节点发送查询SQL语句
2.生成执行计划

Query Planner对查询语句举行解析生成解析树，然后将解析树酿成执行计划。

既有适合小白学习的零底子资料，也有适合3年以上履历的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比力多，这里只是将部门目次截图出来，全套包罗大厂面经、学习条记、源码讲义、实战项目、大纲路线、讲解视频，而且后续会连续更新
须要这份系统化资料的朋友，可以戳这里获取
目次截图出来，全套包罗大厂面经、学习条记、源码讲义、实战项目、大纲路线、讲解视频，而且后续会连续更新**
须要这份系统化资料的朋友，可以戳这里获取

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)