论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
软件与程序人生
›
云原生
›
大数据最全Impala-架构与设计_impala架构,2024年最新大 ...
大数据最全Impala-架构与设计_impala架构,2024年最新大数据开发口试题集锦 ...
飞不高
金牌会员
|
2024-8-28 07:51:50
|
显示全部楼层
|
阅读模式
楼主
主题
548
|
帖子
548
|
积分
1644
既有适合小白学习的零底子资料,也有适合3年以上履历的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比力多,这里只是将部门目次截图出来,全套包罗大厂面经、学习条记、源码讲义、实战项目、大纲路线、讲解视频,而且后续会连续更新
须要这份系统化资料的朋友,可以戳这里获取
四、Impala查询流程
1.发起查询
2.生成执行计划
3.分配任务
4.交换中间数据
5.汇集效果
6.返回效果
总结
参考链接
一、配景和劈头
现有的大数据查询分析工具Hive更适合长时间批处理查询分析,并不能满意及时交互式场景。因此根据谷歌的Dremel设计头脑,Cloudera公司开发了一款高服从及时查询工具Impala,其性能比Hive快10到100倍。Impala没有使用MapReduce举行计算,而是将整个查询转化成执行计划树,分发到各个机器执行,然后通过拉的方式获取效果并组合成最闭幕果。
二、框架概述
Impala是一款基于Hive的大数据分析查询引擎,直接使用Hive的元数据Metastore,因此如果使用Impala须要先安装Hive并启动Metastore服务。Impala不依赖MapReduce而是将执行计划树举行并行计算,使用拉的方式获取效果数据,把效果数据按执行树流是转达汇集,淘汰中间效果落盘。
1.设计特点
本地化计算、淘汰数据的网络传输
接纳Hive Metastore举行元数据存储和管理
无需举行格式转化
支持即席查询无耽误
接纳大规模并行处理架构、硬件利用率高
不依赖MapReduce,并行处理执行计划,制止启动MapReduce开销
效果写入内存并通过网络汇总,节流读写磁盘开销
2.框架优点
基于内存举行计算,适合及时交互式SQL查询和分析
无需转化为MapReduce,直接访问HDFS以及Hbase数据,低耽误
3.框架限定
数据须要写入内存,对内存斲丧比力大
没有容错逻辑,如果执行过程发生错误会直接返回错误
不支持UDF定制
三、架构图
Impala接纳MPP架构,主要由Impala Daemon、Statestore和Catalog等三个模块组成。
1.Impala Daemon
接收查询哀求,将查询哀求生成计划树,分发执行计划到其他节点。举行数据读写,将效果举行汇总并返回。
Impala Daemon服务包罗三个模块:Query Planner、Query Coordinator和Query Executor。
2.Statestore
主要是收集集群中所有Deamon的节点信息和健康环境。每个Deamon会从Statestore拉取并缓存所有Deamon相关信息,用于执行计划的分配。
3.Catalog
Impala的元数据服务,集群启动时从Hive Metastore加载元数据信息,如需再次加载须要使用invalidate metadata、refresh下令。Catalog负责接收Statestore的元数据查询哀求。在Impala执行SQL导致元数据发生变革时,Catalog会将元数据变革同步给Statestore,再由Statestore广播给所有Daemon节点。
四、Impala查询流程
1.发起查询
客户端向Impala集群恣意节点发送查询SQL语句
2.生成执行计划
Query Planner对查询语句举行解析生成解析树,然后将解析树酿成执行计划。
既有适合小白学习的零底子资料,也有适合3年以上履历的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比力多,这里只是将部门目次截图出来,全套包罗大厂面经、学习条记、源码讲义、实战项目、大纲路线、讲解视频,而且后续会连续更新
须要这份系统化资料的朋友,可以戳这里获取
目次截图出来,全套包罗大厂面经、学习条记、源码讲义、实战项目、大纲路线、讲解视频,而且后续会连续更新**
须要这份系统化资料的朋友,可以戳这里获取
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
飞不高
金牌会员
这个人很懒什么都没写!
楼主热帖
WPF开发经验-实现自带触控键盘的TextBo ...
如何在 K8S 集群范围使用 imagePullSec ...
Python批量采集百度资讯文章,如何自定 ...
Doris(三) -- 索引
【关系型数据库】事务特性及事务隔离级 ...
Java集合的lastlastIndexOfSubList()方 ...
自从用了 EasyExcel,导入导出 Excel ...
mysql总结
.NET Core部署到linux(CentOS)最全解决 ...
Java I/O(2):NIO中的Channel
标签云
挺好的
服务器
快速回复
返回顶部
返回列表