【大数据进阶第三阶段之Hue学习条记】Hue简介和架构先容 ...

1、Hue简介

   Hue 是一个开源的 Apache Hadoop UI 体系，由 Cloudera Desktop 演化而来，末了 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区，它是基于 Python Web 框架 Django 实现的。通过使用 Hue 我们可以在欣赏器端的 Web 控制台上与 Hadoop 集群进行交互来分析处理数据，例如操作 HDFS 上的数据、运行 MapReduce Job、执行 Hive 的 SQL 语句和欣赏 HBase 数据库等。
  一个基于 Django 的数据分析和可视化平台，支持多种数据源和数据分析工具，适适用于实现大数据分析和可视化。
  Hue官方网站：Hue - The open source SQL Assistant for Data Warehouses

GitHub：https://github.com/cloudera/hue 
2、Hue架构

   Hue 是一个Web应用，用来简化用户和Hadoop集群的交互。Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大要上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC的方式调用。
  

3、Hue与其他技术的整合


       由于大数据框架很多，为了解决某个问题，一样平常来说会用到多个框架，但是每个框架又都有自己的web UI监控界面，对应着差别的端口号。比如HDFS(50070)、YARN(8088)、MapReduce(19888)等。这个时间有一个统一的web UI界面去管理各个大数据常用框架黑白常方便的。这就使得对大数据的开辟、监控和运维更加的方便。
 

   从上图可以看出，Hue几乎可以支持所有大数据框架，包含有HDFS文件体系对的页面(调用HDFS API，进行增删改查的操作)，有HIVE UI界面(使用HiveServer2，JDBC方式毗连，可以在页面上编写HQL语句，进行数据分析查询)，YARN监控及Oozie工作流任务调度页面等等。Hue通过把这些大数据技术栈整合在一起，通过统一的Web UI来访问和管理，极大地进步了大数据用户和管理员的工作效率。这里总结一下Hue支持哪些功能：
  

• 默认基于轻量级sqlite数据库管分析话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle
  
• 基于文件欣赏器（File Browser）访问HDFS
  
• 基于Hive编辑器来开辟和运行Hive查询
  
• 支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
  
• 支持基于Impala的应用进行交互式查询
  
• 支持Spark编辑器和仪表板（Dashboard）
  
• 支持Pig编辑器，并可以或许提交脚本任务
  
• 支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
  
• 支持HBase欣赏器，可以或许可视化数据、查询数据、修改HBase表
  
• 支持Metastore欣赏器，可以访问Hive的元数据，以及HCatalog
  
• 支持Job欣赏器，可以或许访问MapReduce Job（MR1/MR2-YARN）
  
• 支持Job设计器，可以或许创建MapReduce/Streaming/Java Job
  
• 支持Sqoop 2编辑器和仪表板（Dashboard）
  
• 支持ZooKeeper欣赏器和编辑器
  
• 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
  
• 使用sentry基于角色的授权以及多租户的管理.（Hue 2.x or 3.x）
   
  

  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。