【面试题】大数据方向_大数据方向问题

4.数仓分层架构的计划及每一层干什么的？

5.你们数仓中拉链表怎么设置的？

https://mp.weixin.qq.com/s/R1UKVq3u-i6mW4GEXRentg
拉链表专门用于解决在数据仓库中数据发生变化怎样实现数据存储的问题。
拉链表的计划是将更新的数据进行状态记录，没有发生更新的数据不进行状态存储，用于存储所有数据在不同时间上的所有状态，通过时间进行标记每个状态的生命周期，查询时，根据需求可以获取指定时间范围状态的数据，默认用9999-12-31等最大值来表现最新状态。
你们拉链表有分区吗？拉链表分区是怎么控制的？（我说的是天天全量刷新，他接着问假如你们数据量特别大呢？怎么解决的？）
事实表有哪些？事实表中的汗青数据怎么修改？（这个没答上来，面试官说你们没有做过快照表吗？这个没听说过）
你们工作中现实的工作流程是怎么样的？
你们元数据管理怎么做的？
6.你们数仓部门几个人？

7.你们集群是什么规模？每台服务器什么设置？

8.数仓中用的存储格式是什么？ORC和Parquet一般是什么场景下用？

9.Hive中的UDF和UDTF？

UDF（User-Defined-Function）寻常函数，一进一出
UDAF（User-Defined Aggregation Function）聚合函数，多进一出

1. •count:统计检索到的总行数。
2. •sum:求和
3. •avg:求平均
4. •min:最小值
5. •max:最大值
6. •数据收集函数（去重）: collect_set(col)
7. •数据收集函数（不去重）: collect_list(col)

复制代码

UDTF（User-Defined Table-Generating Functions）表生成函数，一进多出
10.开窗函数的介绍？排序的函数？

窗口函数（Window functions）是一种SQL函数，非常适合于数据分析，因此也叫做OLAP函数，其最大特点是：输入值是从SELECT语句的结果会集的一行或多行的“窗口”中获取的。你也可以理解为窗口有大有小（行有多有少）。
通过OVER子句，窗口函数与其他SQL函数有所区别。假如函数具有OVER子句，则它是窗口函数。假如它缺少OVER子句，则它是一个寻常的聚合函数。
窗口函数可以简朴地解释为类似于聚合函数的计算函数，但是通过GROUP BY子句组合的常规聚合会隐藏正在聚合的各个行，终极输出一行，窗口函数聚合后还可以访问当中的各个行，并且可以将这些行中的某些属性添加到结果会集。
窗口排序函数
row_number：在每个分组中，为每行分配一个从1开始的唯一序列号，递增，不思量重复；
rank: 在每个分组中，为每行分配一个从1开始的序列号，思量重复，挤占后续位置；
dense_rank: 在每个分组中，为每行分配一个从1开始的序列号，思量重复，不挤占后续位置；
11.Sort by和Order by的区别？

order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法包管全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。
sort by不是全局排序，其在数据进入reducer前完成排序.
因此，假如用sort by进行排序，并且设置mapred.reduce.tasks>1， 则sort by只包管每个reducer的输出有序，不包管全局有序。
12.行转列和列转行用的哪些函数？

collect_ws
collect_set
collect_list
collect_set去除重复元素；collect_list不去除重复元素
13.Hive中Join的工作原理？mapJoin的工作原理？

https://blog.csdn.net/u013668852/article/details/79768266
14.工作中假如做一个指标需要依赖于别人开发计划好的一张宽表，这种场景你们是怎么处理的？

15.数仓怎么搭建起来的？

16.你们数仓怎么建模型的？怎么分层的？

17.假如要让你计划一个模型的话，你会怎么计划？（可以随便举个例子来说）

18.指标分析你们主要是用的什么？

19.谈谈你对Hive的优化以及写SQL过程中的优化？

20.Select * 与Select 写全部列名 这两个有什么区别吗？

结论：两者差异险些可忽略。以是查询所有字段（大概大多数字段）的时间，大可 select * 来操纵。假如某些不需要的字段数据量特别大，还是写清楚字段比较好，由于这样可以淘汰网络传输。
（1）淘汰数据的负担。
SELECT *，需要数据库先 Query Table Metadata For Columns，一定程度上为数据库增加了负担（影响网络传输的性能），但是现实上，两者效率差异不大。
（2）思量到今后的扩展性。
由于程序内里你需要使用到的列毕竟是确定的， SELECT * 只是淘汰了一句 SQL String 的长度，并不能淘汰其他地方的代码。
（3）索引问题
select abc from table; 和 select * from table;
在 abc 字段有索引的情况下，mysql 是可以不用读 data，直接使用 index 内里的值就返回结果的。但是一旦用了 select *，就会有其他列需要读取，这时在读完 index 以后还需要去读 data 才会返回结果，这样就造成了额外的性能开销。
综上：除平时练习使用，其他情况都不保举使用 SELECT * FROM XXX 。
21.一个SQL题：怎样去求这一天24小时每隔5分钟的股票的一个峰值和低估值？（不是实时的，数据可以是昨天一天的数据）

22.维度建模 怎样建？

确认主题 确认粒度 确认度量 确认事实表 确认维度表
23.Redis有哪些数据结构？zset底层咋实现的？

String：使用一种叫简朴动态字符串（SDS）的数据范例来实现

网上学习资料一大堆，但假如学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技能提拔。
需要这份系统化资料的朋友，可以戳这里获取
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎加入我们的的圈子（技能交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习发展！
的技能提拔。**
需要这份系统化资料的朋友，可以戳这里获取
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎加入我们的的圈子（技能交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习发展！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。