2024年大数据StarRocks(一) StarRocks概述，2024年最新大数据开发开发自学 ...

既有得当小白学习的零底子资料，也有得当3年以上经验的小伙伴深入学习提拔的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比力多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲授视频，而且后续会持续更新
必要这份系统化资料的朋友，可以戳这里获取

1 StarRocks介绍

StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库，它充实吸收关系型OLAP数据库和分布式存储系统在大数据期间的良好研究结果，在业界实践的底子上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产物。
StarRocks致力于构建极速同一分析体验，满足企业用户的多种数据分析场景，支持多种数据模子(明细模子、聚合模子、更新模子)，多种导入方式（批量和实时），可整合和接入多种现有系统(Spark、Flink、Hive、 ElasticSearch)。
StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接StarRocks来进行数据分析。
StarRocks接纳分布式架构，对数据表进行水平划分并以多副本存储。集群规模可以灵活伸缩，可以或许支持10PB级别的数据分析; 支持MPP框架，并行加速盘算; 支持多副本，具有弹性容错能力。
StarRocks接纳关系模子，使用严酷的数据类型和列式存储引擎，通过编码和压缩技能，低沉读写放大；
使用向量化执行方式，充实挖掘多核CPU的并行盘算能力，从而显着提拔查询性能。
为了实现向量化执行，必要使用CPU的SIMD指令。SIMD的全称是Single Instruction Multiple Data，即用单条指令操作多条数据。现代盘算机系统概念中，它是通过数据并行以提高性能的一种实现方式（其他的另有指令级并行和线程级并行），它的原理是在CPU寄存器层面实现数据的并行操作。
CPU 优化技能-NEON 介绍
2. StarRocks得当什么场景

StarRocks可以满足企业级用户的多种分析需求，包括OLAP多维分析、定制报表、实时数据分析和Ad-hoc数据分析等。具体的业务场景包括：
（1）OLAP多维分析：用户举动分析、用户画像、财务报表、系统监控分析
（2）实时数据分析：电商数据分析、直播质量分析、物流运单分析、广告投放分析
（3）高并发查询：广告主表分析、Dashbroad多页面分析
（4）同一分析：通过使用一套系统办理上述场景，低沉系统复杂度和多技能栈开发成本
3. StarRocks基本概念

（1）FE：FrontEnd简称FE，是StarRocks的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。
（2）BE：BackEnd简称BE，是StarRocks的后端节点，负责数据存储，盘算执行，以及compaction，副本管理等工作
（3） Broker：StarRocks中和外部HDFS/对象存储等外部数据对接的中转服务，辅助提供导入导出功能。
（4）StarRocksManager：StarRocks的管理工具，提供StarRocks集群管理、在线查询、故障查询、监控报警的可视化工具。
（5）Tablet：StarRocks中表的逻辑分片，也是StarRocks中副本管理的基本单元，每个表根据分区和分桶机制被划分成多个Tablet存储在差别BE节点上。
4. StarRocks系统架构

随着 StarRocks 产物的不停演进，系统架构也从原先的存算一体 (shared-nothing) 进化到存算分离 (shared-data)。
3.0 版本之前使用存算一体架构，BE 同时负责数据存储和盘算，数据访问和分析都在本地进行，提供极速的查询分析体验。
3.0 版本开始引入存算分离架构，数据存储功能从原来的 BE 中抽离，BE 节点升级为无状态的 CN 节点。数据可长期存储在远端对象存储或 HDFS 上，CN 本地磁盘只用于缓存热数据来加速查询。存算分离架构下支持动态增删盘算节点，实现秒级的扩缩容能力。
下图展示了存算一体到存算分离的架构演进。

5. 组件介绍

网上学习资料一大堆，但如果学到的知识不成体系，遇到题目时只是浅尝辄止，不再深入研究，那么很难做到真正的技能提拔。
必要这份系统化资料的朋友，可以戳这里获取
一个人可以走的很快，但一群人才能走的更远！岂论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都接待加入我们的的圈子（技能交换、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
岂论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都接待加入我们的的圈子（技能交换、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。