ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【性能优化】低配starRocks常驻内存优化 [打印本页]

作者: 大连密封材料 时间: 2024-10-1 12:57
标题: 【性能优化】低配starRocks常驻内存优化
背景说明

由于服务器的实际资源小于starRocks官方的设置，导致starRocks在无任务的情况下，常驻内存偏高，可用于查询的资源变小。

官方文档
实际部署的集群一样平常是4C8G和8C16G，be的设置不达标
为了解决单次查询内存不敷的题目，提升系统稳固性。放弃starRocks默认开启的通过内存换时间的优化逻辑，低落内存使用。

留意事项

部分参数无法在conf文件中设置，需要实行SQL语句，举行set操纵。
参数调整

query_mem_limit

感觉是starRocks的BUG，默认是不设置的，就是不限制。但一段时间后会触发BUG，变成2G的效果，只能手动设置来解决。
Limit：2147483648，刚好是2GB。
ERROR 1064 (HY000) at line 1: Memory of Query4c93de21-7bb9-11ef-a38d-00163e3ad810 exceed limit. Pipeline Backend: 172.16.204.181, fragment: 4c93de21-7bb9-11ef-a38d-00163e3ad811 Used: 2150710904, Limit: 2147483648. Mem usage has exceed the limit of single query, You can change the limit by set session variable query_mem_limit.

SET GLOBAL query_mem_limit = 13743895347;
--具体数值需要根据实际资源确认，大约是服务器的80%

复制代码

enable_persistent_index

这个参数用于控制是否持久化主键索引。在主键表中，StarRocks可以使用磁盘和内存同时存储主键索引，以减少主键索引占用的内存空间。如果设置为true，则主键索引会被持久化到磁盘上，这样可以在使用大量数据的情况下节省内存。默认情况下，这个参数大概设置为false，意味着主键索引只在内存中维护，这大概会导致内存使用量较大。常驻内存使用题目之一，内存不敷或导入操纵多的表，可以思量关闭。
  disable_storage_page_cache

是否开启 PageCache。开启 PageCache 后，StarRocks 会缓存近来扫描过的数据，对于查询重复性高的场景，会大幅提升查询效率。true 表现不开启。该设置项与 storage_page_cache_limit 共同使用，在内存资源富足和有大数据量 Scan 的场景中启用可以或许加速查询性能。storage_page_cache_limit，默认20%，修改为0% 。BE 存储层 page 缓存可以使用的内存上限。
  管理内存 | StarRocks
chunk_reserved_bytes_limit

其参数修改在【metadata常驻优化】中 chunk_reserved_bytes_limit=100000000
用于加速小块内存分配的 Cache，默认上限为 2GB。您可以在内存资源富足的情况下打开。
  修改为0，不启用
  管理内存 | StarRocks
metadata常驻优化

低落到常驻历程中metadata的占比

在be.conf中加上
disable_column_pool=true
chunk_reserved_bytes_limit=100000000
data_page_size=524288

复制代码

中间表落盘

中间效果落盘 | StarRocks
【默认】Data Cache

speedo系统默认是false，未开启
如需永世禁用 Data Cache，需要将以下设置添加到 CN 设置文件 cn.conf 中，并重新启动 CN 节点：

starlet_use_star_cache = false

复制代码

Data Cache | StarRocks
【默认】Query Cache

speedo系统默认是false，未开启
Query Cache 特性，可以帮助您极大地提升聚合查询的性能。开启 Query Cache 后，每次处置惩罚聚合查询时，StarRocks 都会将当地聚合的中间效果缓存于内存中。这样，后续收到雷同或类似的聚合查询时，StarRocks 就可以或许直接从 Query Cache 获取匹配的聚合效果，而无需从磁盘读取数据并举行计算，大大节省查询的时间和资源成本，并提升查询的可扩展性。在大量用户同时对复杂的大数据集实行雷同或类似查询的高并发场景下，Query Cache 的优势尤为明显。
Query Cache | StarRocks
内存分析方法

管理内存 | StarRocks

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)