一、问题背景:什么是StarRocks节点负载不均衡
很多用StarRocks做大数据分析的人,都会遇到一个头疼的问题:集群里有的节点忙到冒烟,CPU、内存占满,查询跑半天;有的节点却闲得发慌,资源空着浪费。这就是节点负载不均衡。举个最常见的例子:一个10节点的StarRocks集群,跑报表查询时,有2个节点CPU飙到90%以上,其他8个只有20%左右,最后整个报表的查询时间从预期的10秒拖到了1分钟。
先给没接触过StarRocks的朋友补个小知识点:StarRocks是个分布式的数据库,就像一个大仓库,每个节点就是仓库里的一个货架,数据会分成很多小份(叫分片)存到不同货架上。正常情况下,每个货架的工作量应该差不多,要是有的货架堆了太多货,有的货架空着,就会出现负载不均。
1.1 负载不均衡的直观影响
负载不均不是小问题,最直接的有三个影响: 第一是查询变慢,就像10个人搬东西,2个人搬90%的货,其他人闲着,总速度肯定慢;第二是资源浪费,闲节点的CPU、内存、硬盘都空着,相当于花钱买了没用的设备;第三是集群不稳定,忙节点长期高负载,容易出故障,甚至影响整个集群的正常运行。
二、排查过程:一步步找出负载不均的原因
排查负载不均不能瞎猜,得按步骤来,先看整体情况,再找具体问题。
2.1 第一步:确认是不是真的负载不均
首先得排除“假负载不均”,比如只是某一个查询导致的临时高负载,不是集群整体的问题。这里用StarRocks自带的监控命令来查,技术栈统一用StarRocks的Shell命令行(也就是FE节点的mysql客户端连接,因为StarRocks的管理命令都要连FE)。
先连到FE节点的mysql客户端:
# 连接StarRocks FE节点,注意替换ip、端口、用户名、密码
mysql -h 192.168.1.100 -P 9030 -u root -p
连进去后,先看所有BE节点(BE是StarRocks里实际存数据、跑查询的节点,就像之前说的货架)的整体负载情况,用这个命令:
-- 查看所有BE节点的CPU、内存、磁盘使用率,按CPU降序排列
select
Host,
CpuUsedPercent,
MemoryUsedPercent,
DiskUsedPercent
from backends
order by CpuUsedPercent desc;
举个示例输出(模拟的真实场景):
+----------------+----------------+-------------------+------------------+
| Host | CpuUsedPercent | MemoryUsedPercent | DiskUsedPercent |
+----------------+----------------+-------------------+------------------+
| 192.168.1.101 | 85.2 | 72.3 | 45.1 |
| 192.168.1.102 | 82.1 | 70.5 | 43.8 |
| 192.168.1.103 | 21.3 | 18.7 | 39.2 |
| 192.168.1.104 | 19.8 | 17.2 | 38.5 |
| 192.168.1.105 | 20.5 | 18.1 | 39.0 |
+----------------+----------------+-------------------+------------------+
从这个输出就能看出来,前两个节点CPU、内存远高于后面的,这就是真的负载不均。如果只是某一个节点偶尔高,其他都正常,那可能是临时查询导致的,过一会再看就降下来了。
2.2 第二步:定位负载高的原因
确认是真负载不均后,就要找原因,最常见的原因有三个:分片分布不均、查询路由不合理、硬件配置差异。
2.2.1 检查分片分布是否不均
分片是StarRocks里最小的数据单位,每个表的分片会存到不同的BE节点上。如果一个表的大部分分片都集中在少数几个节点,那这些节点的负载肯定高。
用这个命令查看某个表的分片分布,比如查“user_order”这个表的分片情况:
-- 查看user_order表的分片所属BE节点、分片大小、行数
select
t.TableName,
p.PartitionName,
b.Host as BE_Host,
p.DataSize,
p.RowCount
from partitions p
join tables t on p.TableId = t.Id
join backends b on p.BackendId = b.Id
where t.TableName = 'user_order'
order by b.Host, p.DataSize desc;
模拟的示例输出:
+------------+---------------+-------------+----------+----------+
| TableName | PartitionName | BE_Host | DataSize | RowCount |
+------------+---------------+-------------+----------+----------+
| user_order | p202401 | 192.168.1.101 | 12456789 | 12000000 |
| user_order | p202402 | 192.168.1.101 | 13456789 | 13000000 |
| user_order | p202403 | 192.168.1.101 | 14456789 | 14000000 |
| user_order | p202404 | 192.168.1.102 | 11456789 | 11000000 |
| user_order | p202405 | 192.168.1.102 | 10456789 | 10000000 |
| user_order | p202406 | 192.168.1.103 | 2456789 | 2000000 |
| user_order | p202407 | 192.168.1.104 | 2456789 | 2000000 |
| user_order | p202408 | 192.168.1.105 | 2456789 | 2000000 |
+------------+---------------+-------------+----------+----------+
从输出能看到,192.168.1.101和102两个节点上的user_order表分片,大小是其他节点的5倍以上,这就是分片分布不均导致的负载高。
2.2.2 检查查询路由是否不合理
有时候分片分布是对的,但查询总是只往少数几个节点发,也会导致负载不均。比如某个表的分区分键设计不合理,大部分查询都只查一个分区,而这个分区的分片又都集中在少数节点。
比如刚才的user_order表,分区分键是日期,大部分报表查询都只查最近一个月的数据,也就是p202403分区,而这个分区的分片都在192.168.1.101节点,那这个节点的负载就会一直很高。
用这个命令查看最近1小时的慢查询,看是不是都集中在少数节点:
-- 查看最近1小时的慢查询,按BE节点分组统计查询次数和总耗时
select
b.Host as BE_Host,
count(*) as QueryCount,
sum(QueryTime) as TotalTime
from query_stats q
join backends b on q.BackendId = b.Id
where q.QueryTime > 10 -- 只看耗时超过10秒的慢查询
and q.StartTime > now() - interval 1 hour
group by b.Host
order by QueryCount desc;
如果输出显示大部分慢查询都集中在1-2个节点,那就是查询路由的问题。
2.2.3 检查硬件配置是否有差异
还有一种情况是集群里的节点硬件不一样,比如有的节点是32核CPU+64G内存,有的是16核CPU+32G内存,硬件差的节点哪怕数据量和其他节点一样,负载也会更高。
用这个命令查看所有BE节点的硬件配置:
-- 查看BE节点的CPU核数、内存大小、磁盘大小
select
Host,
CpuCores,
MemoryTotal,
DiskTotal
from backends;
如果输出显示有的节点CPU核数、内存远低于其他节点,那就是硬件配置差异导致的负载不均。
三、优化方案:针对性解决负载不均
找到原因后,就可以针对性优化了,下面分情况说具体的优化方法,每个方法都有示例。
3.1 优化分片分布:重新分配分片
如果是分片分布不均导致的,最直接的方法是重新分配分片,让每个节点的分片数量、大小差不多。StarRocks提供了手动调整分片的命令,还有自动均衡的功能。
3.1.1 手动调整分片
比如刚才的user_order表,192.168.1.101节点上的p202403分区分片太大,我们可以把这个分片拆分后,重新分配到其他节点。
首先,先拆分分片(只有分区分键是日期的表,才能按范围拆分,比如p202403是2024年3月的分区,可以拆成p202403_01、p202403_02等):
-- 拆分user_order表的p202403分区,拆成4个小分区,每个分区对应一周的数据
ALTER TABLE user_order SPLIT PARTITION p202403 INTO (
PARTITION p202403_01 VALUES LESS THAN ('2024-03-08'),
PARTITION p202403_02 VALUES LESS THAN ('2024-03-15'),
PARTITION p202403_03 VALUES LESS THAN ('2024-03-22'),
PARTITION p202403_04 VALUES LESS THAN ('2024-04-01')
);
拆分后,新的小分区会自动分配到不同的BE节点(如果开启了自动均衡的话),如果没开启,再手动调整:
-- 把p202403_01分区的分片迁移到192.168.1.103节点
ALTER TABLE user_order MOVE PARTITION p202403_01 TO BE '192.168.1.103';
-- 把p202403_02分区的分片迁移到192.168.1.104节点
ALTER TABLE user_order MOVE PARTITION p202403_02 TO BE '192.168.1.104';
-- 把p202403_03分区的分片迁移到192.168.1.105节点
ALTER TABLE user_order MOVE PARTITION p202403_03 TO BE '192.168.1.105';
3.1.2 开启自动均衡
为了避免以后再出现分片不均,可以开启StarRocks的自动均衡功能,让系统自动调整分片分布。自动均衡的配置在FE节点的配置文件(fe.conf)里,修改后重启FE节点生效。
# FE配置文件fe.conf的自动均衡配置
enable_auto_balance = true # 开启自动均衡
balance_check_interval_seconds = 300 # 每5分钟检查一次均衡情况
balance_load_threshold = 0.2 # 负载差超过20%就触发均衡
balance_disk_threshold = 0.2 # 磁盘使用率差超过20%就触发均衡
开启后,系统会自动把分片多的节点上的分片,迁移到分片少的节点,不用人工干预。
3.2 优化查询路由:调整分区分键和分片规则
如果是查询路由不合理导致的,比如大部分查询都集中在少数几个分区,那就要调整分区分键和分片规则,让查询能分散到更多节点。
比如刚才的user_order表,分区分键是日期,大部分查询都查最近一个月的数据,我们可以把分区分键改成“日期+地区”,比如每个分区是“202403_北京”“202403_上海”等,这样查询的时候,不仅按日期过滤,还会按地区过滤,查询就会分散到不同的节点。
修改分区分键的步骤:
- 先把原表的数据备份到临时表;
- 删除原表,重新创建原表,修改分区分键为“日期+地区”;
- 把临时表的数据导入到新的原表。
示例:
-- 1. 备份原表数据到临时表
CREATE TABLE user_order_temp AS SELECT * FROM user_order;
-- 2. 删除原表
DROP TABLE user_order;
-- 3. 重新创建原表,分区分键改为日期+地区
CREATE TABLE user_order (
order_id INT,
order_date DATE,
region VARCHAR(20),
amount DECIMAL(10,2)
)
-- 分区分键是日期和地区,每个分区对应一个地区的一个月数据
PARTITION BY RANGE (order_date, region) (
PARTITION p202403_beijing VALUES LESS THAN ('2024-04-01', '北京'),
PARTITION p202403_shanghai VALUES LESS THAN ('2024-04-01', '上海'),
PARTITION p202403_guangzhou VALUES LESS THAN ('2024-04-01', '广州')
)
-- 分片规则,每个分区分成2个分片,分散到不同节点
DISTRIBUTED BY HASH(order_id) BUCKETS 10;
-- 4. 把临时表数据导入到新表
INSERT INTO user_order SELECT * FROM user_order_temp;
-- 5. 删除临时表
DROP TABLE user_order_temp;
修改后,查询最近一个月北京地区的订单,只会查询p202403_beijing分区,而这个分区的分片会分散到不同的节点,负载就不会集中在少数几个节点了。
3.3 优化硬件配置:统一节点配置或扩容
如果是硬件配置差异导致的负载不均,那就要统一节点的硬件配置,或者给负载高的节点扩容。
比如有的节点是32核CPU+64G内存,有的是16核CPU+32G内存,那就要把16核的节点升级到32核+64G,让所有节点的硬件配置一致。如果升级成本太高,也可以把负载高的节点的分片迁移到硬件好的节点,或者给负载高的节点单独扩容CPU、内存。
比如刚才的192.168.1.101节点是16核CPU,其他节点是32核,那可以把这个节点上的分片迁移到其他节点,让这个节点只存少量数据,或者给这个节点升级CPU到32核。
四、应用场景、优缺点、注意事项
4.1 应用场景
负载不均的优化方案适用于所有使用StarRocks的场景,尤其是以下几种场景:
- 数据量特别大的场景,比如每天有几千万甚至几亿条数据的订单表、用户行为表;
- 查询频率特别高的场景,比如实时报表、实时分析的场景;
- 集群规模比较大的场景,比如10节点以上的集群,节点越多,越容易出现负载不均;
- 硬件配置有差异的集群,比如不同批次采购的节点,硬件配置不一样。
4.2 技术优缺点
4.2.1 优化分片分布的优缺点
优点:解决分片不均的问题最直接,效果明显,适合大部分场景; 缺点:手动调整分片需要人工操作,容易出错,自动均衡会占用集群的网络和磁盘资源,调整过程中可能会影响查询性能。
4.2.2 优化查询路由的优缺点
优点:从根本上解决查询集中的问题,适合查询模式固定的场景; 缺点:修改分区分键和分片规则需要重新建表、导入数据,操作复杂,耗时久,不适合查询模式经常变化的场景。
4.2.3 优化硬件配置的优缺点
优点:解决硬件差异导致的负载不均最彻底,适合长期使用的集群; 缺点:成本高,升级硬件需要停机,影响业务,扩容需要重新分配分片,操作复杂。
4.3 注意事项
- 调整分片的时候,要避开业务高峰,比如凌晨1点到5点,避免影响正常查询;
- 自动均衡的配置要合理,比如balance_load_threshold不能设得太低,否则会频繁触发均衡,影响集群性能;
- 修改分区分键和分片规则的时候,一定要先备份数据,避免数据丢失;
- 硬件配置优化的时候,要保证所有节点的操作系统、StarRocks版本一致,避免出现兼容性问题;
- 优化后要持续监控集群的负载情况,观察优化效果,要是效果不好,要及时调整方案。
五、文章总结
StarRocks节点负载不均是很多用户都会遇到的问题,排查的时候要按步骤来,先确认是不是真的负载不均,再定位原因,最后针对性优化。优化的核心思路是让每个节点的工作量差不多,要么调整数据分布,要么调整查询的路由,要么调整硬件配置。
在实际操作中,要根据自己的业务场景选择合适的优化方案,比如如果是分片不均导致的,优先调整分片分布;如果是查询集中导致的,优先调整查询路由;如果是硬件差异导致的,优先优化硬件配置。同时,优化后要持续监控,避免再出现负载不均的问题。
评论
围绕“StarRocks节点负载不均衡的排查与优化方案”参与讨论