很多朋友把业务迁移到 PolarDB 之后,发现读写分离虽然把读请求分出去了,但总感觉延迟有点高,甚至出现数据读不到的情况。咱们今天就把这个"延迟"的底裤扒一扒,看看它到底藏在哪儿,怎么把它给治服帖。
一、先聊聊物理复制和读写分离是咋回事
1.1 主库和只读实例的"数据同步"
在数据库世界里,主从同步有两种方式:逻辑复制和物理复制。逻辑复制就像是在讲"故事",把数据库执行过的 SQL 语句发给从库去重演一遍。而物理复制,则是直接把数据文件的"页面"或者"日志"发送过去,从库直接把这些数据块"贴"到自己的磁盘上。PolarDB 采用的是物理复制,更准确地说,是基于 Redo Log 的物理复制。
打个比方,主库就像是一个"生产车间",只读实例就是"仓库"。车间里生产出来的新零件(数据变更),必须通过一条传送带(物理复制)运到仓库里。传送带传输的不是成品的说明书(逻辑SQL),而是原始零件(物理日志)。这种方式效率高,因为不需要在从库上重新解析和优化 SQL 语句,直接应用日志就行。但有个毛病——传送带再快,也有个传输时间,而且传送带上的货物不能乱序。
1.2 读写分离的"读"和"写"
读写分离,说白了,就是把"写"请求全部扔给车间(主库),把"读"请求扔给仓库(只读实例)。车间刚把零件做出来,扔上传送带,仓库还没收到,这时候你来仓库拿零件(读数据),当然就找不到了。这就像你刚在网上抢购了一件商品,系统显示下单成功,但你的订单数据还没同步到只读库,刷新页面就显示"订单不存在",这就是延迟在作怪。
所以,读写分离带来的"延迟",本质上是"数据同步延迟"。
二、延迟的根源到底藏在哪儿?
2.1 网络与复制链路问题
传送带要是卡了,比如网络抖动,或者带宽被占满,零件运送就慢了。这就好比高速公路上遇到大货车排队,你开着小车也过不去。如果 PolarDB 的主库和只读实例跨机房部署,或者在不同可用区,网络延迟会显著增加。而且,网络延迟不仅仅是传输时间,还包括网络包的处理时间。如果你用光纤直连,延迟可能只有 0.1 毫秒,但如果跨机房,延迟可能达到 1 毫秒甚至更高。虽然 1 毫秒听起来很短,但在高并发下,数据同步的延迟会累积。
2.2 大事务和DDL操作
这是最常见的元凶。假如你一次性插入几百万行数据,或者对一个千万级的大表加一个字段,主库会生成海量的物理日志。这些日志全堆在传送带上,仓库卸货的速度就明显跟不上。我见过一个案例,业务系统每天凌晨做一次全量数据清洗,用一个事务插入 500 万行,结果从库延迟飙到半小时以上。因为主库生成日志只需要 5 分钟,但只读实例回放这些日志可能需要 40 分钟,中间差了 35 分钟,业务查询就全乱了。
再比如 DDL 操作,大表加字段,PolarDB 虽然支持了在线 DDL,但操作过程中产生的日志量依然巨大,需要传输。如果表有 1 亿行,加字段操作产生的日志可能就有几十个 G,传送带要运好久。这就像双十一快递爆仓,仓库门口堆满了包裹,你急着去取件,根本取不到。
2.3 复制回放的速度跟不上写入
仓库卸货(应用日志)的速度慢,也会造成延迟。PolarDB 的只读实例需要把这些日志在内存里重演一遍,这个过程叫"回放"。如果回放是单线程的,那效率就很低。主库写一条,只读实例只能串行地消化一条,这跟仓库只有一个工人在卸货是一个道理。你要是想快,就得多派几个人。而回放速度慢,跟只读实例的 CPU 核数、内存大小、磁盘 IOPS 都有关系。
2.4 热点数据和并行复制冲突
假如你的业务特别喜欢更新某一行数据(比如抢购同一个商品),主库那边能很快改掉,但只读实例要回放这些日志时,如果发现这些操作都针对同一行,那它就没法并行处理,只能一个个排队,延迟就瞬间飙上去了。这就像只有一个收银台,所有人都在排队付钱,队伍排得老长。这种"热点行"造成的冲突,是并行复制最头疼的问题。
三、动手调优的实用方案
3.1 参数调优:让仓库多派几个人干活
针对回放速度慢,我们可以开启并行复制,让只读实例多开几个线程来"卸货"。PolarDB 里主要看 binlog_transaction_dependency_tracking 和 slave_parallel_workers 这两个参数。把 slave_parallel_workers 设置成 8 或 16,能明显提升回放速度。
另外,binlog_transaction_dependency_tracking 可以设置为 WRITESET。这个机制是基于写集合的依赖追踪,它能识别出哪些事务是互不干扰的(比如更新不同表的行),从而让它们可以并行执行回放。如果只设置为 COMMIT_ORDER,并行度就会受限。很多同学调优时只关注 slave_parallel_workers,却忽略了 binlog_transaction_dependency_tracking。如果不设置成 WRITESET,即使你开 16 个线程,很多事务依然会因为依赖关系而串行执行,回放效率提升不明显。这就好比让你开 16 条收银通道,但大家排队的规则还是只能走一条道,那自然快不起来。所以,这两个参数必须配合使用。
3.2 拆解大事务:别让传送带堵死
写代码的时候,尽量把大事务拆成小事务。不要一次插入几百万行,改成循环一次插一万行。这样主库生成的日志就比较均匀,传送带就不会堵车。比如,你可以写一个存储过程,用循环来分批次插入,每次提交一个事务,而不是一次性提交一个大事务。这样既能减轻主库的压力,也能让只读实例快速消化。
3.3 优化索引:减轻仓库的负担
只读实例上的慢查询会占用大量 CPU 和 IO,导致回放线程抢不到资源,延迟会加剧。所以,一定要确保只读实例上的查询走索引,别搞全表扫描。给只读实例加上合适的索引,让查询走索引,减少 CPU 消耗,它就能更快地消化日志。
3.4 利用只读实例的本地存储和并行回放
有时候,PolarDB 的只读实例可以直接使用本地存储,结合多线程回放,把延迟压到最低。通过开启并行回放,让回放线程数跟上主库的写入线程数,保持动态平衡。
技术栈:PolarDB for MySQL(SQL 脚本)
-- 技术栈:PolarDB for MySQL(SQL 脚本)
-- 第一步:查看当前主从延迟到底是多少秒
SHOW SLAVE STATUS\G
-- 重点看 Seconds_Behind_Master 这一列,数值越大,延迟越高
-- 第二步:查看只读实例的回放线程状态
SELECT * FROM performance_schema.replication_applier_status_by_worker;
-- 技术栈:PolarDB for MySQL(SQL 脚本)
-- 开启基于 Writeset 的并行复制(让回放更高效)
SET GLOBAL binlog_transaction_dependency_tracking = 'WRITESET';
SET GLOBAL slave_parallel_workers = 8;
-- 技术栈:PolarDB for MySQL(SQL 脚本)
-- 拆解大事务示例(原来是 INSERT ... VALUES 百万行)
-- 改成循环执行
START TRANSACTION;
INSERT INTO orders VALUES (...);
COMMIT;
-- 这里用存储过程来模拟
四、应用场景、技术优缺点与注意事项
4.1 适用场景
适合读多写少的场景,比如电商的详情页、报表查询、统计分析等。这些场景对延迟的容忍度相对较高,读操作占 90% 以上,写操作少,主库压力大,只读实例能分担不少压力。
4.2 技术优缺点
优点:能轻松扛住海量读请求,扩展性强,成本比加机器便宜。比如,你买一台大内存的主库很贵,但用 PolarDB 只读实例扩容,按量付费,成本可控。
缺点:有延迟,数据是"最终一致"的,刚写完可能读不到。另外,物理复制依赖底层存储,跨机房部署时延迟会变大。物理复制最大的优点是不需要解析 SQL,直接应用日志,性能损耗小,而且能保持数据一致性。逻辑复制则需要解析 SQL,然后在从库上重新执行,性能损耗大,还可能出现数据不一致的情况。PolarDB 选择物理复制,正是为了追求高效率和强一致性。但物理复制也有个弱点,就是它依赖底层的存储引擎,不能像逻辑复制那样灵活地只复制某几张表。
4.3 注意事项
业务代码必须能容忍这种"延迟读"。如果必须立即读到刚写入的数据(比如下单后立即查看订单),需要特殊处理,比如强制走主库查询(读己之写)。或者使用 PolarDB 的分布式一致性读功能(如果有的话)。
五、文章总结
延迟的根源主要来自物理日志的传输和回放,调优的核心思路是"治源头"(拆大事务)和"强回放"(开并行)。大家别小看这个延迟,一旦它飙起来,业务可就真黄了。所以,平时做好监控,多看看 Seconds_Behind_Master,心里才有底。最后,我想强调一下,调优不是一劳永逸的。业务量在变,数据分布也在变,所以你需要定期监控延迟指标,及时调整参数。
评论
围绕“PolarDB物理复制读写分离架构的延迟根源分析与调优方案”参与讨论