一、什么时候你会需要Google Cloud Spanner
咱们平时做业务开发,最常打交道的数据库可能就是MySQL、PostgreSQL这类的。单机版跑个几百万条数据,甚至上千万条,性能都还算体面。可一旦数据量往上冲,比如每天新增几千万条日志,或者一个电商订单表轻松破亿,这时候单机数据库就有点喘不上气了。
很多团队会习惯性地用分库分表来解决,比如把订单表按用户ID哈希到64张分表里。这种做法确实有效,但维护成本很高。你要自己写路由规则,要处理跨分片查询,要手动做数据迁移,而且一旦分片方案设计得不好,后续调整起来会非常痛苦。
Google Cloud Spanner就是奔着解决这类问题来的。它天生就是分布式架构,数据自动分布在多个节点上,不用你手动拆表。更重要的是,它做到了全球部署下依然能保持强一致性和事务能力,这是很多分布式数据库做不到的。
它的核心卖点可以总结成四句话:
- 全球分布式,节点可以跨洲际部署
- 强一致事务,不用为了性能牺牲数据准确性
- 自动分片,数据均匀分布在存储节点上
- 高可用,多副本同步复制,故障自动切换
简单理解,如果你有一个数据库,数据量预计会超过TB级别,或者你希望把业务部署到多个大洲的用户就近读写,但还想用普通SQL查数据,那Spanner就是一个很合适的选择。
二、架构设计到底怎么拆
2.1 先聊聊表结构设计
Spanner的表结构和普通关系型数据库很像,但有两点不一样:一是主键必须显式定义,二是推荐你使用复合主键来优化数据分布。
举个例子,假设你要做一个物联网设备上报数据的存储表。设备ID是字符串,上报时间是时间戳,采集的温度和湿度是浮点数。
-- 创建设备上报表
CREATE TABLE device_reports (
device_id STRING(64) NOT NULL,
report_time TIMESTAMP NOT NULL,
temperature FLOAT64,
humidity FLOAT64,
battery_level INT64
) PRIMARY KEY (device_id, report_time);
这里有个细节:PRIMARY KEY (device_id, report_time) 的写法,意味着同一个设备的数据会按时间顺序挨着存放。当你查询某个设备最近一小时的记录时,Spanner不需要扫描全表,直接定位到这个设备的连续数据块,效率非常高。
如果你把主键设计成 PRIMARY KEY (report_time),那所有设备的数据就会按时间混在一起。查询某个设备的数据时,反而要在海量数据里过滤,性能会差很多。
所以设计表结构时,第一个原则就是:主键的第一列,一定是你最常用的查询过滤条件。
2.2 数据分布背后的机制
Spanner内部把数据切分成很多小片,叫Splits。每个Split大约几十到几百MB,分布在不同的存储节点上。当某个Split的数据量越来越大,Spanner会自动把它切成两半,迁移到更多的节点上。
这个机制对开发者完全透明,你不需要关心数据到底存在哪台机器上。但为了让数据分布更均匀,你最好让主键的分布也足够随机。如果主键是自增ID,那么新数据会集中在最后一段,热点问题就很明显。所以很多时候,你会看到有人把主键设计成哈希值加上原ID。
-- 把业务主键加上哈希前缀,让数据分布更均匀
CREATE TABLE orders (
order_hash STRING(32) NOT NULL, -- 这是SHA256(order_id)的前16位
order_id STRING(64) NOT NULL,
customer_id STRING(64) NOT NULL,
order_amount FLOAT64,
order_status STRING(16),
created_at TIMESTAMP NOT NULL,
) PRIMARY KEY (order_hash, order_id);
这样设计之后,订单数据就会分散到不同的Split上,写入压力不会集中在同一个节点。
2.3 索引怎么建才不拖后腿
Spanner的二级索引和MySQL有点像,但有一个坑:如果索引列和主键列重叠太多,存储成本会翻倍。因为每个索引都会额外存一份主键副本。
比如你给 customer_id 建一个二级索引,那么索引里会存 customer_id 加上完整主键 order_hash, order_id。如果这个表的数据量很大,索引体积可能比主表还大,成本直线上升。
建索引的原则是:
- 只给最核心的查询条件建索引
- 尽量用覆盖索引,把需要返回的列直接放进索引里
- 对低频查询字段,宁可慢一点也别乱建索引
-- 创建一个覆盖索引,把需要查询的字段都放进去,避免回表
CREATE INDEX idx_customer_orders
ON orders (customer_id, order_status)
STORING (order_amount, created_at);
这个索引的意思是:当你按 customer_id 和 order_status 查询时,可以直接从索引里拿到 order_amount 和 created_at,不需要再回主表去取数据,查询速度和存储效率都比较理想。
三、存储成本优化怎么做才实在
3.1 从架构层面压缩数据量
Spanner的计费方式,简单说就是按节点数和存储量来收钱。节点数越多,并发能力越强,但成本也越高。存储量则是按GB计费,数据越少越省钱。
所以最直接的成本优化,就是减少数据体积。
第一招:压缩数据。 比如日志表里有个 payload 字段存的是JSON字符串,可能很大。你可以用压缩算法处理后存成BYTES类型,读取时再解压。这样存储量能降不少。
-- 创建一个带有压缩字段的表
CREATE TABLE event_logs (
log_id STRING(64) NOT NULL,
event_time TIMESTAMP NOT NULL,
payload BYTES, -- 这里存压缩后的JSON
payload_md5 STRING(32)
) PRIMARY KEY (log_id, event_time);
-- 写入时在应用层先压缩
INSERT INTO event_logs (log_id, event_time, payload, payload_md5)
VALUES (
@log_id,
@event_time,
FROM_BASE64(@compressed_payload), -- 传入base64编码的压缩数据
@payload_md5
);
第二招:冷热数据分层。 如果业务上有明显的冷热区分,比如最近3个月的订单访问频繁,更早的数据几乎不查。你可以把老旧数据迁移到单独的备份存储,或者直接导出到GCS冷存储,需要的时候再恢复查询。
3.2 从数据模型层面减少存储
有时候我们为了查询方便,会把同一份数据存好几份冗余。比如订单表里存了一个 customer_name 字段,实际上客户名称在客户表里已经有,你完全可以通过JOIN查出来。这种冗余字段在单机数据库里问题不大,但在Spanner里,每存一份冗余,就是实打实的存储费用。
所以设计原则是:数据只存一次,需要时用JOIN查。
-- 订单表里不要冗余customer_name
CREATE TABLE orders_optimized (
order_id STRING(64) NOT NULL,
customer_id STRING(64) NOT NULL,
order_amount FLOAT64,
created_at TIMESTAMP NOT NULL,
) PRIMARY KEY (order_id);
-- 客户表里存客户名称
CREATE TABLE customers (
customer_id STRING(64) NOT NULL,
customer_name STRING(128) NOT NULL,
email STRING(256),
) PRIMARY KEY (customer_id);
查询时用JOIN把名字拼出来,虽然多了一次JOIN开销,但存储成本会明显下降。
3.3 从运维层面优化存储
Spanner有一个特性叫“版本保留期”,默认是7天。也就是说,一条数据被更新或删除之后,旧版本还会在后台保留7天,用于支持时间点恢复。如果业务不需要这么长的保留期,你可以把它调小,这样能省下一部分存储空间。
# 把版本保留期从默认7天改为1天
gcloud spanner databases update my-database \
--instance=my-instance \
--database=my-database \
--retention-period=1d
另外,Spanner允许你对表进行“交错放置”,也就是把两张关联表放在同一个Split里。比如订单表和订单明细表,如果按订单ID关联,把它们交错放置后,同一个订单的明细数据会物理上挨着主记录。这样查询一个订单的所有明细时,不需要跨节点读取,性能更好,同时存储碎片也会更少。
-- 交错表定义:订单明细作为订单表的子表
CREATE TABLE orders_parent (
order_id STRING(64) NOT NULL,
customer_id STRING(64) NOT NULL,
order_amount FLOAT64,
created_at TIMESTAMP NOT NULL,
) PRIMARY KEY (order_id);
CREATE TABLE order_items (
order_id STRING(64) NOT NULL,
item_id STRING(64) NOT NULL,
product_name STRING(128) NOT NULL,
quantity INT64,
) PRIMARY KEY (order_id, item_id),
INTERLEAVE IN PARENT orders_parent ON DELETE CASCADE;
这里 INTERLEAVE IN PARENT 是Spanner特有的语法,它告诉数据库这两张表的数据要尽量放在一起,查询效率更高,而且删除主订单时会自动级联删除明细,不需要额外写业务代码。
四、用起来有什么优缺点
4.1 优点总结
扩展性极强。 加节点就是加吞吐,不用改代码,不用手动迁移数据。业务从每天几百万请求涨到几亿请求,只需要增加节点数就行。
事务能力可靠。 支持跨表、跨区域的事务,这在很多分布式数据库里是很难实现的。比如你的订单表和库存表可能在不同区域,但Spanner依然能保证要么都成功,要么都失败。
运维负担小。 自动备份、自动故障切换、自动负载均衡,你几乎不用管底层基础设施,把精力集中在业务代码上。
4.2 缺点也要说清楚
成本偏高。 相比自建数据库,Spanner的单价不便宜。如果你的数据量只有几百GB,并发也不高,用Spanner可能反而比用一台MySQL更费钱。它更适合数据量大、需要全球部署的场景。
SQL语法有差异。 虽然支持标准SQL,但有些细节不同。比如没有自增列,你要自己生成唯一ID;不支持 LIMIT 语法,用 LIMIT 得写成 LIMIT,但和MySQL的用法略有差异;不支持某些存储过程。
学习曲线存在。 你需要理解它的数据分布机制,设计主键时要考虑热点问题。如果团队习惯了传统关系型数据库,初期可能会有点不适应。
五、注意事项和踩坑提醒
5.1 别用自动生成的主键
如果你不指定主键,Spanner会默认生成一个UUID。但这个UUID是随机生成的,数据分布均匀,没有热点问题。可问题是,你在业务代码里不知道这个UUID是什么,后续无法按业务键查询。所以一定要显式设计主键。
5.2 小心单行更新
Spanner的事务是基于两阶段提交的,在分布式环境下,跨节点事务的开销比单机数据库高。如果一条SQL里更新了10万行,而且这些行分散在多个节点上,性能会非常差。最佳实践是:批量更新时,把数据按主键排序,每次更新几百条,分多次提交。
5.3 查询一定要带主键条件
Spanner不像MySQL那样,可以全表扫描然后过滤。如果一个查询没有主键限制,Spanner需要跨所有节点扫描,这个成本非常高,甚至可能报错。所以写查询时,务必带上主键的前缀条件。
-- 错误示例:没有主键条件,会触发全表扫描
SELECT * FROM orders WHERE order_status = 'PENDING';
-- 正确示例:带上主键前缀
SELECT * FROM orders WHERE order_id = @order_id;
5.4 监控存储用量
Spanner后台有专门的监控指标,比如 database.storage_used_bytes,你可以用Cloud Monitoring查看趋势。如果发现存储量异常增长,很可能是因为建了太多二级索引,或者版本保留期设置得太长。及时调整这些配置,能省下不少钱。
六、最后总结一下
Google Cloud Spanner非常适合那些数据量巨大、需要全球部署、同时又离不开事务和强一致性的场景。比如全球电商订单、跨国支付系统、大规模IoT平台。
架构设计上,核心是主键设计。主键决定数据分布,也决定查询效率。你得确保第一列是最常用的过滤条件,同时避免单调递增带来的热点。
存储成本优化,可以从三个层面下手:一是压缩数据,二是减少冗余,三是调整运维配置。每一项都能实打实地降低账单。
当然,它也不是银弹。如果数据量只有几GB,并发也不高,用传统的单机数据库可能更经济。如果团队完全不懂分布式数据库,那还需要花时间学习。
说到底,选择数据库这件事,没有绝对的好坏,只有是否匹配业务场景。你只有真正理解了Spanner的架构,才能把它用好,也才能把成本控制住。希望这篇文章能帮你少走一些弯路。
评论
围绕“Google Cloud Spanner海量数据存储的架构设计及存储成本优化方案探讨”参与讨论