一、什么时候你会需要Google Cloud Spanner

咱们平时做业务开发,最常打交道的数据库可能就是MySQL、PostgreSQL这类的。单机版跑个几百万条数据,甚至上千万条,性能都还算体面。可一旦数据量往上冲,比如每天新增几千万条日志,或者一个电商订单表轻松破亿,这时候单机数据库就有点喘不上气了。

很多团队会习惯性地用分库分表来解决,比如把订单表按用户ID哈希到64张分表里。这种做法确实有效,但维护成本很高。你要自己写路由规则,要处理跨分片查询,要手动做数据迁移,而且一旦分片方案设计得不好,后续调整起来会非常痛苦。

Google Cloud Spanner就是奔着解决这类问题来的。它天生就是分布式架构,数据自动分布在多个节点上,不用你手动拆表。更重要的是,它做到了全球部署下依然能保持强一致性和事务能力,这是很多分布式数据库做不到的。

它的核心卖点可以总结成四句话:

  • 全球分布式,节点可以跨洲际部署
  • 强一致事务,不用为了性能牺牲数据准确性
  • 自动分片,数据均匀分布在存储节点上
  • 高可用,多副本同步复制,故障自动切换

简单理解,如果你有一个数据库,数据量预计会超过TB级别,或者你希望把业务部署到多个大洲的用户就近读写,但还想用普通SQL查数据,那Spanner就是一个很合适的选择。

二、架构设计到底怎么拆

2.1 先聊聊表结构设计

Spanner的表结构和普通关系型数据库很像,但有两点不一样:一是主键必须显式定义,二是推荐你使用复合主键来优化数据分布。

举个例子,假设你要做一个物联网设备上报数据的存储表。设备ID是字符串,上报时间是时间戳,采集的温度和湿度是浮点数。


-- 创建设备上报表
CREATE TABLE device_reports (
  device_id      STRING(64)    NOT NULL,
  report_time    TIMESTAMP     NOT NULL,
  temperature    FLOAT64,
  humidity       FLOAT64,
  battery_level  INT64
) PRIMARY KEY (device_id, report_time);

这里有个细节:PRIMARY KEY (device_id, report_time) 的写法,意味着同一个设备的数据会按时间顺序挨着存放。当你查询某个设备最近一小时的记录时,Spanner不需要扫描全表,直接定位到这个设备的连续数据块,效率非常高。

如果你把主键设计成 PRIMARY KEY (report_time),那所有设备的数据就会按时间混在一起。查询某个设备的数据时,反而要在海量数据里过滤,性能会差很多。

所以设计表结构时,第一个原则就是:主键的第一列,一定是你最常用的查询过滤条件。

2.2 数据分布背后的机制

Spanner内部把数据切分成很多小片,叫Splits。每个Split大约几十到几百MB,分布在不同的存储节点上。当某个Split的数据量越来越大,Spanner会自动把它切成两半,迁移到更多的节点上。

这个机制对开发者完全透明,你不需要关心数据到底存在哪台机器上。但为了让数据分布更均匀,你最好让主键的分布也足够随机。如果主键是自增ID,那么新数据会集中在最后一段,热点问题就很明显。所以很多时候,你会看到有人把主键设计成哈希值加上原ID。


-- 把业务主键加上哈希前缀,让数据分布更均匀
CREATE TABLE orders (
  order_hash      STRING(32)  NOT NULL,  -- 这是SHA256(order_id)的前16位
  order_id        STRING(64)  NOT NULL,
  customer_id     STRING(64)  NOT NULL,
  order_amount    FLOAT64,
  order_status    STRING(16),
  created_at      TIMESTAMP   NOT NULL,
) PRIMARY KEY (order_hash, order_id);

这样设计之后,订单数据就会分散到不同的Split上,写入压力不会集中在同一个节点。

2.3 索引怎么建才不拖后腿

Spanner的二级索引和MySQL有点像,但有一个坑:如果索引列和主键列重叠太多,存储成本会翻倍。因为每个索引都会额外存一份主键副本。

比如你给 customer_id 建一个二级索引,那么索引里会存 customer_id 加上完整主键 order_hash, order_id。如果这个表的数据量很大,索引体积可能比主表还大,成本直线上升。

建索引的原则是:

  • 只给最核心的查询条件建索引
  • 尽量用覆盖索引,把需要返回的列直接放进索引里
  • 对低频查询字段,宁可慢一点也别乱建索引

-- 创建一个覆盖索引,把需要查询的字段都放进去,避免回表
CREATE INDEX idx_customer_orders
ON orders (customer_id, order_status)
STORING (order_amount, created_at);

这个索引的意思是:当你按 customer_id 和 order_status 查询时,可以直接从索引里拿到 order_amount 和 created_at,不需要再回主表去取数据,查询速度和存储效率都比较理想。

三、存储成本优化怎么做才实在

3.1 从架构层面压缩数据量

Spanner的计费方式,简单说就是按节点数和存储量来收钱。节点数越多,并发能力越强,但成本也越高。存储量则是按GB计费,数据越少越省钱。

所以最直接的成本优化,就是减少数据体积。

第一招:压缩数据。 比如日志表里有个 payload 字段存的是JSON字符串,可能很大。你可以用压缩算法处理后存成BYTES类型,读取时再解压。这样存储量能降不少。


-- 创建一个带有压缩字段的表
CREATE TABLE event_logs (
  log_id      STRING(64)  NOT NULL,
  event_time  TIMESTAMP   NOT NULL,
  payload     BYTES,      -- 这里存压缩后的JSON
  payload_md5 STRING(32)
) PRIMARY KEY (log_id, event_time);


-- 写入时在应用层先压缩
INSERT INTO event_logs (log_id, event_time, payload, payload_md5)
VALUES (
  @log_id,
  @event_time,
  FROM_BASE64(@compressed_payload), -- 传入base64编码的压缩数据
  @payload_md5
);

第二招:冷热数据分层。 如果业务上有明显的冷热区分,比如最近3个月的订单访问频繁,更早的数据几乎不查。你可以把老旧数据迁移到单独的备份存储,或者直接导出到GCS冷存储,需要的时候再恢复查询。

3.2 从数据模型层面减少存储

有时候我们为了查询方便,会把同一份数据存好几份冗余。比如订单表里存了一个 customer_name 字段,实际上客户名称在客户表里已经有,你完全可以通过JOIN查出来。这种冗余字段在单机数据库里问题不大,但在Spanner里,每存一份冗余,就是实打实的存储费用。

所以设计原则是:数据只存一次,需要时用JOIN查。


-- 订单表里不要冗余customer_name
CREATE TABLE orders_optimized (
  order_id      STRING(64)  NOT NULL,
  customer_id   STRING(64)  NOT NULL,
  order_amount  FLOAT64,
  created_at    TIMESTAMP   NOT NULL,
) PRIMARY KEY (order_id);

-- 客户表里存客户名称
CREATE TABLE customers (
  customer_id   STRING(64)  NOT NULL,
  customer_name STRING(128) NOT NULL,
  email         STRING(256),
) PRIMARY KEY (customer_id);

查询时用JOIN把名字拼出来,虽然多了一次JOIN开销,但存储成本会明显下降。

3.3 从运维层面优化存储

Spanner有一个特性叫“版本保留期”,默认是7天。也就是说,一条数据被更新或删除之后,旧版本还会在后台保留7天,用于支持时间点恢复。如果业务不需要这么长的保留期,你可以把它调小,这样能省下一部分存储空间。


# 把版本保留期从默认7天改为1天
gcloud spanner databases update my-database \
  --instance=my-instance \
  --database=my-database \
  --retention-period=1d

另外,Spanner允许你对表进行“交错放置”,也就是把两张关联表放在同一个Split里。比如订单表和订单明细表,如果按订单ID关联,把它们交错放置后,同一个订单的明细数据会物理上挨着主记录。这样查询一个订单的所有明细时,不需要跨节点读取,性能更好,同时存储碎片也会更少。


-- 交错表定义:订单明细作为订单表的子表
CREATE TABLE orders_parent (
  order_id      STRING(64)  NOT NULL,
  customer_id   STRING(64)  NOT NULL,
  order_amount  FLOAT64,
  created_at    TIMESTAMP   NOT NULL,
) PRIMARY KEY (order_id);

CREATE TABLE order_items (
  order_id      STRING(64)  NOT NULL,
  item_id       STRING(64)  NOT NULL,
  product_name  STRING(128) NOT NULL,
  quantity      INT64,
) PRIMARY KEY (order_id, item_id),
INTERLEAVE IN PARENT orders_parent ON DELETE CASCADE;

这里 INTERLEAVE IN PARENT 是Spanner特有的语法,它告诉数据库这两张表的数据要尽量放在一起,查询效率更高,而且删除主订单时会自动级联删除明细,不需要额外写业务代码。

四、用起来有什么优缺点

4.1 优点总结

扩展性极强。 加节点就是加吞吐,不用改代码,不用手动迁移数据。业务从每天几百万请求涨到几亿请求,只需要增加节点数就行。

事务能力可靠。 支持跨表、跨区域的事务,这在很多分布式数据库里是很难实现的。比如你的订单表和库存表可能在不同区域,但Spanner依然能保证要么都成功,要么都失败。

运维负担小。 自动备份、自动故障切换、自动负载均衡,你几乎不用管底层基础设施,把精力集中在业务代码上。

4.2 缺点也要说清楚

成本偏高。 相比自建数据库,Spanner的单价不便宜。如果你的数据量只有几百GB,并发也不高,用Spanner可能反而比用一台MySQL更费钱。它更适合数据量大、需要全球部署的场景。

SQL语法有差异。 虽然支持标准SQL,但有些细节不同。比如没有自增列,你要自己生成唯一ID;不支持 LIMIT 语法,用 LIMIT 得写成 LIMIT,但和MySQL的用法略有差异;不支持某些存储过程。

学习曲线存在。 你需要理解它的数据分布机制,设计主键时要考虑热点问题。如果团队习惯了传统关系型数据库,初期可能会有点不适应。

五、注意事项和踩坑提醒

5.1 别用自动生成的主键

如果你不指定主键,Spanner会默认生成一个UUID。但这个UUID是随机生成的,数据分布均匀,没有热点问题。可问题是,你在业务代码里不知道这个UUID是什么,后续无法按业务键查询。所以一定要显式设计主键。

5.2 小心单行更新

Spanner的事务是基于两阶段提交的,在分布式环境下,跨节点事务的开销比单机数据库高。如果一条SQL里更新了10万行,而且这些行分散在多个节点上,性能会非常差。最佳实践是:批量更新时,把数据按主键排序,每次更新几百条,分多次提交。

5.3 查询一定要带主键条件

Spanner不像MySQL那样,可以全表扫描然后过滤。如果一个查询没有主键限制,Spanner需要跨所有节点扫描,这个成本非常高,甚至可能报错。所以写查询时,务必带上主键的前缀条件。


-- 错误示例:没有主键条件,会触发全表扫描
SELECT * FROM orders WHERE order_status = 'PENDING';

-- 正确示例:带上主键前缀
SELECT * FROM orders WHERE order_id = @order_id;

5.4 监控存储用量

Spanner后台有专门的监控指标,比如 database.storage_used_bytes,你可以用Cloud Monitoring查看趋势。如果发现存储量异常增长,很可能是因为建了太多二级索引,或者版本保留期设置得太长。及时调整这些配置,能省下不少钱。

六、最后总结一下

Google Cloud Spanner非常适合那些数据量巨大、需要全球部署、同时又离不开事务和强一致性的场景。比如全球电商订单、跨国支付系统、大规模IoT平台。

架构设计上,核心是主键设计。主键决定数据分布,也决定查询效率。你得确保第一列是最常用的过滤条件,同时避免单调递增带来的热点。

存储成本优化,可以从三个层面下手:一是压缩数据,二是减少冗余,三是调整运维配置。每一项都能实打实地降低账单。

当然,它也不是银弹。如果数据量只有几GB,并发也不高,用传统的单机数据库可能更经济。如果团队完全不懂分布式数据库,那还需要花时间学习。

说到底,选择数据库这件事,没有绝对的好坏,只有是否匹配业务场景。你只有真正理解了Spanner的架构,才能把它用好,也才能把成本控制住。希望这篇文章能帮你少走一些弯路。