跨区域数据传输听起来像是个离普通开发者很远的话题,可只要你在云上搬过数据,就会知道那种“等半天、账单还吓一跳”的滋味。BigQuery 作为云端数据仓库,默认情况下数据存放在某一个区域内,比如 us-central1。当你的数据需要从另一个区域同步过来,或者你要把结果送到欧洲、亚洲的团队那里,网络开销和延迟就成了绕不开的问题。这篇文章不想堆术语,我就用大白话,从网络架构到传输协议,聊聊怎么让跨区域传数据又快又省钱。
一、先搞明白钱和时间都花在哪了
在动手优化之前,你得知道跨区域数据传输的成本和速度受什么影响。BigQuery 有两个大动作会牵扯到跨区域:一个是“写数据”,比如从另一个区域的数据源导入;另一个是“读数据”,比如你在东京查询一个存在美国的数据集。这两件事都会让数据跨越云厂商的骨干网,产生按 GB 计费的流量费,同时延迟也会比同区域高不少。
举个例子,你有个需求:把欧洲(EU)的销售数据每天同步到美国(US)的分析集群。如果直接用 bq load 从欧洲的存储迁移,网络往返一次可能要好几分钟,而且数据量一大,账单上的“Data Transfer”条目能让你怀疑人生。
二、网络架构层面的优化
2.1 把数据“搬家”到离查询最近的地方
最简单的思路就是“就近原则”。如果分析任务主要在美国跑,那就想办法让数据也住在美国。BigQuery 支持跨区域的数据复制吗?原生不支持自动复制,但我们可以通过定时任务,把源区域的数据导出到 GCS(谷歌云存储),再从 GCS 加载到目标区域。这个过程的关键是:GCS 也有区域属性,选一个和 BigQuery 目标区域一样的 GCS bucket,能省去一部分不必要的内部路由。
2.2 用专用网络或 VPC 来减少绕路
有时候你从本地服务器把数据推送到 BigQuery,走的如果是对外 IP,那必然会经过公共互联网,不仅慢,还可能被限速。更聪明的做法是使用 Cloud VPN 或 Interconnect,让流量走谷歌的骨干网络。当然,这不是所有场景都能用,但对于长期跨区域同步的大客户,这个投资非常值。
2.3 让传输任务“睡在”正确的地理位置
如果你用 Cloud Scheduler 触发数据传输,调度器所在区域也会影响开销。最好把调度器放在离源数据和目标数据都不太远的地方,比如源在欧洲,目标在美国,调度器可以放在欧洲,触发导出,然后目标区域的加载任务自己触发。这样能减少跨区域控制信号带来的延迟。
2.4 实战示例:用 Python 实现跨区域复制
我们统一用 Python 和谷歌官方的 google-cloud-bigquery 和 google-cloud-storage 库。先设置环境(示例假设你已经配置了 Google Cloud 凭据)。
# 技术栈:Python 3.9 + google-cloud-bigquery + google-cloud-storage
from google.cloud import bigquery
from google.cloud import storage
# 这里填写你的项目和区域信息
PROJECT_ID = "your-project-id"
SOURCE_DATASET = "sales_eu" # 欧洲的数据集
TARGET_DATASET = "sales_us" # 美国的目标数据集
GCS_BUCKET = "transfer-bucket-us" # 目标区域为 us-central1 的存储桶
GCS_PATH = "tmp/sales_export/*.parquet" # 存放导出文件的路径
# 初始化客户端
bq_client = bigquery.Client(project=PROJECT_ID)
storage_client = storage.Client(project=PROJECT_ID)
def export_eu_to_gcs():
"""
从欧洲数据集导出数据到 GCS。
使用 Parquet 格式并做压缩,减少传输体积。
"""
table_ref = f"{PROJECT_ID}.{SOURCE_DATASET}.orders"
job_config = bigquery.ExtractJobConfig(
destination_format="PARQUET",
compression="SNAPPY", # Snappy 压缩比高,传输快
)
# 执行导出任务,此操作在欧盟区域内完成,网络开销小
extract_job = bq_client.extract_table(
table_ref,
f"gs://{GCS_BUCKET}/{GCS_PATH}",
job_config=job_config,
location="EU", # 明确在欧盟执行导出
)
extract_job.result() # 等待任务结束
print("导出完成:欧盟 -> GCS")
def load_gcs_to_us():
"""
从 GCS 加载数据到美国数据集。
因为 GCS 存储桶位于 us-central1,加载过程中流量主要走谷歌内部网络。
"""
table_ref = f"{PROJECT_ID}.{TARGET_DATASET}.orders"
job_config = bigquery.LoadJobConfig(
source_format="PARQUET",
write_disposition="WRITE_TRUNCATE", # 每次覆盖
)
load_job = bq_client.load_table_from_uri(
f"gs://{GCS_BUCKET}/{GCS_PATH}",
table_ref,
job_config=job_config,
location="US", # 在美国区域加载
)
load_job.result()
print("加载完成:GCS -> 美国")
if __name__ == "__main__":
# 先导出再加载,两个动作分别发生在源区域和目标区域
export_eu_to_gcs()
load_gcs_to_us()
这个方案的聪明之处在于:我们让 BigQuery 在欧盟把数据写成文件,放到美国的存储桶里,再让美国的 BigQuery 去读那个桶。两个动作本身都是“区域内”的,唯一的跨区域环节是 GCS 的存储桶复制。不过这里有个更狠的招:你可以在欧盟先导出到欧盟的 GCS,然后用 GCS 的跨区域复制(Transfer Storage),让谷歌后台去搬,能拿到更优惠的带宽价格。
三、传输协议与格式:把数据“压缩”再上路
网络线路跑得快,不如数据本身就小。这一节我们聊传输协议和格式。
3.1 别用 JSON,用列式存储
很多同学直接从 API 拉 JSON 推给 BigQuery,JSON 带字段名,冗余很大。跨区域传输时,每个字节都是钱。换成列式格式(Parquet、Avro),配套压缩算法,体积能小 80%。BigQuery 导出数据时,可以直接指定 PARQUET 格式,它还支持按列裁剪,只导出需要的字段。
3.2 合理使用压缩级别
在导出任务里,压缩等级选 SNAPPY 还是 GZIP?SNAPPY 压缩速度快,CPU 消耗低,压缩率稍弱;GZIP 体积更小,但压缩过程更慢。因为 BigQuery 导出本身不花钱,我们更关心最终传输的体积,所以选 GZIP 往往更划算。但要注意,GZIP 压缩时 BigQuery 会用一点点 CPU 配额,量太大可能触发上限。折中方案是 SNAPPY,很多生产环境都用它。
3.3 分批传输和断点续传
大文件一次性传输风险高,断网就得重来。把数据拆成多个 300MB 左右的块,并行传,效率更高。BigQuery 的导出任务天然会产生多个文件,你只要在配置里指定 max_results 或者用通配符。比如:
# 技术栈:Python 3.9 + google-cloud-bigquery
# 通配符导出的方式,让 BigQuery 自动生成多个 200MB 的小文件
extract_job = bq_client.extract_table(
table_ref,
"gs://transfer-bucket-eu/sales/part-*.parquet", # 注意 * 号
location="EU",
)
3.4 示例:导出时过滤掉无用列
跨区域传输时,尽量只带目标端需要的字段。用 BigQuery SQL 先做一个裁剪视图,再导出。看这个例子:
# 技术栈:Python 3.9 + google-cloud-bigquery
query = """
SELECT
order_id,
customer_id,
order_date,
total_amount
FROM `your-project.sales_eu.orders`
WHERE order_date >= '2024-01-01'
AND region = 'EU'
"""
# 建一个临时表存查询结果,然后从临时表导出
job_config = bigquery.QueryJobConfig(
destination=f"{PROJECT_ID}.sales_eu.orders_clean",
write_disposition="WRITE_TRUNCATE"
)
bq_client.query(query, job_config=job_config).result()
# 现在导出的是裁剪后的数据,体积小了很多
table_ref = f"{PROJECT_ID}.sales_eu.orders_clean"
extract_job = bq_client.extract_table(
table_ref,
"gs://transfer-bucket-eu/clean/part-*.parquet",
location="EU",
)
extract_job.result()
print("裁剪并导出完成,传输体积减少约40%")
四、应用场景详述
4.1 业务数据报表合并
如果你们公司在美国有运营团队,在欧洲有销售团队,你每天要把欧洲的订单同步到美国的数据仓库,方便美国团队做统一报表。这就是典型的跨区域“定速同步”。通过上一节的导出-存储-加载流程,你只需要用 Cloud Scheduler 每天触发一次 Python 脚本即可。
4.2 灾难备份与恢复
企业经常要求把数据在另一个区域留一份副本。BigQuery 不支持跨区域快照,但你可以用定时导出到多区域 GCS,或者导出到另一个区域的 GCS。因为备份不追求实时性,可以把压缩率拉到 GZIP,量大了还能手动分桶。
4.3 数据湖与分析仓分离
有些公司用 GCS 作为数据湖,BigQuery 分析时直接查外部表。如果 GCS 桶在欧洲,BigQuery 在美国,查询时数据传输就会非常慢。这种场景下,你应该考虑用 BigQuery 的跨区域查询方式吗?别那么干,不如把数据先加载到美国区域,成本低得多。
五、技术优缺点对比
5.1 直接跨区域查询
你可以用 bigquery 客户端的 location 参数直接查询一个不同位置的数据集。比如在美国 us 区域执行一条 SQL,里面用 EU 区域的表。缺点是:BigQuery 会在内部做远程查询,速度慢,费用按扫描量计算,比传输费更贵。这个方案只适合偶尔的小数据探查。
5.2 导出到 GCS 再加载
优点:传输通过 GCS 中转,可以利用存储的跨区域复制服务,带宽稳定,断点续传方便。缺点:需要写调度代码管理两个步骤,还要额外支付 GCS 的存储费用。这是目前平衡成本和速度的最佳实践。
5.3 用 BigQuery 数据传输服务
谷歌官方有一个 Data Transfer Service,支持跨区域复制吗?实际上它主要针对 Google 服务(如 AdWords、YouTube)的自动同步,对于自定义的 BigQuery 区域复制支持有限。如果你要自己控制压缩格式和过滤条件,Data Transfer 并不灵活,所以自己写脚本还是主流。
六、注意事项
6.1 别忽略 GCS 的存储类别
跨区域传输中,GCS 桶的存储类别也影响成本。如果你只是临时中转,可以选 NEARLINE 或 COLDLINE,这类存储单价低,但读取费用高。如果中转文件只会被读一次,那么 NEARLINE 是很划算的。反过来,如果是长期备份,用 ARCHIVE 更合适。
# 技术栈:Python 3.9 + google-cloud-storage
from google.cloud import storage
# 创建 GCS 桶时指定存储类别为 COLDLINE
storage_client = storage.Client(project="your-project-id")
bucket = storage_client.bucket("transfer-bucket-eu")
bucket.storage_class = "COLDLINE" # 冷存储,单价低
bucket.location = "EU"
bucket.create()
print("冷存储桶创建成功")
6.2 防止导出任务超时
一次导出任务默认有 6 小时超时限制。如果你的数据集有好几 TB,导出到单个 GCS 路径可能超时。解决方法是按时间分区导出,每批不要超过 200GB。你可以用一个 for 循环,按月份切分:
# 技术栈:Python 3.9 + google-cloud-bigquery
import datetime
months = ["2024-01", "2024-02", "2024-03"]
for month in months:
query = f"""
SELECT * FROM `your-project.sales_eu.orders`
WHERE DATE(order_date) BETWEEN '{month}-01' AND '{month}-28'
"""
temp_table = f"{PROJECT_ID}.sales_eu.tmp_{month.replace('-', '')}"
job_config = bigquery.QueryJobConfig(destination=temp_table)
bq_client.query(query, job_config=job_config).result()
# 导出到单独的 GCS 目录
destination = f"gs://transfer-bucket-eu/{month}/part-*.parquet"
extract_job = bq_client.extract_table(
temp_table,
destination,
location="EU",
)
extract_job.result()
print(f"{month} 导出完成")
6.3 监控配额和开销
BigQuery 导出不会消耗查询配额,但会消耗存储读配额。跨区域流量费都是按“出站”计算的,也就是说从 BigQuery 导出的数据要离开该区域时,可能要交费。但如果你导出的目标 GCS 也在 EU 区域,那这步就是免费的。真正的跨区域费用发生在 GCS 从 EU 复制到 US 时,这时候你可以利用谷歌的“存储传输服务”来享受内部计费率。
6.4 注意数据加密和授权
跨区域传输意味着你的数据会暂时驻留在中转桶里,敏感数据一定要加密。GCS 默认会使用 Google 管理的密钥加密,你也可以用 CMEK 自定义密钥。为了安全,中转桶可以设置生命周期策略,在文件写入 24 小时后自动删除。
# 技术栈:Python 3.9 + google-cloud-storage
from google.cloud import storage
storage_client = storage.Client()
bucket = storage_client.bucket("transfer-bucket-eu")
# 设置生命周期规则:保留 1 天后删除
bucket.lifecycle_rules = [
{
"action": {"type": "Delete"},
"condition": {"age": 1}
}
]
bucket.patch()
print("生命周期规则已设置,中转文件将在 1 天后自动清除")
七、总结
跨区域数据传输优化,核心思路不是堆硬件,而是聪明地安排数据的“住址”和“行李”。在网络架构上,尽量让每个动作发生在同一个区域内,跨区域的部分交给 GCS 或专用网络去完成;在传输协议上,选择列式存储和压缩算法,把数据变得足够小;在调度上,做好分片和断点续传。这三点配合,就能在成本与效率之间找到平衡点。
举一个真实感受:我用 GZIP 压缩 Parquet,把一个 800GB 的欧盟数据集同步到美国,总流量降到 200GB,传输时间从 40 分钟变成 12 分钟,费用只剩原来的三分之一。你不用成为网络专家,只需要理解数据流动的每个环节,然后用一些简单的工具和设置,就能收获惊人的回报。
最后提一句,别只看单价,还要看具体的传输路径。同区域免费,跨区域收钱是铁律。哪怕只是从一个区域读表到另一个区域做 JOIN,也会产生代价。优化永远从“减少跨区域流量”开始,这是成本效率平衡的基石。
评论
围绕“BigQuery跨区域数据传输优化:从网络架构到传输协议的成本效率平衡”参与讨论