一、多环境部署下监控数据隔离的实际痛点(应用场景)

1.1 什么是多环境部署

很多做开发的朋友都懂,一个项目从开发到上线,通常要经过好几个不同的环境:开发同学写代码用的开发环境,测试同学测功能的测试环境,还有最后给用户用的生产环境,有的团队还会加一个预发环境,用来模拟生产的配置。这些环境里跑的都是同一个项目的代码,只是配置不一样,比如数据库地址、接口地址之类的。

1.2 未隔离的监控会有什么问题

之前我待过的一个团队,一开始只有生产环境,用SkyWalking做监控,觉得挺好。后来加了测试环境,偷懒没做隔离,直接连同一个SkyWalking实例,结果没多久就乱了:测试同学压测接口产生的大量错误请求、慢查询,全堆在生产环境的监控里,运维同学排查生产问题的时候,要自己一条一条过滤掉测试数据,有一次生产环境接口超时,运维花了快40分钟才找到真正的生产请求,差点耽误了用户。还有一次,开发同学改了个小功能,测试环境跑了一堆日志,生产环境的图表直接被压平了,根本看不到正常的请求数据。这种情况就是典型的监控数据没隔离的问题,小团队可能觉得麻烦,但环境多了之后,就是效率的噩梦。

二、SkyWalking多环境数据隔离的架构设计

2.1 核心隔离思路

其实SkyWalking本身就自带了数据隔离的功能,不用自己瞎折腾。核心思路就是给每个环境分配一个专属的“身份标识”,比如叫“环境ID”,每个环境的Agent(就是埋在应用里的监控代理)都会把自己的环境ID发给SkyWalking的后端(OAP),OAP收到数据后,只会把对应环境的数据放到自己的专属存储里,这样不同环境的数据就完全分开了,就像每个人都有自己的书包,不会混拿一样。

2.2 架构分层的隔离设计

整个流程分三层,每层都做对应的隔离: 第一层是采集层:每个应用的Agent都配置自己的环境ID,就像快递员送快递,每个快递都贴自己的小区号; 第二层是接收层:SkyWalking的OAP会根据Agent发来的环境ID,把数据分到对应的“数据桶”里,不会乱; 第三层是存储层:每个环境的数据存在不同的索引或者存储桶里,比如生产环境的索引叫prod_skywalking,测试环境叫test_skywalking,就算哪天要清数据,也不会误删别的环境的。

三、具体实现方案(附详细示例)

这里我们用SkyWalking 9.5版本作为示例(单一技术栈,不用别的工具),步骤很简单,跟着做就行:

3.1 第一步:开启SkyWalking的租户(环境ID)功能

首先要改SkyWalking OAP的配置文件,让它支持环境ID的识别。假设你用的是解压版的SkyWalking OAP,配置文件在config/application.yml里,找到对应的配置项,改成下面这样:

# SkyWalking OAP核心配置,开启租户功能,用Agent标签做环境区分
skywalking:
  tenant:
    enable: true  # 必须开启,不然不支持隔离
    mode: AGENT_LABEL  # 用Agent发来的标签(就是环境ID)来区分租户
  storage:
    elasticsearch:
      index-prefix: skywalking # 索引前缀,后面会自动加环境ID,比如变成skywalking_dev
      # 其他存储配置按你自己的来,比如ES的地址、用户名密码之类的,别写错

改完配置后,重启SkyWalking OAP,让配置生效。

3.2 第二步:给每个环境的Agent配置对应环境ID

每个跑在不同环境里的应用,都要在启动的时候告诉Agent自己的环境ID。比如我们以Spring Boot应用为例,启动命令里加上环境ID的参数:

# 测试环境应用启动命令,注意tenant_id是test
java -javaagent:/path/to/skywalking-agent.jar \
-Dskywalking.agent.service_name=订单服务 \
-Dskywalking.agent.instance_name=订单服务-test-01 \
-Dskywalking.agent.tenant_id=test \  # 这里写test,对应刚才OAP里的租户模式
-Dskywalking.collector.backend_service=你的OAP地址:11800 \
-jar order-service.jar

# 生产环境应用启动命令,tenant_id改成prod
java -javaagent:/path/to/skywalking-agent.jar \
-Dskywalking.agent.service_name=订单服务 \
-Dskywalking.agent.instance_name=订单服务-prod-01 \
-Dskywalking.agent.tenant_id=prod \  # 生产环境就写prod,别和测试混了
-Dskywalking.collector.backend_service=你的OAP地址:11800 \
-jar order-service.jar

这里要注意,不同环境的tenant_id必须不一样,比如开发环境写dev,预发写pre,测试写test,生产写prod,不能写错。

3.3 第三步:验证隔离是否生效

配置完之后,打开SkyWalking的UI(默认端口是8080),在左上角的租户切换下拉框里,选择不同的环境,比如选test,就能看到测试环境的订单服务数据,选prod,看到的就是生产环境的,完全分开,不会混。如果切换租户后看不到数据,就检查一下:Agent的tenant_id有没有写错,OAP的配置有没有开enable: true,OAP和Agent的版本是不是一样的(必须都是9.5,不然不兼容)。

四、该方案的优缺点分析

4.1 优点

首先是数据清晰,每个环境的数据都是独立的,运维排查问题的时候,不用过滤别的环境的数据,省时间;然后是权限可控,比如测试环境的监控,只有测试和开发能看,生产环境的只有运维能看,不会乱;还有是避免误操作,比如清测试环境的数据,不会影响生产,因为索引是分开的;另外,不同环境的存储资源可以分开管理,比如测试环境的监控数据可以存7天,生产的存30天,按需分配。

4.2 缺点

这个方案不是完美的,首先要多做一步配置,每个环境的Agent都要改参数,要是环境多了,比如五六个,就得多写几个tenant_id,有点麻烦;然后如果配置错了,比如生产环境写成test,就会把生产的数据写到测试的存储里,可能会丢数据或者找不到;还有,要是小团队环境只有一两个,做隔离的收益不高,反而会增加一点工作量。

五、实现时的关键注意事项

5.1 租户ID的一致性

这个是最核心的,OAP里的租户模式和Agent里的tenant_id必须完全一致,比如OAP开的是AGENT_LABEL模式,Agent的tenant_id就必须是有效的标签,不能随便写,不然OAP识别不了,就会把数据放到默认的租户里,还是会混。比如OAP开了多个租户,分别是dev、test、prod,那Agent的tenant_id就只能写这三个,不能写别的,不然会报错。

5.2 版本兼容性

SkyWalking的OAP和Agent版本必须完全一样,比如都是9.5.0,要是OAP是9.5,Agent是9.4,就会不识别tenant_id,导致隔离失效,这个一定要注意,很多人踩过这个坑。

5.3 存储资源的隔离

虽然每个环境的索引是分开的,但是如果用同一个Elasticsearch实例,要给每个环境的索引留足够的存储空间,比如测试环境可以只留10G,生产环境要留100G,别让测试环境的请求占满了ES的空间,影响生产环境的存储。

5.4 索引清理策略

每个环境的数据保留时间可以不一样,比如测试环境的监控数据,压测完就可以清,留7天够了;生产环境的要留30天,方便排查历史问题,所以要给每个环境的索引设置不同的过期时间,别浪费存储。

六、总结

多环境部署的时候,监控数据隔离不是可有可无的,而是必须做的,尤其是环境数量超过两个的团队,不然监控就成了摆设,反而会帮倒忙。刚才讲的方案用的是SkyWalking原生的租户功能,不用额外加别的工具,配置也简单,只要注意几个关键点,就能快速实现隔离。这个方案适合大部分用SkyWalking做监控的团队,不管是小团队还是中大型团队,都能落地,核心就是每个环境的身份标识要统一,OAP和Agent要配合好,这样就能彻底解决监控数据混杂的问题,让SkyWalking真正帮我们快速定位问题,提升效率。