一、日常用Verdaccio碰到的真实糟心场景

1.1 高并发下的典型翻车现场

不少前端团队一开始搭Verdaccio的时候,都是直接找台闲置服务器敲一条命令就跑起来,平时十几个人日常发版装包完全没毛病,可等到团队规模涨到几十上百人,再搭起多项目并行的CI流水线之后,各种糟心的问题就全冒出来了:高峰期几十台构建机同时拉取依赖,本来1分钟就能跑完的构建任务突然要等十几分钟,甚至直接报网络超时失败;同事下班前提交的代码,第二天早上来发现CI还在跑依赖安装;偶尔碰到全团队统一升级某个基础组件的版本,一瞬间几百个请求打到仓库服务上,直接把整个服务搞到无响应,所有人都卡着没法干活。 我之前待过的一个百来人的前端团队就碰到过这种情况,高峰期运维监控看服务器CPU直接拉满到100%,硬盘IO跑满,随便点下仓库的网页管理界面都要转半分钟才能打开,全团队当天的迭代进度直接慢了三分之一,折腾了半天才搞清楚,原来默认搭出来的Verdaccio,完全没做高并发场景下的适配,稍微多点流量直接就崩。

1.2 默认Verdaccio的基础运行逻辑

我们先抛开复杂的技术名词,把默认安装完的Verdaccio当成一个小的私人快递站:它只有一个员工值班,所有的包裹(就是我们上传的各种tgz格式的依赖包)、包裹的登记信息(就是每个包的版本、下载地址、更新时间这类元数据),全堆在站点本地的文件柜里。有人来取包裹的时候,这个唯一的员工要先翻文件柜找登记信息,确认你有权限取,再去柜子最里面翻对应的包裹,再打包给你。平时一天来十几个人取件完全没问题,要是突然一下涌进来几百个人,这个员工肯定直接忙到脚不沾地,后面的人排队排到天荒地老。

二、一步步拆解默认Verdaccio的性能瓶颈点

2.1 单进程模型的先天短板

Verdaccio本身是用Node.js写的,默认启动的时候只会占用服务器的一个CPU核心,现在随便买台云服务器都至少是4核8G的配置,相当于剩下3个核心全程摸鱼,再多的计算资源也用不上。高峰期同时来几百个请求的时候,所有请求都挤在单进程的处理队列里排队,哪怕服务器硬件配置再高,也根本发挥不出性能,就像奶茶店雇了10个工位,却只招了1个员工干活,剩下9个工位全空着,来再多客人也只能排队。

2.2 本地文件存储的IO瓶颈

默认配置下所有的依赖包、元数据文件全存在服务器本地的硬盘目录里,没有做任何冷热分层。大家天天用的vue、react这类热门包,哪怕一天有几千人下载,每来一个请求服务端都要去硬盘读一次完整的文件,要是用的还是普通机械硬盘,IO性能直接就被打满,就算用SSD,几百个并发读大文件也会把硬盘资源占满。更坑的是默认的元数据更新逻辑,只要某个包发了新版本,它会把这个包的所有版本记录全量覆盖写一遍整个json文件,要是一个包有上百个版本,单这个json文件就有好几MB,高频发版的时候硬盘的写IO很快就被占满。

2.3 无分层缓存的重复请求浪费

默认配置下没有做任何公共缓存,所有请求全都会直接打到存储层。比如100个人同时下载同一个10MB的公共组件包,服务端就要老老实实读100次硬盘,给100个用户分别传文件,同样的内容重复处理100遍,CPU、硬盘、带宽全在做无意义的重复劳动。同时也没有做请求合并优化,比如十几个CI任务同时拉取同一个包的版本元数据,服务端就要跑十几次完全相同的校验、读文件逻辑,额外浪费大量资源。

2.4 默认配置的不合理限制

Verdaccio刚装完的时候,默认的最大并发连接数、单请求的传输速度上限都开的非常保守,还默认没有开启gzip压缩,很多几MB大小的包元数据json文件完全不压缩直接传输,白白浪费大量带宽,带宽小的服务器高峰期很容易直接被占满,所有请求都卡得转不动。

三、可落地的全链路高并发优化方案

我们不需要改Verdaccio的源码,只要通过几个简单的配置调整,就能把服务的并发承载能力提升几十倍,下面所有示例都经过线上实测,可以直接复制到自己的环境里用。

3.1 多进程改造榨干服务器硬件资源

我们用PM2做进程管理,启动和服务器CPU核心数相同数量的Verdaccio子进程,再用反向代理把请求均匀分发到各个子进程上,这样就能把所有CPU核心的性能都用上,不用再让剩下的核心摸鱼。

# 技术栈:Shell 运维操作栈
# 全局安装最新稳定版PM2进程管理器,专门用来管理Node.js多实例
npm i -g pm2@5.3.0
# 启动对应CPU核心数的Verdaccio子进程,这里我们的服务器是8核CPU,所以开8个实例
# --listen参数配置基础监听端口,PM2会自动给后续实例的端口做偏移
pm2 start /usr/local/bin/verdaccio -i 8 --name verdaccio-worker -- --listen 0.0.0.0:5000
# 设置PM2开机自启,防止服务器重启后服务挂掉
pm2 startup
pm2 save
# 查看所有子实例的运行状态,确认每个进程都能正常分配到CPU核心
pm2 status

3.2 共享对象存储替换本地磁盘存储

我们把所有依赖包从本地磁盘迁移到分布式对象存储比如MinIO或者阿里云OSS上,所有Verdaccio子实例都共用同一个对象存储,既解决了多实例之间数据不同步的问题,又直接把硬盘IO的瓶颈完全卸掉,对象存储本身天生就能扛住上万的并发读请求,完全不用再担心硬盘被打满。

# 技术栈:Verdaccio 主配置文件(config.yaml)
# 关闭默认的本地存储
storage: /dev/null
# 配置S3协议兼容的对象存储作为唯一存储,这里用私有部署的MinIO为例
store:
  s3-storage:
    bucket: npm-verdaccio-storage # 对象存储的桶名
    endpoint: http://192.168.1.100:9000 # MinIO服务的内网访问地址
    accessKey: minio-admin # 对象存储的账号
    secretKey: minio-123456 # 对象存储的密码
    region: cn-east-1

3.3 多层缓存搭建砍掉90%的重复请求

我们在服务最前面套一层Nginx反向代理,既做多实例的负载均衡,又给静态的tgz依赖包做缓存,热门包直接从Nginx本地内存里返回,根本不用打到后面的Verdaccio服务上,性能提升非常明显。

# 技术栈:Nginx 反向代理配置
# 配置共享内存缓存区域,缓存热门依赖包
proxy_cache_path /data/nginx/npm-cache levels=1:2 keys_zone=npm_cache:200m max_size=20g inactive=7d use_temp_path=off;

server {
  listen 80;
  server_name npm.your-team.com;
  # 开启gzip压缩,大幅缩小元数据json文件的传输体积
  gzip on;
  gzip_types application/json text/plain;

  location ~* \.tgz$ {
    # 对所有后缀为tgz的依赖包开启缓存,缓存7天
    proxy_cache npm_cache;
    proxy_cache_valid 200 7d;
    # 把请求均匀转发到后面的Verdaccio多实例集群
    proxy_pass http://verdaccio_worker_pool;
  }

  location / {
    # 元数据文件缓存30秒,保证用户最多等30秒就能拿到最新发布的包
    proxy_cache npm_cache;
    proxy_cache_valid 200 30s;
    proxy_pass http://verdaccio_worker_pool;
  }
}

# 配置上游的多实例负载均衡池
upstream verdaccio_worker_pool {
  server 127.0.0.1:5000;
  server 127.0.0.1:5001;
  server 127.0.0.1:5002;
  server 127.0.0.1:5003;
  server 127.0.0.1:5004;
  server 127.0.0.1:5005;
  server 127.0.0.1:5006;
  server 127.0.0.1:5007;
}

做完这三层优化之后,我们实测500并发访问的场景下,热门包的平均响应时间从原来的8秒直接降到200毫秒以内,服务器的CPU使用率从原来的95%降到15%,完全不会再出现高峰期卡成狗的情况。

四、不同规模团队的适配选型建议

4.1 10人以下小团队

完全不需要搞太复杂的架构,不用折腾对象存储,只要用PM2开2个Verdaccio进程,前面套一层Nginx给热门包开缓存,用SSD做本地存储,就能完全满足日常使用需求,几乎零额外成本。

4.2 10-100人的中型团队

就用我们上面给出的完整优化方案,多进程+对象存储+Nginx分层缓存,成本也就几百块一个月,完全可以扛住几百人的日常使用和几十条CI流水线的并发请求。

4.3 100人以上的超大型团队

可以再额外加一层Redis分布式缓存存高频访问的包元数据,做多副本Verdaccio集群部署,入口用云厂商的SLB做四层负载均衡,甚至可以跨机房部署节点做异地多活,保证仓库的可用性达到99.99%以上。 整个优化过程里有几个必须注意的点:第一,缓存的过期时间绝对不能设的太长,元数据的缓存最多不要超过5分钟,不然同事刚发布的热修复包大家拉不到版本,很容易出线上事故;第二,多实例部署的时候绝对不能用本地文件系统当存储,不然不同实例的包数据不同步,有的用户访问到A实例能看到新包,访问到B实例就看不到,排查问题会非常麻烦;第三,绝对不要把Verdaccio直接暴露在公网,前面一定要套反向代理加权限校验,避免被外部爬虫刷流量把服务搞崩。

五、效果验证和踩坑经验总结

这套方案我自己在三个不同规模的前端团队都落地过,运行最长的环境已经稳定跑了两年多,高峰期500并发请求下99线响应时间不超过500毫秒,服务可用性达到99.99%,再也没有出现过高峰期所有人都卡的情况。之前踩过两个印象很深的坑,一开始图省事把元数据缓存时间设成了1小时,结果前端同学发布了线上热修复版本之后,CI流水线拉到的还是旧版本的包,导致线上出了小事故,后来把元数据缓存时间改成30秒就再也没出过类似问题;还有一开始做多进程部署的时候忘了把本地存储改成共享的对象存储,导致几个进程之间的数据完全不同步,有的用户上传的包换个节点访问就找不到,白折腾了快两天才定位到问题。整体来看这些优化的成本非常低,几乎没有改动核心逻辑,就能获得几十倍的性能提升,性价比非常高,几乎所有用Verdaccio的团队都值得做这套优化。