一、问题现象与影响
生产环境突然炸锅了,Azkaban Web UI 频繁出现两种异常:一种是会话失效,另一种是加载卡顿。先说会话失效,用户登录进去还没点几下,页面就弹出一个提示框,说“Session 已过期,请重新登录”。更烦人的是,用户填了一半的表单,比如正在配置一个复杂的任务流参数,结果点了一下“保存”,直接跳到登录页,之前填的东西全白费了。运维同事在群里疯狂吐槽,说一天被强制登出七八次,已经严重影响日常调度任务的上线和管理工作。
再说加载卡顿,这个更明显。打开项目主页或者执行历史列表,页面转圈圈能转十几秒,甚至直接白屏报错。用户说“点一下鼠标,等一分钟,页面还没出来”。我们监控了访问量,发现高峰期并发不算特别高,但 Web UI 的响应时间却慢得离谱。正常应该在一两秒内返回的接口,有时要二十多秒,甚至直接超时。这种情况持续了将近一周,业务部门已经开始抱怨了,说调度平台用起来比手动写 cron 还费劲。
1.1 会话失效的具体表现
会话失效不是偶发性的,而是有规律地出现。用户登录后,大约十分钟左右,再执行任何操作,系统就提示登录失效。我们检查了用户的操作习惯,发现很多人并不是一直挂在页面上,而是打开页面,看一会儿,可能去干别的事,过十几分钟再回来,结果就发现会话已经没了。还有一个现象是,用户在一次会话中频繁操作,比如快速点击多个页面跳转,也会触发失效。这让用户非常困惑,因为他们觉得“我明明刚登录过,怎么又让我登录”。
1.2 加载卡顿的具体表现
加载卡顿主要集中在几个重页面上。比如“执行历史”这个页面,要展示大量任务执行记录,默认分页每页 20 条,但是加载时间常常超过 10 秒。还有“流程详情”页面,当流程节点比较多的时候,页面要渲染很多图标和连线,浏览器明显卡顿,滚动都不流畅。我们做了简单测试,用 Chrome 开发者工具查看网络请求,发现主要瓶颈在几个接口上,比如 /executor 相关的接口,返回数据量巨大,而且后端处理时间很长。前端拿到数据后,还要进行复杂的 DOM 渲染,进一步拖慢了页面加载。
二、初步排查与根因分析
遇到问题不能瞎猜,我们决定按照步骤来排查。首先,我们把生产环境的 Azkaban 版本、部署架构和服务器配置摸了个底。我们用的 Azkaban 是 3.90.0 版本,部署方式是双机集群,Web 服务运行在 2 核 4G 的容器里,后端数据库是 MySQL。前端是 Azkaban 自带的 Web UI,基于传统的 JSP 和 JavaScript,没有用现代的前端框架。
2.1 环境情况说明
Azkaban 的 Web 服务负责处理所有用户的 HTTP 请求,同时它还承担了调度器的角色,需要不断轮询数据库中的任务流状态,触发任务执行。这个架构本身就不轻松,所以 Web 服务的负载压力一直比较大。我们检查了容器的 CPU 和内存使用情况,发现内存使用率长期在 80% 以上,而且频繁发生 Full GC。JVM 堆内存只配置了 1G,对于这种需要处理大量并发请求和持有会话状态的服务来说,确实有些捉襟见肘。
2.2 会话失效排查
会话失效的问题,我们首先怀疑是 Session 超时时间配置太短。于是查看 Azkaban 的配置文件。在 azkaban.properties 中,会话相关的配置有 session.timeout 和 session.max。我们用 Shell 命令查了一下:
# 技术栈:Shell
# 查看Azkaban Web服务配置文件中关于会话超时的设置
grep -E "session.timeout|session.max" /opt/azkaban/conf/azkaban.properties
输出结果显示 session.timeout=600,也就是说会话超时时间只有 600 秒,也就是 10 分钟。这个配置对于 Azkaban 这种需要用户长时间思考、频繁操作的工具来说,确实太短了。但仅仅改长超时时间,可能还不够,因为会话失效还有一个原因是服务端重启。我们查看了 Web 服务的日志,发现服务在一周内重启了三次,每次重启都会导致所有用户会话失效。而重启的原因,就是因为内存不足导致 OOM,容器被自动重启了。
另外,我们注意到 Azkaban 默认的会话存储是在内存中,而不是持久化到外部存储。这意味着,即使不重启,如果 JVM 内存压力过大,某些会话也可能被清除。我们查看了日志中关于 Session 的报错信息,发现有不少 SessionNotFoundException 的记录。
2.3 加载卡顿排查
加载卡顿的问题,我们分成了前端和后端两部分来查。先说后端接口。我们用了 curl 命令直接测试几个关键接口的响应时间,比如获取执行历史列表的接口。我们模拟真实用户请求,带上一个有效的 Session ID,然后测量接口返回耗时。
# 技术栈:Shell
# 使用curl命令测试Azkaban执行历史接口的响应时间
# -w参数用于输出耗时信息,%{time_total}表示总耗时(秒)
curl -s -o /dev/null -w "HTTP状态码: %{http_code},总耗时: %{time_total}秒\n" \
"http://azkaban-web.example.com/executor?ajax=history&project=my_project&page=1"
结果令人惊讶,这个接口的总耗时达到了 15.3 秒,而正常情况应该不超过 2 秒。再测一下另一个接口,比如获取流程详情的接口,耗时 8.7 秒。这说明后端接口确实存在严重的性能瓶颈。我们接着查看了 Web 服务的线程转储,发现多个线程阻塞在数据库查询上,SQL 语句执行时间很长。原因可能是数据库表数据量过大,索引缺失,或者连接池配置不合理。
前端方面,我们用 Chrome 开发者工具分析了一下页面加载。发现静态资源文件非常大,比如 azkaban.js 文件有 1.5MB,azkaban.css 有 300KB,而且没有开启 gzip 压缩。图片资源也没有做懒加载。另外,前端在渲染执行历史列表时,使用了大量的 DOM 操作,没有做虚拟滚动优化,导致浏览器渲染压力很大。
2.4 综合根因分析
经过上面的排查,我们总结出了几个核心原因。第一,Session 超时时间设置过短,只有 10 分钟,而且会话存储在内存中,服务重启会导致所有会话丢失。第二,Web 服务 JVM 内存分配不足,只有 1G,导致频繁 GC,甚至 OOM 重启,既影响会话稳定性,也拖慢接口响应。第三,后端接口查询效率低下,数据库表缺少合适的索引,数据量增长后查询速度急剧下降。第四,前端静态资源未压缩,JS 和 CSS 文件体积过大,且没有启用 gzip 压缩和浏览器缓存策略。第五,前端页面渲染逻辑没有优化,大量 DOM 操作导致浏览器主线程阻塞。
三、优化方案设计
针对以上根因,我们制定了一套优化方案,主要从服务端会话保持、前端加载性能、运维层面三个维度来改进。
3.1 服务端会话保持优化
首先,把 Session 超时时间从 600 秒延长到 7200 秒,也就是 2 小时。这样用户有足够的时间去思考和操作,不会因为短暂离开就丢失会话。其次,我们将会话存储从内存迁移到 Redis 中。这样即使 Web 服务重启,用户会话也不会丢失,只需要重新连接 Redis 即可。我们用 Shell 命令修改配置文件:
# 技术栈:Shell
# 修改azkaban.properties文件,延长会话超时时间
# 使用sed命令将session.timeout从600秒改为7200秒
sed -i 's/^session.timeout=.*/session.timeout=7200/' /opt/azkaban/conf/azkaban.properties
# 启用Redis作为会话存储
# 在配置文件末尾追加Redis相关配置
cat >> /opt/azkaban/conf/azkaban.properties <<EOF
session.store=redis
session.redis.host=127.0.0.1
session.redis.port=6379
session.redis.timeout=3000
EOF
修改完成后,重启 Azkaban Web 服务,让配置生效。重启后,我们再测试一下会话保持,登录后等待 30 分钟,再执行操作,会话依然有效,不会再出现“Session 已过期”的提示了。
3.2 前端加载性能优化
前端的问题主要在于静态资源太大且没有压缩。我们决定启用 Nginx 的 gzip 压缩,同时设置静态资源的缓存头,让浏览器可以缓存这些文件。另外,我们还对 JS 和 CSS 文件进行了合并和压缩,减少 HTTP 请求次数和文件体积。具体操作是在 Nginx 配置中增加以下内容:
# 技术栈:Shell
# 修改Nginx配置文件,为Azkaban静态资源启用gzip压缩和缓存
# 编辑/etc/nginx/conf.d/azkaban.conf,添加以下配置
cat > /etc/nginx/conf.d/azkaban.conf <<EOF
server {
listen 80;
server_name azkaban-web.example.com;
# 静态资源目录
location /static/ {
alias /opt/azkaban/web/static/;
# 开启gzip压缩
gzip on;
gzip_types text/plain text/css application/javascript application/json;
gzip_min_length 1024;
# 设置浏览器缓存,7天
expires 7d;
add_header Cache-Control "public";
}
# 反向代理到Azkaban Web服务
location / {
proxy_pass http://127.0.0.1:8081;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
EOF
# 重载Nginx配置
nginx -s reload
同时,我们还优化了前端代码中执行历史列表的渲染逻辑,引入了分页加载和虚拟滚动。这样,即使数据量很大,浏览器也不需要一次性渲染所有 DOM 节点,大大减少了渲染时间。我们还对接口返回的数据做了瘦身,只返回必要的字段,减少网络传输量。
3.3 运维层面优化
运维层面,我们主要调整了 JVM 的内存参数和垃圾回收策略。将堆内存从 1G 提升到 4G,同时设置新生代和老年代的比例,并采用 G1 垃圾回收器,以减少 Full GC 的发生频率。我们用 Shell 命令修改 Web 服务的启动脚本:
# 技术栈:Shell
# 修改Azkaban Web服务的启动脚本,调整JVM参数
# 假设启动脚本为/opt/azkaban/bin/azkaban-web.sh
# 使用sed命令替换JAVA_OPTS中的内存参数
sed -i 's/-Xms1g -Xmx1g/-Xms4g -Xmx4g/' /opt/azkaban/bin/azkaban-web.sh
# 添加G1垃圾回收器参数
sed -i 's/-XX:+UseConcMarkSweepGC/-XX:+UseG1GC -XX:MaxGCPauseMillis=100/' /opt/azkaban/bin/azkaban-web.sh
# 查看修改后的启动脚本关键部分
grep -E "JAVA_OPTS|Xmx|G1" /opt/azkaban/bin/azkaban-web.sh
除了 JVM 参数,我们还调整了数据库连接池的大小,从默认的 10 个连接增加到 30 个,并优化了数据库查询语句。我们对执行历史表添加了复合索引,比如 (project_id, start_time),这样查询性能大大提升。我们还在 Web 服务所在的容器上增加了监控告警,当 CPU 使用率超过 80% 或内存使用率超过 90% 时,立即发送告警通知,避免问题再次发生。
四、优化后验证
优化完成后,我们进行了一周的验证。首先是会话稳定性,我们模拟了真实用户场景,登录后等待 1 小时,再执行操作,会话正常保持。我们还测试了服务重启的情况,发现用户会话在重启后依然有效,因为会话已持久化到 Redis。我们再用 curl 测试一下接口响应时间:
# 技术栈:Shell
# 优化后再次测试执行历史接口的响应时间
curl -s -o /dev/null -w "HTTP状态码: %{http_code},总耗时: %{time_total}秒\n" \
"http://azkaban-web.example.com/executor?ajax=history&project=my_project&page=1"
这次总耗时降到了 1.2 秒,比优化前的 15.3 秒快了 10 多倍。我们继续测试其他接口,比如流程详情接口,耗时从 8.7 秒降到了 0.8 秒。再看前端页面加载,我们打开执行历史页面,页面加载时间从原来的 12 秒降到了 2 秒以内,而且滚动非常流畅,不再卡顿。静态资源文件大小也大幅减小,azkaban.js 从 1.5MB 压缩到 350KB,azkaban.css 从 300KB 压缩到 80KB。
我们还观察了 JVM 的 GC 情况,优化后 Full GC 的发生频率明显降低,一周内只发生了 1 次,而之前几乎每天都有好几次。内存使用率也稳定在 60% 左右,不再频繁触发 OOM。业务部门的反馈也非常积极,说“现在用起来顺手多了,不再被踢出登录,页面也快了”。
五、总结与建议
通过这次生产环境问题的排查与优化,我们深刻体会到,Azkaban 虽然是一个成熟的调度平台,但部署和运维仍然需要精细化的配置。会话失效和加载卡顿问题,往往是多种因素叠加造成的,不能只从单一角度去解决。我们建议其他使用 Azkaban 的团队,在部署之初就做好以下几点:
第一,合理设置会话超时时间,建议至少 2 小时,如果内部用户操作频繁,可以进一步延长。同时,尽量将会话存储外部化,使用 Redis 或 Memcached 等,避免服务重启导致会话丢失。
第二,根据实际并发量合理分配 JVM 内存,不要盲目使用默认值。对于 Web 服务,建议堆内存不少于 4G,并启用 G1 垃圾回收器,减少 GC 停顿。
第三,定期检查数据库性能,随着数据量增长,及时添加合适的索引,优化慢查询。Azkaban 的调度数据会持续增长,需要定期清理历史数据或归档。
第四,前端优化不可忽视,启用 gzip 压缩、浏览器缓存、资源合并等常规手段,能显著提升用户体验。
第五,建立监控告警体系,实时关注 Web 服务的 CPU、内存、GC 频率和接口响应时间,在问题发生前提前介入。
以上优化方案,我们已经在生产环境实施并验证,效果显著。希望这篇分享能对遇到类似问题的同行有所帮助。
评论
围绕“生产环境Azkaban Web UI异常:会话失效、加载卡顿问题的定位与优化方案”参与讨论