很多公司搭完一批Automation Anywhere的自动化机器人之后,都会遇到同一个尴尬的问题:机器人平时好好的跑,某天突然悄无声息停了,负责维护的人半天发现不了,等业务部门找上门来才知道已经耽误了大半天的事,比如自动对账的机器人停了,出纳错过报税截止日要交罚金,自动录工单的机器人停了,客服后台堆了几百条待处理的用户请求,反而比不上自动化的时候效率还低。要解决这个问题,一套顺手的监控体系远比你反复去排查单个机器人的bug性价比高得多。
一、AA流程监控的核心应用场景
1.1 中小规模RPA集群运维场景
很多公司的RPA团队刚起步,手里管着十几台机器,跑着几十号不同业务线的机器人,没有专门的运维人员,全靠几个开发兼职盯着,之前靠人定期点开AA控制室后台刷新的方式,效率极低,很容易漏过异常。不少团队都遇到过整个周末机器人停了两天,周一上班才发现的情况,积压的工单要处理大半天才能补完,反而拖慢了业务节奏。
1.2 核心业务链路RPA保障场景
比如财务报税、银行流水自动校验、电商大促期间的订单自动退款这类核心场景,机器人一旦出问题带来的直接经济损失很高,必须做到异常1分钟内就能通知到负责人,甚至能自己修复小问题,完全不影响业务推进。这类场景对监控的可靠性要求极高,绝对不能出现漏报的情况,否则一次故障带来的损失就能抵得上大半年的自动化收益。
1.3 多部门共用RPA平台的统一管控场景
不少中大型公司的AA平台是给全公司各个业务部门开放使用的,不同部门的人都可以自己搭建机器人,这时候需要统一的监控体系帮平台管理员快速识别哪些机器人消耗了太多资源,哪些机器人频繁报错影响其他人的任务调度,不用挨个去问各个部门的使用人,能大幅降低平台的整体运维成本。
二、基础版AA监控体系快速搭建
整个基础版本我们用Python技术栈开发,不需要引入复杂的第三方中间件,只要一台普通的云服务器就能跑起来,半天就能搭完上线,哪怕是刚接触AA平台的新手也能照着示例代码跑通全流程。
2.1 对接AA官方开放API获取任务状态
Automation Anywhere的控制室自带全套开放接口,不需要我们自己写爬虫去抓网页数据,只要拿到管理员账号生成的API密钥就能拉取所有任务的实时运行状态,接口返回的数据格式非常规范,不需要做额外的格式转换。 下面是完整的对接示例代码:
# 技术栈:Python 3.9+
import requests
import datetime
# 提前配置好AA控制室的地址和API密钥,不要硬编码到代码里,后续可以放到配置文件中
AA_CONFIG = {
"base_url": "http://你的AA控制室部署地址/v2",
"username": "监控专用账号",
"password": "对应账号的密码"
}
def get_aa_auth_token():
# 调用AA官方认证接口获取临时访问token,有效期一般是24小时
auth_url = f"{AA_CONFIG['base_url']}/authentication"
auth_data = {
"username": AA_CONFIG["username"],
"password": AA_CONFIG["password"]
}
resp = requests.post(auth_url, json=auth_data)
# 接口请求异常直接抛出错误,避免后续逻辑拿到空数据
resp.raise_for_status()
return resp.json()["token"]
def get_all_running_tasks(token):
# 拉取当前所有正在运行的任务列表
task_url = f"{AA_CONFIG['base_url']}/tasks/running"
headers = {"X-Authorization": token}
resp = requests.get(task_url, headers=headers)
resp.raise_for_status()
# 返回格式化后的任务信息,只保留我们需要的核心字段,避免多余数据占用内存
formatted_tasks = []
for task in resp.json()["list"]:
formatted_tasks.append({
"task_name": task["name"],
"bot_machine": task["hostName"],
"start_time": task["startTime"],
"status": task["status"],
"task_id": task["id"]
})
return formatted_tasks
if __name__ == "__main__":
token = get_aa_auth_token()
running_tasks = get_all_running_tasks(token)
print("当前正在运行的AA任务数量:", len(running_tasks))
for task in running_tasks:
print(task)
这段代码跑起来之后,你就能实时拿到所有AA任务的运行状态,不用再手动刷新后台页面,哪怕你管着几十上百个机器人,几秒钟就能扫完所有任务的状态。
2.2 基础告警规则的实现
拿到任务数据之后我们就可以加简单的告警判断,比如任务状态是FAILED的直接推紧急告警,任务运行时间超过预设阈值的推警告,示例代码可以直接在上面的基础上扩展,不需要引入额外的复杂组件:
# 技术栈:Python 3.9+
import time
# 配置不同任务的超时阈值,单位秒,比如对账任务允许最大跑1800秒也就是30分钟
TASK_TIMEOUT_CONFIG = {
"财务自动对账": 1800,
"工单自动录入": 300,
"库存同步校验": 600
}
def send_alert(alert_content, level="warning"):
# 这里可以对接你们公司在用的告警渠道,比如企业微信机器人、钉钉机器人、短信接口
wechat_webhook = "你的企业微信机器人webhook地址"
requests.post(wechat_webhook, json={
"msgtype": "text",
"text": {
"content": f"【AA监控告警】告警级别:{level}\n告警内容:{alert_content}"
}
})
def check_task_abnormal(tasks_list):
now_timestamp = int(time.time())
for task in tasks_list:
# 把任务的开始时间转成时间戳,计算已经运行了多久
start_ts = int(datetime.datetime.strptime(task["start_time"], "%Y-%m-%d %H:%M:%S").timestamp())
run_duration = now_timestamp - start_ts
# 判断任务是否异常失败
if task["status"] == "FAILED":
send_alert(f"任务【{task['task_name']}】运行异常退出,运行机器:{task['bot_machine']}", level="critical")
continue
# 判断任务是否超过预设运行时长
if task["task_name"] in TASK_TIMEOUT_CONFIG and run_duration > TASK_TIMEOUT_CONFIG[task["task_name"]]:
send_alert(f"任务【{task['task_name']}】运行超时,已经跑了{run_duration}秒,运行机器:{task['bot_machine']}", level="warning")
# 定时每30秒跑一次检测逻辑,做成常驻进程
while True:
try:
token = get_aa_auth_token()
tasks = get_all_running_tasks(token)
check_task_abnormal(tasks)
except Exception as e:
print("监控脚本运行出错:", str(e))
time.sleep(30)
到这一步基础的监控体系就已经可以用了,小团队跑着十几个任务完全够用,不需要额外采购任何商业监控服务,当天就能上线生效。
三、监控体系的进阶优化方法
基础版监控跑上一两周你就会发现不少问题,比如明明AA机器人进程已经因为系统蓝屏崩溃了,但是控制室的API还显示任务正在运行,导致监控完全漏报,还有任务越跑越慢但是基础监控完全发现不了,这些问题都可以通过几轮小优化解决,不需要大改原来的代码。
3.1 旁路进程校验消除漏报误报
我们给每台部署AA机器人的业务机器上都装一个轻量的采集脚本,定时上报本机的AA进程真实运行状态,和控制室API返回的状态做交叉校验,只要两边状态不一致就立刻触发告警,采集脚本示例如下:
# 技术栈:Python 3.9+
import psutil
import requests
# 配置监控上报服务的地址
MONITOR_REPORT_URL = "http://你部署监控服务的地址/report_bot_status"
def get_local_aa_process_status():
# 遍历本机所有进程,查找AA机器人的运行进程
aa_process_exist = False
for proc in psutil.process_iter(['name']):
# AA机器人的主进程名默认是AutomationAnywhere.Bot.exe
if proc.info['name'] == "AutomationAnywhere.Bot.exe":
aa_process_exist = True
break
# 上报当前机器的进程状态,机器名可以提前配置好
local_machine_name = "财务对账专用机器人机器"
requests.post(MONITOR_REPORT_URL, json={
"machine_name": local_machine_name,
"aa_process_alive": aa_process_exist,
"report_time": int(time.time())
})
# 每10秒上报一次状态
while True:
get_local_aa_process_status()
time.sleep(10)
这一步做完之后,之前的进程崩溃漏报问题就能100%解决,不会再出现机器人挂了好几个小时都没人知道的情况,采集脚本占用的系统资源不到1%,完全不会影响正常的AA机器人运行。
3.2 增加单步耗时埋点实现根因快速定位
很多时候机器人任务虽然最后成功跑完了,但是耗时比平时多了好几倍,肯定是哪一步出了隐性问题,比如对接的数据库变慢了,或者验证码识别接口响应超时了,基础监控完全发现不了,我们可以在AA机器人的流程里面加自定义脚本,每跑完一个步骤就调用监控上报接口上报当前步骤的耗时,示例里的上报接口用FastAPI写非常简单:
# 技术栈:Python 3.9+
from fastapi import FastAPI
import uvicorn
app = FastAPI()
# 存储所有上报的步骤耗时数据
step_record = []
@app.post("/report_step_duration")
def report_step(task_name: str, step_name: str, duration: int):
# AA机器人每跑完一个步骤就调用这个接口上报耗时
step_record.append({
"task_name": task_name,
"step_name": step_name,
"duration": duration,
"report_time": datetime.datetime.now()
})
# 如果某一步的耗时超过预设阈值,立刻触发告警
if task_name == "财务自动对账" and step_name == "拉取银行流水" and duration > 30:
send_alert(f"对账任务的拉取流水步骤耗时过长,已经用了{duration}秒,可能银行接口变慢", level="warning")
return {"code": 0, "msg": "success"}
if __name__ == "__main__":
uvicorn.run(app, host="0.0.0.0", port=8000)
这样以后机器人一旦变卡,你不用从头到尾翻几个G的运行日志,直接看监控里面哪一步耗时突然上涨,几秒钟就能定位到根因,原来排查一个慢任务要半小时,现在几十秒就能找到问题出在哪。
3.3 接入资源监控实现关联根因分析
很多机器人任务崩溃根本不是流程写的有问题,而是运行的机器CPU跑满了,内存占完了,或者磁盘满了存不下临时下载的文件,我们把机器的CPU、内存、磁盘使用率这些指标也纳入监控,和任务的异常状态绑定,以后出告警的时候自动带上当时的硬件资源指标,一眼就能看到是不是资源不够导致的问题,这部分的采集代码也非常简单,几行就能写完,不需要额外装采集工具。
四、上线后的运营迭代注意事项
监控体系搭完不是一劳永逸的,刚上线的第一周千万不要把所有告警规则都开最高阈值,你要先把所有机器人的正常运行基线摸清楚,比如平时工单录入任务平均跑120秒,最多跑200秒,你就把超时阈值设到250秒,不要一开始就设成60秒,不然一天能收到几百条误报的告警,用不了两天大家就把告警群屏蔽了,真的出问题也没人看见。 其次一定要做告警收敛,同一个机器人同一个异常10分钟内最多推一次告警,不要每30秒扫到一次异常就推一次,不然凌晨出问题的时候能连续炸你几十条消息,第二天起来手机里全是重复的告警,根本没法看。你可以在监控后台加个简单的告警去重队列,同一个告警在冷却时间内直接丢弃不推送,就能解决这个问题。 最后可以给监控加上简单的自愈能力,检测到AA进程异常退出之后,自动调用接口重新拉起对应失败的任务,不用人工点开AA后台手动点击运行,只要不是逻辑层面的错误,大部分偶发异常都能自己恢复,运维工作量直接降低80%,哪怕是周末休息也不用随时盯着告警消息。
五、整套方案的优缺点说明
这套全自研的AA监控体系的优点非常明显,首先不需要额外采购动辄几万块钱的第三方监控工具,成本几乎为零,而且完全自主可控,你想加什么功能就加什么功能,想对接公司内部已经在用的OA、告警系统都可以灵活适配,不用被第三方工具的功能限制住,小团队半天就能搭完基础版本,大团队可以按需慢慢迭代优化。整个逻辑非常简单,团队里的任何人都能看懂代码,后续维护成本极低。 缺点也很明确,初期需要花1-2周的时间调试规则,把误报率降到可接受的范围内,如果你手里总共只有2-3个AA机器人在跑,完全没必要费这个功夫,直接用AA平台自带的基础监控功能就足够用,搭一套自研监控的投入产出比很低。 落地的时候有几个点一定要注意,AA的API管理员密钥千万不要硬编码到代码里传到代码仓库,要放到专门的配置中心或者加密的环境变量里,一旦密钥泄露,外人就可以随便操控你整个AA平台的所有机器人,风险极高,另外监控脚本本身的权限不要给太高,只需要调用查询接口的权限就够了,不要给管理员级别的操作权限,避免监控脚本出bug的时候误删平台上的正常任务。
六、方案落地效果总结
整套从基础版到优化版的监控体系跑通之后,你会发现AA机器人的异常发现时间从原来的平均2-3个小时,直接缩短到1分钟以内,80%的偶发异常都能通过自愈能力自动恢复,剩下的20%需要人工介入的异常,根因定位时间也从原来的几十分钟缩短到1分钟以内,完全可以做到核心业务的RPA机器人全年无故障运行,不需要运维人员24小时盯守。不少落地这套方案的团队,之前要安排人轮值守着机器人,现在哪怕是节假日也不用安排人值班,监控发现问题要么自动修好,要么直接精准推送给对应的负责人,完全不影响业务正常推进。
评论
围绕“Automation Anywhere流程监控体系的搭建与优化方法”参与讨论