模型监控

模型监控是什么？

模型部署上线后，工作才刚开始。用户的请求、模型的表现、系统的资源，每天都在变。模型监控（Model Monitoring），就是给上线的模型装一套「体检仪表盘」，持续观察它的性能、延迟和输出质量，一旦出现异常立刻报警，让你在用户察觉之前动手修。

它盯着哪些指标？

性能指标
准确率、召回率这些业务指标，是模型「答得对不对」的晴雨表。
延迟与吞吐
响应要多久、每秒能处理多少请求，慢了用户就流失。
输出质量
回答是否跑题、有没有胡编乱造、语气是否异常，这些「软指标」也要盯。
资源与成本
GPU 利用率、内存、单次请求成本，别让模型悄悄「烧钱」。

为什么不能「上线就完事」？

世界一直在变
用户说的话、行业的数据都在变，模型今天好，不代表明天也好。
故障往往悄无声息
很多问题不是「突然崩了」，而是准确率一点一点往下掉，不监控根本发现不了。

监控之后能做什么？

指标一旦异常，可以触发告警、自动回滚到旧版、甚至触发重新训练。监控不是「看」，而是「看→判断→行动」这条闭环的起点。

一句话记住：模型监控，就是给 AI 装一台「永不关机的体检仪」，让它一不对劲就喊你。