三种观测视角

AI 微服务的问题通常横跨模型、消息和基础设施，单看日志很难还原完整过程。该平台将观测拆成三个互补层次：

层次	工具	回答的问题
Trace	Langfuse、OpenTelemetry	一次任务经过了哪些节点？模型看到了什么？
指标	Prometheus	系统是否变慢、积压或错误率升高？
日志与告警	结构化日志、阿里云 ARMS	何时发生、影响范围多大、是否需要通知？

先描述现象，再讨论根因

AI 系统的“结果不对”可能来自多个阶段。排障第一步不是修改 Prompt，而是把用户看到的现象写成可验证的问题：

• 是没有候选，还是候选被过滤？
• 是页面没有展示，还是后端没有生成？
• 是新任务复现，还是页面读取了历史 Trace？
• 是一个节点错误，还是多个节点合并时发生了丢失？

我的五步方法

1. 锁定任务和时间窗口

通过任务 ID、消息 ID、页面链接和发生时间找到唯一执行。先确认页面读取的是新 Trace 还是历史 Trace，避免把部署后的代码与旧数据混在一起。