AI 代理最危險的故障,未必會丟出例外。它可能持續成功呼叫工具,卻在同一條錯誤路徑上循環,直到耗盡 token、API 額度或執行時間。〈Agent Black Box〉作者便宣稱,其測試代理曾連續呼叫同一搜尋工具 47 次;系統沒有當機,傳統日誌也沒有把這種「成功執行錯誤行為」標成事故。這項次數與測試結果屬於作者自述,並非獨立重現結果,原文見:https://dev.to/manibhargava4/agent-black-box-teaching-an-ai-agent-to-explain-its-own-failures-2c38。
從「看見事故」推進到「介入事故」
原文提出 record、guard、explain 三層管線。record 將代理執行、模型請求與工具呼叫寫成 OpenTelemetry spans,另記錄 token、成本及自訂的代理屬性;guard 在執行期間檢查重複工具呼叫、成本上限、連續錯誤與巢狀深度,一旦超標便中止流程;explain 則在事後交由另一個模型查詢 traces、logs、metrics,產生根因報告。
三層的商業邏輯並不相同:記錄降低調查成本,防護限制即時損失,解釋縮短復盤時間。一般儀表板多半只回答「發生了什麼」;guard 才真正改變執行結果,而 explain 的任務則是把警報與上游決策鏈連起來。對大量執行客服、研究、內部流程或程式操作代理的企業而言,這比再增加一張漂亮圖表更接近風險控制。
解釋能力來自查證工具,不是模型自省
這套設計值得注意的核心,不是讓代理「回想自己為何失敗」,而是讓事後分析代理讀取外部保存的證據。原文使用 SigNoz MCP server,讓模型查詢完整 trace、搜尋 logs 與讀取 metrics。SigNoz 官方文件確認,其 MCP server 確實支援 traces、logs、metrics、alerts 與 dashboards,並列有查詢指標、搜尋日誌及取得 trace details 等工具:https://signoz.io/docs/ai/signoz-mcp-server/。
這項交叉查證能證明技術介面存在,卻不能證明模型產出的每份根因報告都正確。原文展示的一個案例中,事後代理辨識出 guardrail 只捕捉到「重複呼叫」這個症狀;由於相鄰工具呼叫間缺少 LLM span,它無法判定問題出在模型輸出或編排程式。合理推論是:可信度並非來自模型講得像不像專家,而是它能否指出證據缺口並停止下結論。
真正棘手的是遙測語意
作者記錄了三個外觀近似、根因不同的指標問題。首先,短生命週期 CLI 在週期匯出前便結束,必須主動 force flush;其次,每次程序若產生不同的 service.instance.id,樣本會分裂成多條幾乎只有單點的 time series;最後,多個短程序各自從零開始的 cumulative counter,若被當成一個長期累加器計算,可能得到沒有意義的差值。
OpenTelemetry 規格可交叉驗證其中的通則:Periodic MetricReader 的 ForceFlush 應收集並送出指標;cumulative 的起點維持不變,delta 則只涵蓋前後兩次收集之間的新測量:https://opentelemetry.io/docs/specs/otel/metrics/sdk/。Python 官方文件也明載 OTLP metrics 的預設 temporality 是 CUMULATIVE,可透過 OTEL_EXPORTER_OTLP_METRICS_TEMPORALITY_PREFERENCE 改成 DELTA:https://opentelemetry.io/docs/languages/python/exporters/。
不過,將 service.instance.id 固定成常數只能視部署模型而定。OpenTelemetry 語意規範要求同一服務同時存在的不同 instance 必須可區分,並建議使用唯一識別碼:https://opentelemetry.io/docs/specs/semconv/registry/attributes/service/。作者的做法適合不重疊、需要合併統計的短 CLI;若套到同時運作的容器或 workers,反而可能把不同實例混在一起。這是原文最容易被照抄、也最需要加註適用條件之處。
不能忽略的治理限制
- Guardrail 只認得預先定義的模式;新型錯誤、緩慢偏移或表面不同但目的相同的重複行為,仍可能漏網。
- 若多個偵測器同時命中,先執行者會決定事故標籤。原文也承認,循環與錯誤瀑布可能都成立,分類結果只是程式順序,不是因果判決。
- 記錄提示內容、工具參數與輸出有助調查,卻也可能納入個資、商業機密或憑證;證據完整度與最小化蒐集必須一起設計。
- 作者另稱曾遇到 SigNoz 介面把 alert threshold 存成 0、反轉比較符號,且沒有警告。此為單一實作經驗,本文未找到獨立佐證,因此不應推廣成 SigNoz 的普遍缺陷;可採納的是「設定後由 API 回讀驗證」這項工程原則。
對台灣團隊的意義與觀察指標
台灣企業導入代理時,常先評估模型準確率與單次成本,較少把代理視為會自主消耗資源、存取資料及連續採取行動的執行系統。作者觀點是:上線門檻不應只有「能完成任務」,還要能回答誰啟動、呼叫哪些工具、何時越界、由誰中止,以及事後有哪些證據支持根因。若涉及金融、醫療、製造或公部門資料,自架可提升資料掌控度,但不等於自動滿足權限隔離、留存期限與稽核要求。
後續可持續觀察四組指標:每次任務的工具呼叫數與重複率、token/成本分布及異常上升速度、guardrail 命中後的誤殺與漏報率、根因報告中「證據不足」的比例。更重要的是做受控故障演練:刻意製造循環、工具錯誤、短程序退出與遙測中斷,確認告警、阻斷及復盤真的串得起來。AI 代理的黑盒問題,不會因為多存一份 log 就消失;它需要可驗證的記錄、有限度的即時控制,以及敢於承認不知道的事後解釋。