企業評估 AI Agent，最常見的做法是看它最後答得對不對，或檢查是否依序呼叫預先指定的工具。但當 Agent 連上會即時變動、甚至能改寫資料的 MCP 伺服器，這兩種驗收方式都可能失真：答案會隨資料更新，完成同一目標也未必只有一條正確工具路徑。
從「會回答」轉向「有沒有完成效果」
來源事實：2026 年 7 月提交至 arXiv 的 DynamicMCPBench，是一套可重跑的評測框架，而非固定題庫。研究團隊讓探索 Agent 在真實 MCP Server 上完成任務、記錄成功軌跡，再把軌跡轉成與路徑無關的「效果檢查點」，最後檢查受測 Agent 是否重現這些效果。原論文可見：https://arxiv.org/abs/2607.20531
MCP 官方架構文件說明，MCP 採主機、客戶端與伺服器架構，伺服器可提供工具、資源與提示；其中工具可執行檔案操作、API 呼叫或資料庫查詢，並由模型根據情境選擇與呼叫。這交叉驗證了論文面對的核心情境：Agent 不只是產生文字，而是在一個具狀態、工具可動態變更的執行環境中採取行動。官方說明：https://modelcontextprotocol.io/docs/learn/architecture
DynamicMCPBench 如何運作
來源事實：框架先從伺服器的工具介面產生自然語言目標，再由探索 Agent 實際解題。成功軌跡會被蒸餾成兩類檢查點：其一是某個效果等價工具是否以合適參數成功執行；其二是所需值是否確實出現在工具結果中。規格還可加入「地雷」，例如誤刪資料或寫入錯誤目標，只要觸發便直接失敗；真正存在相依性的步驟才限定先後順序。
這種設計不要求複製參考路徑。論文的財務分析範例中，參考軌跡使用下載工具取得一年股價，但另一個 Agent 若透過等價的歷史價格工具取得同一效果，也可以通過。公開語料的 4,651 個工具效果檢查點中，15.5% 接受兩種以上的替代工具。這比「必須照標準答案呼叫工具 A、B、C」更接近實務。
為何現在值得注意
來源事實：研究以 121 個伺服器、24 個模型與 750 項平衡任務進行評測，每題獨立執行三次，只有三次全部成功才算通過，也就是 pass³。最佳 Agent 的通過率仍僅約五成；31% 任務沒有任何模型完成，只有 2% 能被全部模型完成。工具鏈長度是最明顯的難度軸：1 至 2 個工具的任務平均通過率為 39%，3 至 4 個降至 23%，5 個以上只剩 13%。
合理推論：企業真正需要的不是展示一次成功，而是可重複交付。若每次嘗試彼此獨立，單次成功率即使有 80%，連續三次全過也只有 51.2%。pass³ 雖然嚴格，卻揭露了平均成功率容易遮蔽的營運風險：流程越長，任何一步選錯工具、漏取資料、填錯參數或過早停止，都會讓整體任務失敗。
真正的瓶頸不是「不會選工具」
來源事實：54,000 次評測執行的自動失敗分類顯示，未完成資料彙整占 49%、從未觸及必要工具占 32%、參數幻覺占 18%；在預設設定下，選對工具卻選錯伺服器的錯誤僅占全部執行的 0.2%。這表示當前 Agent 更常敗在沒有把多步工作做完，而非單純看不懂工具名稱。
本文觀點：這會改變企業的優化順序。與其只改善工具描述或擴充模型可見的工具清單，更值得投資的是步驟狀態追蹤、缺漏檢查、可恢復重試，以及在送出最終結果前確認必要證據是否齊全。長流程也不宜全數交給單一自由規劃 Agent；拆成可驗證的小階段，往往更容易定位失敗與控制成本。
容易忽略的限制
這項研究仍是 arXiv 預印本，且論文明確承認幾項限制。效果評分採保守原則，可能把有效但未被檢查點涵蓋的替代路徑判為失敗，因此結果應視為能力下限。只有 12% 任務涉及狀態寫入，且依賴沙盒；人工驗證也只完整檢查表現最佳的本機模型，而非全部模型。更重要的是，伺服器樣本偏向英文與公開 API，能否直接外推到中文介面、台灣企業內部系統與在地法規流程，尚未證實。
論文另抽查 22 條參考軌跡，在數日後重新呼叫 126 次工具，只有 36% 效果完全相同，33% 因資料變動而漂移，32% 無法成功重現；作者也提醒，後者受單次重試與 API 限流影響，是持續故障率的上限。這正說明「真實」與「公平比較」存在張力：建立任務時要碰即時系統，評分時卻必須用確定性重播凍結環境。
對台灣企業的實際意義
本文建議：金融、製造、零售、醫療或政府機關若導入可讀寫內部系統的 Agent，不應只採購排行榜最高的模型。驗收題目應取自自家流程，納入台灣正體中文指令、內部欄位、權限邊界與例外情境，並在隔離環境中檢查真正的業務效果。
- 分別統計短、中、長工具鏈及跨系統任務的 pass³ 或更高次重複通過率。
- 追蹤必要效果缺漏、參數錯誤、重試次數、延遲與單次任務成本。
- 為刪除、付款、權限調整與對外傳送設置地雷指標及人工核准點。
- 定期重跑參考軌跡，監測 API、資料格式、工具描述與權限的漂移。
後續觀察指標
接下來應觀察三件事：框架程式碼與資料正式釋出後能否被獨立重現；效果評分能否降低對合法替代路徑的誤判；以及在中文、私有 MCP Server 與高風險寫入流程上，長工具鏈的成功率是否仍快速崩落。DynamicMCPBench 最重要的提醒不是某個模型排名，而是 Agent 的可靠度必須在真實流程、重複執行與可驗證效果中衡量。
安全面也不能與可靠度分開。美國國家安全局 2026 年發布的 MCP 指引指出，動態工具呼叫、隱含信任與情境共享會帶來新的系統性風險，且問題可能沿整條 Agent 環境累積。這支持企業把效果驗收、最小權限、沙盒與稽核紀錄視為同一套上線門檻，而非彼此獨立的工作。查證來源：https://www.nsa.gov/Press-Room/Press-Releases-Statements/Press-Release-View/Article/4496698/nsa-releases-security-design-considerations-for-ai-driven-automation-leveraging/