測試推理設定，找出降低既有 AI 自動化運作成本的方法

如果你想降低既有自動化的運作成本，又不想把更多工作交回員工手上，就應以已完成的業務成果來檢驗其推理設定。只有在符合預先訂定的品質門檻，且每項通過驗收成果的總成本有所降低時，才採用較低設定，而不是只看模型呼叫是否變便宜。

推理強度是一項運作設定，用來引導模型在任務中投入多少內部推理。支援的等級依模型而異；較低強度傾向於減少 token 用量並提升速度，而推理 token 本身也會計費。因此，這項設定值得在既有自動化中進行評估。OpenAI 推理說明文件

降低營運成本，不把工作轉嫁給員工

每項通過驗收成果的成本，讓你在評估潛在節省空間時，也能納入完成各項任務所需的工作。先將通過驗收的成果定義為符合雙方約定標準、已完成的業務任務，再依下式計算：

每項通過驗收成果的成本 = 測試批次的總營運成本 ÷ 該批次通過驗收的成果數。

成本須納入每次嘗試的模型與工具費用、重試、人工審查及補救處理。即使需要多次嘗試，每項通過驗收的成果也只計算 1 次。未成功工作的成本仍須保留在分子中；若沒有任何成果通過驗收，代表該設定未通過測試，而非得出可用的單位成本。

比較成本之前，必須先通過品質門檻：較低的單位成本無法抵銷不容許發生的錯誤。此外，也應將測試與導入支出，與規劃期間內預期的營運效益進行比較。

FAIS 針對既有 AI 代理提供的全程代管服務與顧問服務，會將設定測試與業務驗收規則、員工投入的工作連結起來。機會在於改善現有自動化的成本效益，而不必切換模型或更換軟體。

Vals 基準測試能告訴採購決策者什麼？

Vals 的結果支持測試較低設定，而非直接假定它能維持同等的業務表現。2026 年 11 月 3 日發布的研究，其圖表標示日期為 10 月 27 日，指出 7 個模型中有 4 個在最低設定下，以一半或更低的成本保留至少 80% 的 Vals Index 分數。沒有任何模型在最低設定下，達到其排行榜設定的綜合分數。Vals 研究

Vals 在涵蓋金融、程式開發、法律與稅務工作的 8 項基準測試中，測試了最低、中間與排行榜設定；每種設定都使用相同的固定任務子集，約占全部任務的一半。成本採用牌價，並計算各項基準測試的簡單平均值，其中 Code Migration 的成本依 token 用量估算。Vals 研究方法

多數基準測試在每種設定下只執行 1 次；較早的排行榜測試與 10 月的較低設定測試之間，也可能受到供應商變動的影響。因此，綜合分數的保留比例無法證明你的工作流程能達到可接受的準確度或審查負擔。應用這些證據來選擇測試項目，而不是訂定節省目標。Vals 研究限制

固定工作流程，讓比較具有參考價值

受控比較只調整推理強度，並固定模型、提示詞、工具、權限及業務規則。先確認模型支援的推理強度等級，再依下列順序測試：

1. 選取具代表性的歷史案例，涵蓋例行工作與可能造成重大影響的例外情況。
2. 在執行任一設定之前，先訂定驗收標準、不容許發生的錯誤及審查負擔上限。
3. 以現行設定及候選設定重跑相同案例，且不允許變更實際業務資料或狀態。
4. 以一致方式記錄成果、嘗試次數、費用、審查時間與補救處理。
5. 重複測試足夠的案例以評估變異，再比較品質門檻是否達標，以及每項通過驗收成果的總成本。

針對特定任務的測試、能代表正式運作情境的資料集、經人工校準的評分，以及持續評估，都符合 OpenAI 的評估指引。應依工作流程的變異程度與後果，選擇樣本數及重複次數，而非套用通用門檻。

讓驗收規則反映實際業務

以一家假設的台灣製造商為例，其既有自動化會製作供應商交期變更評估。在開始測試之前，這套自動化會讀取供應商訊息，查詢受影響的採購單明細與生產需求，再製作評估供生管人員核准。

開始測試後，正式運作流程維持不變。另行使用已儲存的輸入資料重跑案例，比較不同設定。每份評估都必須辨識正確的採購單明細、保留變更後的交貨日期、指出受影響的生產需求，並將資訊缺漏提報處理。驗收前，須記錄生管人員投入的檢查與修正工作。

FAIS 會以企業本體（ontology）建立這些關係的模型，也就是為業務物件、物件間的連結及允許的操作建立共用定義。供應商訊息對應特定的採購單明細；這些明細所採購的物料，則用來滿足生產需求。驗收規則會明定評估必須確認哪些事項、何種情況屬於資訊不足，以及由誰核准。

FAIS 會透過適合的既有系統連接器，讓 AI 代理與自動化銜接這些定義。採購單可以留在 ERP 中，規劃紀錄也能留在目前使用的軟體中，保留既有投資。可重複使用的物件定義與關係，能為未來的自動化奠定基礎，不必反覆重建業務意義。任何建模變更都會在比較前完成，並在兩種設定下維持一致。

何時應採用較低設定？

只有在通過預先訂定的品質與審查負擔門檻，且每項通過驗收成果的總成本有所降低時，才採用較低設定。證據不足以定論時，應維持現行設定；變更經核准後，則依照持續評估指引，監控成果與審查負擔。

先從一項成果可驗證、審查投入可記錄的既有自動化著手。這些驗收規則，能讓你與 FAIS 一起檢視一項具體的營運決策。