問 AI 助理:你們有哪些客戶合約允許在短期通知後調整價格?它會給你一份語氣篤定的清單,卻沒有人看得出它漏掉了哪些合約。如果答案同時說明檢查了多少份、哪些無法讀取,以及哪些需要人工判斷,你就能據此採取行動。這種答案來自查詢企業本體(ontology)中結構化合約紀錄的 AI 代理,而不是搜尋文件的 AI 代理。
完整性核對單,是整組合約查詢答案所附的統計。它將每筆紀錄歸入符合規定、違規、有歧義或無法讀取其中一類,這 4 類的數量加總必須等於掃描筆數。AWS 於 2026 年 10 月 2 日發表這個概念,納入其 Adjudicated Query 模式;在這個模式中,每次合規全面檢查都會產生一份完整性核對單。
為什麼文件搜尋助理會漏掉合約?
文件搜尋助理會依照與問題的相似程度,替段落排序。AWS 指出,相似度搜尋「沒有任何門檻能代表已找齊全部」。讓模型自行撰寫資料庫查詢,則多了一個更不易察覺的風險:只要憑空加上一個篩選條件,就可能悄悄縮小納入計算的範圍,結果數字卻依然看似精確。
針對整個資料集合提問的研究,也得到相同結論。在 GlobalQA 基準測試(2025 年 10 月)中,現有 RAG(檢索增強生成)方法在計數、極值、排序與 top-k 任務上的表現不佳;使用 Qwen2.5-14B 時,表現最好的基準方法,F1 分數也只有 1.51。AGGBench 將這類問題稱為「找出全部」問題;S-RAG 則透過在載入時將文件集結構化來回答。對整組合約而言,啟示很直接:先將文件結構化,再提出涵蓋整組合約的問題。
針對全體合約的問題(我們有哪些合約、共有多少份、是否全部都符合),只要漏掉 1 份合約,答案就是錯的,因此需要附上核對單。查找型問題,例如第 7 條說了什麼,則不需要;一般檢索就能妥善處理。
企業本體如何讓完整答案可供核對
Adjudicated Query 模式給對話模型 2 項工作:將問題轉成對一組固定、具型別定義的操作的呼叫,以及敘述結果。確定性引擎會套用具版本管理的規則,而範例程式碼會在儲存全面檢查結果前,驗證這 4 類的數量加總等於掃描筆數。在 AWS 的合成租約資料中,一次全面檢查找出 10,111 筆違規、689 筆有歧義,以及 20 筆無法讀取。這些數字展示的是核對單的樣貌,不是實際應用的準確率。
FAIS 透過作為基礎的企業本體,採用相同的嚴謹做法。本體是一套共用模型,描述公司內的事物(客戶、產品、合約)、彼此的關係,以及允許對它們執行的操作。每份客戶合約都會成為一筆紀錄,連結至 ERP 與 CRM 中的客戶和產品紀錄,保存決策所依據的少數關鍵條款內容,並將每項內容連回來源條文。FAIS 建置的 AI 代理,會對這些紀錄執行預先定義的查詢,回答涵蓋整組合約的問題。你將獲得:
- 可以直接轉寄的答案。 統計會隨清單一併提供,讓主管一眼就能看出涵蓋範圍。
- 減少重複閱讀。 每項條款內容只擷取一次,之後即可重複使用。
- 有明確負責人的例外案件。 有歧義或無法讀取的合約會交給指定審查人員,不會就此被排除。在 AWS 的範例中,提交審查或覆寫判定是必須由具名審查人員執行並附上理由的人工操作;沒有任何工具允許模型代為執行。
- 可重複運用的基礎。 同一組紀錄可支援續約檢查、價格調整通知,以及明年新增的 AI 代理。
同一道價格檢討問題,導入前後的差別
假設一家台灣零組件製造商的材料成本上漲。業務主管想知道,哪些客戶合約允許提前 30 天或更短時間通知後調整價格。
導入前:助理回傳措辭最符合提問的合約。沒有人知道較舊的掃描檔是否已被讀取,或要求提前 1 個曆月通知的條款是否被算進去。業務人員在聯絡任何客戶前,得先逐份人工複查合約。
導入後:每筆合約紀錄都以天數保存通知期間。一個預先定義的查詢會回傳 4 類結果(符合條件、不符合、有歧義、無法讀取),加總等於所有有效合約的數量。只承諾合理通知期間的條款,會交給客戶負責人;無法讀取的掃描檔,則交給持有正本的人。處理例外案件的同時,主管就能依照判定明確的清單開始致電客戶。
信任完整答案之前,應要求什麼
- 精確界定合約範圍。 核對單證明的是你所定義的全體範圍已被涵蓋,因此必須明確界定:例如,由台灣法人簽署、目前有效的客戶合約。
- 少數明確的條款欄位。 採用規則能比較的數字、日期與是/否欄位。需要判斷的條款留給人處理。
- 加總吻合的核對單。 如果這 4 類的數量加總不等於總數,就還不能算有答案。
- 為例外案件指定具名負責人,並訂出處理完成的日期。
- 預埋案例作為驗收測試。 加入答案已知的合約,其中包括 1 個不明確的條款與 1 份品質不佳的掃描檔,並要求 AI 代理逐一找出。AWS 的範例會在合成文件集中預埋數量已知的違規案例。
這一季可以從哪裡開始
選出漏掉一份文件就會付出最高代價的那組合約。FAIS 可以協助你區分能明確比較的內容與需要判斷的條款,將它們建模於公司本體中,並串接能回報已檢查哪些內容、哪些無法讀取的 AI 代理。
只有在核對單加總吻合,而且 AI 已找出你預埋的每一個案例時,才信任它對整組合約給出的答案。
資料來源
- Sweep thousands of leases for compliance using Amazon Quick and the Adjudicated Query pattern | Artificial Intelligence
- GitHub - aws-samples/sample-quick-adjudicated-query: Proof-of-concept demonstrating lease-compliance queries as a natural-language experience in Amazon Quick. Deterministic, exhaustive compliance sweeps backed by an MCP server, Aurora/pgvector, and versioned rules-as-data — with AI limited to exploratory clause search only. Synthetic data, educational use. · GitHub
- [2511.08505] Structured RAG for Answering Aggregative Questions
- [2602.01355] Aggregation Queries over Unstructured Text: Benchmark and Agentic Method
- [2510.26205] Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning
營運團隊常見問題
完整性核對單,是 AI 對整組合約給出答案時所附的統計:每筆紀錄都歸入符合規定、違規、有歧義或無法讀取其中一類,這 4 類的數量加總必須等於掃描筆數。
如何確認 AI 代理檢查了我們所有的合約?
要求提供完整性核對單:符合規定、違規、有歧義與無法讀取的合約數量,加總必須等於你所界定合約範圍內的掃描筆數。接著預埋答案已知的合約,包括 1 個不明確的條款與 1 份品質不佳的掃描檔,再確認 AI 代理能逐一找出。
哪些合約問題需要完整性核對單?
針對全體合約的問題,例如「哪些合約」、「共有多少份」或「是否全部都符合」,都需要核對單,因為只要漏掉 1 份合約,答案就是錯的。查找型問題,例如第 7 條說了什麼,一般檢索就能妥善處理。