您的品質工程師面對新缺陷時,手上往往早就有答案:一份過去的調查,已經查明原因、批次與處置方式。一張缺陷照片就能帶他們直接找到那份紀錄,前提是每一筆比對結果都附上所屬的產品、版次、批次與製程。

照片搜尋現在已經實際可行,因為開放的多模態嵌入模型會把圖片和文字放進同一個搜尋空間。Google 在 2026 年 10 月 6 日發布 EmbeddingGemma 2,並說明可以用文字或圖片查詢,在媒體庫中找出最接近的結果。將這種檢索搭配一套描述品質紀錄的本體(ontology),工程師就能看到相似照片背後的調查,也能看到判斷這些調查所需的脈絡。

本體是一套共享模型,涵蓋企業的物件、物件的屬性、物件之間的關係,以及人員可以對物件採取的行動,詳見這份營運本體概述。在品質工作中,這些物件就是照片、異常事件、產品、版次、批次、製程與處置決定。

結合批次脈絡的照片搜尋,能為品質團隊帶來什麼?

從發現新缺陷到做出可靠判斷,中間原本要靠人工拼湊資料;結合批次脈絡的照片搜尋可以省去這段工作。這個機制帶來三項好處:

  • 少花時間追查紀錄。每張照片都連結到所屬的異常事件,每個異常事件再連結到它的批次、產品版次與製程。工程師只要開啟一筆結果,不必在資料夾、ERP 和舊報告之間來回比對。
  • 比對更快、更安全。來自其他版次或製程的相似案例會連同這項差異一起顯示,工程師就能很快把它排除,而不會把外觀相似誤認為原因相同。
  • 讓既有紀錄發揮更大價值。連接器直接在原本存放的位置讀取現有的照片和異常事件紀錄。同一套產品、批次與異常事件的定義,之後也能用在下一個工作流程,例如供應商索賠或矯正措施追蹤。

FAIS 負責建構這套基礎企業模型,以及把檢索串接到這套模型的自動化。照片會成為附在異常事件上的證據;紀錄中的處置決定仍然只是當次調查的決定,不是對今天這個批次的指示。證據代表什麼,由品質工程師判斷。

說明「讓過去的品質調查更容易找到:測試結合批次脈絡的照片搜尋」的解說插圖

為什麼 EmbeddingGemma 2 適合工廠的檔案庫

EmbeddingGemma 2 專為本機硬體設計,適合處理應該留在公司網路內的缺陷照片與零件紀錄。模型卡列出的參數量為 7.4 億,採用 Apache 2.0 授權:其中包含 2.7 億參數的文字模型,以及只在需要時才載入的 1.7 億參數視覺編碼器和 3 億參數音訊編碼器。Google 表示,經過量化後,完整多模態模型在 Pixel 11 Pro 上的有效記憶體用量約為 567MB(公告)。

單一輸入可以在共用的 8,192 個 token 脈絡中同時放入文字和圖片,以預設的圖片預算計算,大約可容納 29 張圖片(模型卡)。因此,一份調查的摘要和它的照片可以一起建立索引,再用一張新照片來搜尋。

Google 的評估結果提供了一般性的參考:全精度模型在 768 維度下,MMEB v2 Image 的平均 Hit@1 為 57.28(模型卡)。真正的標準取決於您自己工廠的表面痕跡,所以下方的試點會直接量測這一點。

導入前後:機加工外殼上的表面痕跡

以一家台灣製造商調查機加工外殼表面痕跡為例。現在,工程師要搜尋資料夾名稱和自由文字描述,一張一張開啟照片,再另外查核每個舊案例涉及哪個版次、批次與製程。

有了結合批次脈絡的照片搜尋,工程師把目前的照片連同料號和批次一起提交。檢索會提出過去的異常事件;串接好的工作流程會顯示每個事件的版次、批次、製程、檢驗條件與處置決定,並標示從未記錄的欄位。來自較早版次的高度相似案例也會清楚標註。工程師閱讀相關案例後,能更快做出判斷。

該如何測試照片搜尋是否有效?

成功的試點會顯示:團隊收集相關證據的速度變快,誤導性的比對結果也沒有增加。請先和品質審查人員議定標準,再用同一批過往案例,分別執行現行搜尋、純照片檢索,以及結合批次脈絡的照片檢索:

  • 相關性:審查人員不參考排序,獨立標記有用的調查和誤導性的相似案例。
  • 工作量:彙整出可用證據所需的時間,包括開啟原始紀錄的時間。
  • 脈絡錯誤:產品、版次或製程錯誤的比對結果,以及缺漏的連結。
  • 穩健性:面對微小缺陷,以及光線、放大倍率和相機角度變化時的表現。

請測試您實際打算採用的配置。模型卡指出,降到 256 維度時品質幾乎沒有損失,但 128 維度會讓 MIEB lite 圖片分數從 64.64 降到 59.06。圖片 token 預算越大,品質越好,代價是延遲增加。

本季可以從哪裡開始

從一個產品系列、一位品質審查人員和一個問題開始:這個產品系列的照片,能不能可靠地連結到異常事件和批次紀錄?如果可以,就直接以檢索進行實驗。如果不行,第一項工作就是把它們串接起來,而這項工作也會支援日後所有涉及這些產品的自動化。

把品質檔案庫和批次紀錄串接起來,正是 FAIS 在做的事:為工程師倚賴的產品、異常事件與決策建立模型,再把檢索和 AI 代理接到這個模型上。如果在您的工廠裡,過去的調查很難找到,不妨先從您的紀錄目前如何彼此連結談起。

資料來源

  1. EmbeddingGemma 2 is a best-in-class open model for natively multimodal embeddings
  2. Google EmbeddingGemma 2 model card and detailed evaluation tables
  3. Overview • Ontology • Palantir

營運團隊常見問題

結合批次脈絡的照片搜尋是一種檢索方式:把新的缺陷照片和過去的相似圖片比對,回傳的每一筆比對結果都會連結到對應的異常事件、產品、版次、批次、製程,以及紀錄中的處置決定。

缺陷照片能找出過去的品質調查嗎?

可以。像 EmbeddingGemma 2 這類開放的多模態嵌入模型,會把圖片和文字放進同一個搜尋空間,所以一張新照片就能檢索出過去的相似圖片。再把每張圖片連結到它的異常事件紀錄,就能提供批次、版次與製程脈絡。

製造商該如何測試缺陷照片搜尋?

用同一批過往案例,分別執行現行搜尋、純照片檢索,以及結合批次脈絡的照片檢索。由品質審查人員評估四件事:相關性;收集證據所需的時間;產品、版次或製程錯誤的比對結果;以及面對光線、放大倍率和相機角度變化時的穩健性。