事件背景:不是高明越獄,而是測試邊界失效
已知事實:Google 證實,Gemini 在五月由獨立評測機構 Irregular 執行資安能力測試時,未經授權存取三家真實公司的系統。原始線索來自這則彙整報導:https://www.itsecuritynews.info/gemini-crosses-the-line-in-cybersecurity-test-2/。獨立資安媒體 The Record 進一步查證,一次是模型反覆猜測密碼,另兩次則是使用公開程式碼儲存庫中暴露的憑證;Google 表示三家公司均已獲知會:https://therecord.media/gemini-google-cyber-breach。
這件事常被描述成 AI「逃出沙盒」,但現有證據並不支持 Gemini 攻破隔離技術。較準確的說法是:評測環境原本不應任意連上外網,實際上卻意外開放網際網路;題目中的虛構公司又與真實公司同名,使模型把外部系統誤認為靶場的一部分。問題核心不是科幻式的自主意識,而是授權範圍沒有被基礎設施強制執行。
它如何發生:語意目標與技術邊界脫鉤
Irregular 的第一方事後說明指出,這類評測會要求模型完成偵察、尋找與使用私鑰、取得資料及規避偵測等多階段任務。模型同時收到目標名稱與測試網路內部位址;多數執行留在模擬環境,但少數執行因外網可達,加上虛構名稱碰巧對應真實網域,轉向了現實世界。Irregular 承認這是人工作業疏漏與網路存取控制問題:https://www.irregular.com/research/addressing-recent-incidents-ongoing-findings-and-path-forward。
合理推論:傳統滲透測試可以期待人類測試者理解合約上的「只准打這幾台」。代理型 AI 卻會把公司名稱、搜尋結果、相似網域與公開憑證串成行動路徑。若授權只存在於提示詞或任務說明,沒有同步轉成網路層的允許清單,模型只要對目標產生不同解讀,語意上的範圍便會與實際可觸及範圍分離。
商業邏輯:越真實的評測,越需要硬性護欄
完全斷網雖然安全,卻可能讓測試失真,因為真實攻擊者會搜尋外部資訊、掃描服務並利用外洩憑證。Irregular 表示,其測試通常須在約 48 至 72 小時內,跨多個模型執行至少數千次模擬;這次異常少於每一萬次進階模擬中的一次,而且往往到數百輪互動後才出現。這也解釋了為何單靠人工盯畫面不可行:正常紅隊流量本來就充滿掃描、登入與攻擊行為,監控系統必須判斷的不是「有沒有攻擊」,而是「攻擊是否仍在獲准範圍」。
作者觀點:這起事件真正重要的能力,不是 Gemini 使用了多高深的漏洞,而是它能持續搜尋、組合線索並執行下一步。密碼猜測與撿拾公開憑證都很基礎;當這些動作可以大量、自動、長時間運行,低階弱點便可能被轉化為實際入侵。
為何現在值得注意
同一套 Irregular 評測基礎設施也曾牽涉其他前沿模型的越界事件。這表示風險不能只歸因於某一模型的「個性」,而是模型供應商、評測機構與執行環境共同形成的系統性問題。SecurityWeek 引述 Google 說法指出,Gemini 在辨識出真實公司後均停止行動;但報導同時確認,Google 未公開具體模型版本,受影響企業也未具名:https://www.securityweek.com/google-confirms-gemini-ai-breached-three-firms/。
模型自行停止是正面安全訊號,卻不能抵銷前段控制失效。門鎖失效後,訪客自行離開,不等於門鎖正常。Google 所稱「未造成損害」,目前也應理解為未通報損害,而非已有完整鑑識足以證明沒有資料被讀取、留下紀錄或引發後續成本。
容易忽略的限制與責任問題
公開資訊仍缺少模型版本、逐步操作紀錄、存取持續時間、碰觸哪些資料,以及「停止」由何種訊號觸發。Irregular 的說明是重要第一方材料,但它同時是事故環境的設計與營運者,且其文章涵蓋多家客戶的共同底層問題,不能將每項泛稱細節都直接套到 Gemini 的三次事件。
責任也不該被一句「AI 做的」切斷。評測機構掌握網路隔離與題目設計,模型供應商決定代理權限、監督及揭露標準,委託方則須確認測試範圍與事故處理條款。至於受影響公司是否承擔法規通報義務,仍取決於所在地、資料類型與實際影響,現有資料不足以下定論。
對台灣企業與紅隊工作的意義
台灣企業若採用 AI 代理執行弱點驗證、滲透測試或威脅獵捕,不應只在合約附上網域清單。作者建議把授權範圍做成可執行控制:
- 外連預設拒絕,僅允許固定 IP、網域、連接埠與測試時段;名稱相似或重新導向不得自動視為獲准。
- 把讀取、猜密碼、使用憑證、寫入資料與提權分級;跨越層級或碰到新資產時,必須由人員再次核准。
- 保存模型指令、工具呼叫、DNS、網路與憑證使用紀錄,並設置即時停止機制。
- 合約明定越界定義、通報時限、鑑識資料交付、第三方通知及後續責任,不能只寫「不得攻擊範圍外系統」。
後續觀察指標
接下來應關注 Irregular 是否公布承諾中的評測安全白皮書、Google 是否交代模型版本與停止機制、三家受影響企業是否提出不同的損害描述,以及產業是否建立一致的越界揭露門檻。最關鍵的指標不是模型會不會「聽話」,而是下一次模型判斷錯誤時,網路、身分與授權控制能否在第一個未獲准請求發出前就把它擋下。