Google 的 AI 防護方案 - AI Protection

在 Google Next 2025 上，Google 推出一款全新解決方案 -AI Protection，保護整個 AI 生命週期內降低風險。這是一個結合 AI 與數據安全的方案，非常有前瞻性，值得看看。

方案概要

AI Protection 通過以下方式幫助團隊全面管理 AI 風險：

主要有三個功能：

①發現您環境中的 AI 資產並評估其潛在漏洞

②通過控制、政策和護欄保護人工智能資產，這是重點

③通過檢測、調查和響應能力管理針對人工智能系統的威脅

另外，已經實現的功能包括（圖中④)：模型裝甲 (Model Armor),SDP 發現，與 al 相關的威脅合併，AI 的態勢感知，AI 的威脅檢測，及預覽版本的 Notebook 安全掃描，數據安全態勢感知（DSPM)。

這是一個保護 AI 和數據的綜合方案，當然，AI 需要數據，也要處理數據，二者密不可分。

核心防護

這裏邊，最重要的是第 2 部分，AI 防護，是怎麼防護的，防護有哪些內容，打開看看。

這是一個針對 AI 應用的防護方法，其實就是現在流行的 AI 圍欄，在模型和用戶之間做一個防護，其中最重要的就是 Model Armor（模型護甲）, 其架構如圖：

上圖顯示了使用 Model Armor 保護 LLM 和用戶應用的數據流圖。

用戶嚮應用提問
Model Armor 會檢查傳入的提示是否包含潛在敏感內容。
系統會將提示（或經過脫敏處理的提示）發送到 LLM。
LLM 會生成回答。
Model Armor 會檢查生成的回答是否包含潛在敏感內容。
系統會將響應（或經過過濾的響應）發送給用戶。 Model Armor 會在響應中發送有關觸發的過濾條件和未觸發的過濾條件的詳細說明。

簡而言之，模型裝甲可充當過濾器，同時檢查輸入（提示）和輸出（響應），以確保 LLM 不會泄露或提供任何惡意或敏感的輸入或輸出。

主要的檢查內容包括：

安全和負責任的 AI 過濾器

Model Armor 提供內容安全過濾器，可解決露骨色情、危險、騷擾和仇恨言論內容等問題。
提示注入和越獄檢測

Model Armor 包含用於檢測和防範提示注入和越獄攻擊的功能。
使用敏感數據保護功能實現數據泄露防範 (DLP)

Model Armor 包含 Google Cloud 敏感數據保護服務的全部功能，可提供數據泄露防範功能。它可以發現、分類和保護敏感數據（例如源代碼等知識產權或信用卡號等個人身份信息），防止其在 LLM 互動中被未經授權地泄露。
惡意網址檢測

Model Armor 能夠識別問題和回答中的惡意網址，從而增強 AI 應用的安全狀況。
支持篩查 PDF 文件

Model Armor 支持篩查 PDF 文件中的文本是否包含惡意內容。

結合 MCP 的工具投毒攻擊 (TRA) 以及出現的各種攻擊看，數據竊取是未來 AI 系統的最大風險，護欄結合 DLP，思路非常好。

總結

1.Google 的 AI Protection 作爲一個產品，如此快速的推出，說明 AI 的應用及相關威脅確實在快速發展，需要完整的防護。聯想到之前字節的 AI 防火牆及一些安全公司的類似產品，未來，類似 AI Protection 的產品作爲一個新的產品品類，將迅速發展壯大，在相關應用中的位置，可能類似於今天的防火牆，是必需品。

2.Google 的防護，把數據安全的能力結合進去，是非常前瞻的思想，AI 最重要的目的是與數據交互產生價值，主要的風險也會和數據相關，二者結合，確實是理想的方案。

結合 Google 的 AI 安全框架 SAIF 看，Google 對 AI 安全的投入還是非常大的。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/iz9x-fWjsiJ0K7rN5PMuKA

猜你喜歡