Web AI：下一代 Web 應用的新模型、工具、API

大家好，我是 ConardLi。

AI 時代，和我們前端開發結合最緊密的就是當下炒的非常火熱的 Web AI 技術了。

今天跟大家一起來聊聊本屆 Google I/O 開發者大會上關於 Web AI 的主題分享：《Web AI: On-device machine learning models and tools for your next project》

傳統上，人工智能和機器學習模型的計算任務大多在服務器上進行，需要通過雲服務進行數據處理和計算。這種方式雖然功能強大，但存在延遲、隱私和成本等問題。而 Web AI 的概念是讓這些計算任務直接在用戶的設備上、通過瀏覽器來完成，這主要得益於現代 Web 技術的進步，如 WebAssembly 和 WebGPU 等技術的支持。這樣，用戶可以在不與外部服務器交互的情況下，即時獲得 AI 服務，這無疑提升了用戶體驗，同時也爲用戶隱私提供了更強的保護。

Web AI 可以說是一組技術和技巧，用於在設備的 CPU 或 GPU 上在 Web 瀏覽器中客戶端使用機器學習（ML）模型。所以我們可以使用 JavaScript 和其他 Web 技術構建，例如 WebAssembly 和 WebGPU 。

需要注意的是，Web AI 與服 Server AI 或 Cloud AI 明顯不同，後者是模型在服務器上執行並通過 API 訪問的方式。

在本次分享中，主要包括了下面三個方面

• 如何在瀏覽器中運行我們新的大型語言模型（LLM）以及運行模型對客戶端的影響；

• 展望 Visual Blocks 的未來，更快地進行原型設計；

• 以及 Web 開發人員如何在 Chrome 中使用 JavaScript 來大規模使用 Web AI。

瀏覽器中的 LLM

谷歌的 Gemma Web 是一個新的開放模型，可以在用戶設備的瀏覽器中運行，它是基於用來創建 Gemini 的相同研究和技術構建的。

通過在設備上使用 LLM ，與在雲服務器上進行推斷相比，可以顯著的節省成本，同時還能增強用戶隱私並減少延遲。瀏覽器中的生成式人工智能仍處於早期階段，但隨着硬件的不斷髮展（具有更高的 CPU 和 GPU 內存），我們預計會有更多的模型可用。

企業、和開發者們都可以重塑我們在網頁開發上的想象力，尤其是對於特定於任務的用例，可以調整較小 LLM（2 到 80 億參數）的權重以在消費硬件上運行。

Gemma2B 現在可以在 Kaggle Models 上直接下載，格式與我們的 Web LLM 推理 API 兼容。其他受支持的架構包括 Microsoft Phi-2、Falcon RW1B 和 Stable LM3B ，大家可以使 Google 提供的的轉換器庫將其轉換爲運行時可以使用的格式。

https://goo.gle/Gemma2b

使用 Visual Blocks 更快地進行原型設計

Visual Blocks（簡稱 Vblocks）是一種基於節點圖編輯器的創新機器學習原型工具。它爲開發者和決策者在使用機器學習時提供了合作平臺，使用戶能夠專注於解決實際問題，而無需對代碼複雜性和技術障礙感到困擾。

Vblocks 的所有關鍵特性都被包裝在一個節點圖編輯器中。用戶可以通過簡單的拖拽操作將不同的節點相連接，快速搭建起端到端的原型。在拖拽過程中，系統會自動建議可以連接的有效節點，進一步提升了開發效率。

Google 在 2024 年與知名的開源機器學習社區 Hugging Face 合作，他們爲 Visual Blocks 創建了 16 個全新的自定義節點。這將 Transformers.js 和更廣泛的 Hugging Face 生態系統引入了 Visual Blocks。

其中八個新節點完全運行在瀏覽器客戶端，使用 Web AI，包括：

• 圖像分割（Image segmentation）

• 翻譯（Translation）

• 令牌分類（Token classification）

• 物體檢測（Object detection）

• 文本分類（Text classification）

• 背景去除（Background removal）

• 深度估計（Depth estimation）

此外，Hugging Face 還提供 7 個服務器端 ML 任務，可讓我們在 Visual Blocks 中使用 API 運行數千個模型。

查看模型集合：https://huggingface.co/hf-vb

另一個重大的更新是 Vblocks 現在支持定製節點。這意味着我們可以使用標準的 JavaScript Web 組件來創建適應特定需求的新節點。不論是自定義客戶端邏輯還是調用遠程服務器上的第三方 Web API，都可以輕鬆集成進 Vblocks。

通過 Chrome 大規模使用 JavaScript 實現 Web AI

在之前的實例中，例如 Gemma，模型在網頁本身內加載並運行。Chrome 正在開發內置的設備人工智能，我們可以使用標準化的、特定於任務的 JavaScript API 訪問模型。

這還不是全部， Chroe 還更新了 WebGPU，支持 16 位浮點值。

WebAssembly 有一個新提案 Memory64，支持 64 位內存索引，這將允許我們加載比以前更大的 AI 模型。

使用 headless Chrome 測試 Web AI 模型

我們現在可以使用 Headless Chrome 測試客戶端 AI（或任何需要 WebGL 或 WebGPU 支持的應用程序），同時利用服務器端 GPU（例如 NVIDIA T4 或 P100）進行加速了。

瞭解詳情可以看：https://developer.chrome.com/docs/web-platform/webgpu/colab-headless

參考：《Web AI: On-device machine learning models and tools for your next project》：https://www.youtube.com/watch?v=PJm8WNajZtw

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/i3ZL-1yvFqTTfwRAsIOVPg