一文搞懂大模型、RAG、函數調用、Agent、知識庫、向量數據庫、知識圖譜、AGI 的區別和聯繫!!---
** 背景**
當我們把 AI 大模型視作人的大腦時,調用 A 大模型就如同調用一個人的智慧。將 AI 大模型人格化,意味着它應該能夠理解人類的語言(懂人話)、用人類的語言進行表達(說人話),並直接給出結果。然而,重要的是要認識到,儘管 AI 大模型可以提供快速的答案,但這些結果並不總是完全準確。
在 AI 大模型的推理基礎上,我們採用了多種技術手段來實現真正的 AGI(通用人工智能),這些技術包括 Prompt、RAG、Agent、知識庫、向量數據庫和知識圖譜等。這些技術各自有其獨特的作用和優勢,但同時也相互關聯,共同推動着 AGI 的發展。這些技術到底有哪些區別和聯繫,下圖作了橫向對比,接下來我們詳細剖析下。
** 01 大語言模型(LLM)**
**大語言模型(LLM)**是 AI 領域的重要支柱,通過深度學習方法利用龐大的文本數據集進行訓練,從而具備了生成自然流暢語言文本以及準確理解語言深層語義的能力。這些模型廣泛應用於自然語言處理任務,如文本分類、智能問答和人機交互對話等。
過去一年,大語言模型及其在 AI 領域的應用受到了全球科技界的矚目。特別是模型規模的顯著增長,參數量從數十億激增到如今的萬億級別,使得模型在捕捉人類語言微妙差異和洞察複雜本質方面更加精準。
隨着 OpenAI GPT-4o 的發佈,我們回顧過去一年,大語言模型在多個方面取得了顯著進步。這些進步包括高效吸納新知識、有效分解複雜任務以及圖文精準對齊等。隨着技術的不斷演進和完善,大語言模型將繼續拓展其應用邊界,爲人們帶來更加智能化、個性化的服務體驗,從而深刻改變我們的生活方式和生產模式。
大語言模型擁有推理能力,TA 是一切應用的基石。
** 02 提示詞工程(Prompt)**
純 Prompt 技術架構可以視爲與大語言模型交互的最原始、最直觀方式。這種方式在任務效率上表現出色,因爲有效的 Prompt 能夠最大限度地激發模型的最佳性能。之前我們已分享過,Prompt 技術是模型效果優化的兩條重要路徑之一(微調和 RAG 技術)的共同基礎。OpenAI 官網也提供了關於優化 Prompt 的教程,大家可以進一步瞭解。
從更深層次來看,Prompt 更像是一個引導模型展現其內部優秀性能的指南。當模型基於大量數據進行學習時,它會總結出許多 in-context-learning 的內部規律。一個好的 Prompt 能夠激發這些正確的規則,從而引導模型展現出更好的性能。
在交互方式上,Prompt 技術使得大語言模型與人類之間的交互變得極爲友好。它就像人與人之間的對話,你說一句,AI 迴應一句,簡單直接,無需對模型進行復雜的權重更新或處理。這種交互方式使得人們能夠更自然地與 AI 進行溝通和交流。
** 03 檢索增強生成(RAG)**
RAG(Retrieval-Augmented Generation)技術是一種結合檢索與生成能力的知識增強方案,專門用於應對複雜多變的信息查詢和生成挑戰。在當前大模型時代的背景下,RAG 技術巧妙地集成了外部數據源,如本地知識庫或企業信息庫,爲 AI 大模型賦予了更加強大的檢索和生成能力。通過這種方法,RAG 技術顯著提升了信息查詢和生成的品質,使得 AI 系統能夠更準確地理解和迴應用戶的需求。
RAG 技術的核心在於結合先進的向量數據庫與大模型的智能問答能力。知識庫信息存儲在向量數據庫中,系統能迅速檢索相關片段。這些片段與大模型智慧結合,產生精確全面的回答。此技術極大提高 AI 處理複雜問題的準確性和響應速度,爲用戶帶來優質高效體驗。
總之,RAG 技術就是給大語言模型新知識。
** 04 函數調用(Fuction Calling)**
大模型要實現精確的函數調用(Function Calling)需要理解能力和邏輯能力,理解能力就是對用戶的 Prompt 提示詞能夠識別意圖,然後通過邏輯能力給出需要調用執行的函數,具體流程如下:
1、大模型何時會調用函數 API?
調用函數 API 在交互形式上有兩種方式:第一是讓用戶直接選擇調用函數,第二是大模型會推理判斷要調用的函數 API。
2、大模型怎麼 Function Calling 調用函數 API ?
首先把函數 API 的元信息(函數名稱、函數描述、函數參數等)註冊給大模型,讓大模型學習函數集合,當用戶查詢時,大模型根據用戶的 Prompt 提示詞選擇對應的函數 API。
3、函數 API 誰來具體執行?
大模型根據用戶的 Prompt 請求確定具體的函數 API 後,由 Agent 負責具體的執行。
4、函數 API 返回的內容咋處理?
Agent 把 Function Calling 函數 API 調用返回的結果返回給大模型,大模型進一步加工處理後返回給用戶最終結果。
** 05 智能體(Agent)**
在 AI 大模型時代,任何具備獨立思考能力並能與環境進行交互的實體,都可以被抽象地描述爲智能體(Agent)。這個英文詞彙在 AI 領域被普遍採納,用以指代那些能夠自主活動的軟件或硬件實體。在國內,我們習慣將其譯爲 “智能體”,儘管過去也曾出現過“代理”、“代理者” 或“智能主體”等譯法。
智能體構建在大語言模型的推理能力基礎上,對大語言模型的 Planning 規劃的方案使用工具執行(Action) ,並對執行的過程進行觀測(Observation),保證任務的落地執行。
舉個例子來方便理解:
想象一個機器人管家。這個機器人能夠理解你的指令,比如 “請打掃客廳”,並且能夠執行這個任務。機器人管家就是一個 agent,它能夠自主地感知環境 (比如識別哪些地方是客廳),做出決策 (比如決定打掃的順序和方法),並執行任務 (比如使用吸塵器打掃)。在這個比喻中,機器人管家是一個能夠自主行動和做出複雜決策的實體。
總之,Agent 智能體 = 大語言模型的推理能力 + 使用工具行動的能力。
** 06 知識庫**
對企業而言,構建符合業務需求的知識庫至關重要。利用 RAG、微調等技術,可將通用大模型轉變爲深度理解特定行業的 “行業專家”,服務於企業具體需求。這類知識庫適用於多行業,如市場調研、人力資源、項目管理等。
其技術架構分兩部分:
** 一是離線的知識數據向量化**,包括加載數據 / 知識庫、拆分文本、Embedding 向量化處理,最後將向量化的數據塊存儲於 VectorDB,以便於搜索。
二是在線的知識檢索返回
檢索:使用檢索器從存儲中檢索與用戶輸入相關的 Chunk。
生成:結合問題和檢索到的知識提示詞,利用大語言模型生成答案。
總之,知識庫是 AI 大模型應用的知識基礎。
** 07 向量數據庫**
向量數據庫專注於存儲和查詢文本的向量化表示,源自文本、語音、圖像等數據。相比傳統數據庫,它更擅長處理非結構化數據如文本、圖像和音頻。在處理機器學習、深度學習中的向量數據時,其高效存儲、索引和搜索高維數據點的能力尤爲突出,適用於數值特徵、文本或圖像嵌入等複雜數據的處理。
** 總之,知識庫的存儲載體往往是向量數據庫,另外在數據存儲和檢索上,向量數據庫以向量空間模型高效存儲和檢索高維數據,爲 AI 大模型和 Agent 智能體提供強有力的數據支持。**
** 08 知識圖譜**
知識圖譜是基於實體和關係的圖結構數據庫,用於表示和管理知識。它採用結構化數據模型存儲、管理並顯示人類語言知識,通過語義抽取建立實體間的關係形成樹狀結構。實體如人、地點、組織等具有屬性和關係,這些關係連接不同實體。知識圖譜揭示知識領域動態發展規律,爲學科研究提供參考。在醫療領域,知識圖譜支持臨牀診療、數據整合與利用,通過實體識別、關係抽取和數據集訓練,以圖譜形式展示關鍵節點和聯繫,支持精準醫療決策。
與此同時,在智能推薦、自然語言處理、機器學習等領域也具有廣泛的應用。尤其在搜索引擎領域,它能夠提高搜索的準確性,爲用戶提供更加精準的搜索結果。
總之,知識圖譜本質上是一種叫作語義網絡的知識庫,即一個具有有向圖結構的知識庫,其中圖的結點代表實體或者概念,而圖的邊代表實體 / 概念之間的各種語義關係。
** 09 AGI**
AGI 作爲 AI 發展的終極願景,旨在實現智能系統像人類一樣理解和處理複雜情況與任務的能力。在此過程中,AI 大模型、Prompt Engineering、Agent 智能體、知識庫、向量數據庫、RAG 及知識圖譜等技術至關重要。這些技術元素相互協作,推動 AI 技術持續發展,爲實現 AGI 目標奠定堅實基礎。
與目前常見的 “窄人工智能”(ANI,Artificial Narrow Intelligence)不同,AGI 能夠處理多種不同的問題,而不僅僅是針對特定任務設計的算法。窄人工智能通常在特定領域內表現出色,例如語音識別、圖像識別或棋類遊戲等,但它們缺乏跨領域的通用性和適應性。
AGI 的關鍵特徵包括:
-
自主學習:AGI 能夠從經驗中學習,並不斷改進自己的性能。
-
跨領域能力:AGI 能夠處理多種不同類型的問題,而不僅僅是單一領域。
-
理解複雜概念:AGI 能夠理解和處理抽象概念、隱喻和複雜邏輯。
-
自我意識:雖然這一點在學術界有爭議,但一些觀點認爲 AGI 可能發展出某種形式的自我意識或自我反思能力。
目前,AGI 仍然是人工智能研究的前沿領域,尚未實現。許多研究者正在探索如何構建這樣的系統,但存在許多技術和倫理上的挑戰。
本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源:https://mp.weixin.qq.com/s/OKxMT8pQrSpu9800_1HaiA