爲什麼說 Agentic RAG 是 RAG 領域的王者?

前言

在之前的文章中《RAG 檢索增強生成的協同機制》《爲什麼 RAG 系統 "一看就會,一做就廢"》,我們瞭解 RAG 的核心思想是將檢索機制與大模型相結合,通過動態檢索外部知識庫來增強模型的生成能力,並生成上下文相關且準確的響應。RAG 突破了目前大模型的靜態知識限制,拓展了大模型開啓了 “生成 + 檢索” 協同工作的新範式。

傳統 RAG - 文本檢索的利器

首先回顧一下傳統 RAG 的核心鏈路。

傳統 RAG 的三個核心鏈路:

之前的文章中《爲什麼 RAG 系統 "一看就會,一做就廢"》提到傳統 RAG 系統存在 12 個問題:

對 12 個問題歸納總結來看:

    1. 缺失內容(Missing Content)、錯過超出排名範圍的文檔(Missed Top Ranked)、不在上下文中(Not In Context)、數據攝取的可擴展性問題(Data Ingestion Scalability)、結構化數據的問答(Structured Data QA)、從複雜 PDF 文檔提取數據(Data Extraction from Complex PDFs):屬於知識庫工程層面的問題,可以通過完善知識庫、增強知識確定性、優化上下文整合策略解決。
    1. 未提取(Not Extracted)、錯誤的格式(Wrong Format)
      、不正確的具體性(Incorrect Specificity):屬於大模型自身能力的問題,依賴大模型的訓練和迭代。
    1. 答案的不完整(Incomplete Answers):屬於 RAG 架構問題,更有前景的思路是使用 Agent 引入規劃能力。

雖然傳統 RAG 系統在知識檢索和生成方面表現出色,但是在實際應用場景中我們已經不滿足於只是生成對應的簡單回答,而是期待大模型能夠在處理動態、多步推理任務、適應性和複雜工作流的編排方面更好地應用於企業級場景。例如:

    1. 傳統 RAG 系統在面對需要從多源信息中抽取並綜合分析的情況時,存在明顯侷限性。當回答一個複雜問題涉及到通過識別和利用不同信息片段之間的共享屬性,來構建新的、綜合性答案時,傳統 RAG 無法有效連接這些關鍵點,導致在信息整合與關聯方面表現不足,無法充分滿足用戶對於準確、全面且深入信息處理的需求。
    1. 傳統 RAG 對大規模的數據集合或是單篇幅巨大的文檔進行全面而深入的理解時,它的表現會顯得較爲遜色。這主要是因爲傳統 RAG 在處理大量數據時,難以有效地捕捉和理解那些被濃縮於其中的關鍵語義概念,從而影響了整體的理解質量。

比如在醫療場景中:醫療診斷的複雜問題,需要綜合分析患者的病歷記錄、多項檢查報告以及不同的醫學研究文獻等多源信息。傳統 RAG 系統可能會分別從這些信息源中抽取相關內容,但如果要構建一個新的綜合性答案,比如確定一種罕見病的診斷依據,就需要識別和利用不同信息片段之間的共享屬性,如特定症狀、檢查指標等。

傳統 RAG 系統可能無法有效連接這些關鍵點,它可能知道患者有頭痛、發燒等症狀,也知道某項檢查指標異常,但難以將這些分散的信息片段與醫學文獻中關於某種罕見病的特徵描述進行關聯,從而無法爲醫生提供一個完整、準確的診斷建議。

爲了解決這些問題,2024 年 4 月微軟研究團隊發表了一篇論文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》論文中微軟的研究人員提出了一種從文本構建並增強知識圖的方法,即 GraphRAG(Graph-based Retrieval-Augmented Generation)。

GraphRAG - 圖結構的智慧

Graph RAG 中的 Graph 指的是知識圖譜 —— Knowledge Graph, KGs。一個用來表示實體及其相互關係的結構化圖形數據模型。在 Graph 中,節點(Nodes) 代表實體如人、地點、事件等;邊(Edges)則代表這些實體之間的關係,(如人物關係、地理位置等)。
GraphRAG 是一種結合了知識圖譜的檢索增強生成框架,是對傳統 RAG 實現的一種改進,專注於從圖結構數據中檢索信息。

GraphRAG 工作流程

GraphRAG 將文本構建爲知識圖譜,將信息表示爲實體和關係的互聯網絡。通過圖遍歷算法遍歷圖中的節點和邊即 KG 中的結構化信息,能夠捕捉和利用信息片段之間的複雜關係,以及在檢索和生成階段利用這些結構化信息。爲用戶提供更準確、相關和多樣化的檢索結果。

GraphRAG 的工作流程主要包括三個階段:基於圖的索引(Graph-Based Indexing)、圖引導檢索(Graph-Guided Retrieval)和圖增強生成(Graph-Enhanced Generation)。

GraphRAG 有兩種主要方法:

Jeong Yitae 撰文《From RAG to GraphRAG , What is the GraphRAG and why i use it?》,總結了 Graph RAG 的不足:GraphRAG 和 RAG 一樣,具有明顯的侷限性,包括如何形成圖形、生成查詢這些圖形的查詢,以及最終根據這些查詢決定要檢索多少信息。

1. 信息抽取:如何構建高質量的知識圖譜?
信息抽取是構建圖索引的關鍵步驟,需從原始文本中提取結構化信息(如實體、關係、屬性等),並將其轉化爲知識圖譜(KG)中的節點和邊。若信息抽取不準確或不完整,後續的圖構建、檢索和查詢結果的不準確。例如:

2. 查詢生成:如何在知識圖譜上的生成全面性和準確性的回答?
查詢生成是指模型根據用戶原始查詢生成子查詢,以驅動對圖中相關節點和邊的檢索。然而,原始查詢生成子查詢存在以下挑戰:

3. 推理邊界:如何平衡 “信息充分性” 與“計算效率”?
推理邊界指在信息檢索過程中如何平衡 “信息充分性” 與“計算效率”。具體挑戰包括:

KAG - 知識增強生成

雖然 RAG 技術實現了特定域應用程序的高效構建。但是也有侷限性,包括向量相似性與知識推理相關性之間的差距,以及對知識邏輯的不敏感如數值、時間關係、專家規則等,都阻礙了尤其是在法律、醫學和科學等需要分析推理的專業領域服務的有效性。

爲了解決以上問題,螞蟻集團知識圖譜團隊和浙江大學的撰寫的論文《KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation》,提出了知識增強生成(Knowledge Augmented Generation,KAG)框架,該框架旨在充分利用知識圖譜和向量檢索的優勢,提升大語言模型在專業領域的表現。KAG 框架充分利用知識圖譜和 RAG 技術的互補優勢。不僅將圖結構整合到知識庫,還將知識圖譜的語義類型、關係以及知識圖譜問答(KGQA)中常用的邏輯形式整合到檢索和生成過程中。

論文對 KAG 的定位是專業領域知識增強服務框架,同時提到一個非常重要的觀點:一個專業的知識服務框架須具備 3 個重要特點:

KAG 框架通過對當前大語言模型與知識圖譜結合,對以下五個方面進行了增強:

KAG 框架

KAG 框架由三個部分組成:KAG-Builder、KAG-Solver 和 KAG-Model。

KAG 框架設計思路是必須從受約束的知識庫出發,去構建圖譜或做邏輯推理。在一定程度上緩解大模型領域知識缺失以及幻覺的問題。
目前框架處於早期快速迭代階段,在功能具體實現方面應該還是存在一定的優化提升空間,需要團隊在實際業務場景中檢驗和迭代。
據螞蟻集團知識圖譜團隊分享,KAG 已在電子政務、電子醫療進行的應用,表現的還不錯。

Agentic RAG 破局

智能體檢索增強生成(Agentic RAG)通過將自主人工智能智能體嵌入 RAG 流程,克服了這些侷限性。Agentic RAG 利用智能體設計模式(反思、規劃、工具使用和多智能體協作)來動態管理檢索策略,迭代完善上下文理解,並通過從順序步驟到自適應協作等明確定義的操作結構來調整工作流程,在複雜任務中實現閉環的檢索 - 加工 - 驗證 - 優化,來提高決策能力和適應性。

比如當對於”2025 年政府工作報告中 [人工智能 +] 政策對就業與科技發展的綜合影響“複雜綜合分析時,Agentic RAG 能夠有效整合多源信息並進行多步深度推理、修正優化,給出完整的分析報告。而傳統的 RAG、GraphRAG 是難以企及的。

Agentic RAG 框架

Agentic RAG 如何工作?

智能體智能是 Agentic RAG 系統的基礎,使它們能夠超越傳統 RAG 的靜態和被動性質。通過集成能夠進行動態決策、迭代推理和協作工作流程的自主智能體,確保系統能夠精確且可擴展地處理複雜的現實任務。在處理複雜業務場景時,Agentic RAG 系統展現出更強的適應性和精確性。

作爲智能體的主要推理引擎和對話接口。它解釋用戶查詢、生成回覆並保持連貫性。

在交互過程中捕捉上下文和相關數據。短期記憶跟蹤即時對話狀態,而長期記憶存儲積累的知識和智能體經驗。

通過反思、查詢路由或自我批判指導智能體的迭代推理過程,確保複雜任務能被有效地分解。

擴展智能體的能力,使其超越文本生成,能夠訪問外部資源、實時數據或進行專門的計算。

Agentic RAG 架構

Agentic RAG 的核心是 Agent,可以根據複雜度的不同進行擴展,分爲不同的架構框架。這些框架包括單智能體架構(Single-Agent RAG)、多智能體系統(Multi-Agent RAG)。每個框架都針對特定的挑戰進行了優化,以適應不同應用場景的性能需求。

單智能體 RAG(Single-Agent RAG,Router)

單智能體智 RAG 作爲一個集中式決策系統,由單個智能體管理信息的檢索、路由和集成。這種架構通過將這些任務整合到一個統一的智能體中,簡化了系統,使其特別適用於工具或數據源數量有限的設置。

單智能體 RAG 工作流程

1. 查詢提交與評估
用戶提交查詢後,協調智能體(或主檢索智能體)接收查詢並進行分析,以確定最合適的信息來源。
2. 知識源選擇
根據查詢類型,協調智能體從多種檢索選項中進行選擇:

3. 數據集成與大語言模型合成
從選定的來源檢索到相關數據後,將其傳遞給大語言模型。大語言模型對收集到的信息進行合成,將多個來源的見解整合爲連貫且與上下文相關的回覆。
4. 輸出生成
最後,系統提供一個全面的、面向用戶的答案,回答原始查詢。該回復以可行、簡潔的格式呈現,並可選擇包含對所用來源的引用或參考。

單智能體 RAG 關鍵特徵和優勢:

多智能體 RAG 系統(Multi-Agent RAG)

多智能體 RAG 是單智能體架構的模塊化、可擴展的演進,旨在通過利用多個專門的智能體來處理複雜的工作流程和多樣化的查詢類型。該系統不再依賴單個智能體來管理所有任務(推理、檢索和回覆生成),而是將職責分配給多個智能體,每個智能體針對特定的角色或數據源進行了優化。

多智能體 RAG 工作流程:

1. 查詢提交
流程從用戶查詢開始,由協調智能體或主檢索智能體接收。這個智能體作爲中央協調器,根據查詢的要求將查詢分配給專門的檢索智能體。
2. 專門的檢索智能體
查詢被分配到多個檢索智能體,每個智能體專注於特定類型的數據來源或任務。例如:

3. 工具訪問與數據檢索
每個智能體將查詢路由到其領域內適當的工具或數據源,如:

4. 數據集成與大語言模型合成
檢索完成後,所有智能體的數據都被傳遞給大語言模型。大語言模型將檢索到的信息合成爲連貫且與上下文相關的回覆,無縫整合多個來源的見解。

5. 輸出生成
系統生成全面的回覆,並以可行、簡潔的格式返回給用戶。

多智能體 RAG 關鍵特徵和優勢:

多智能體 RAG 挑戰:

儘管 Agentic RAG 系統在技術實現層面仍面臨着諸多的挑戰,但是其通過如下 3 方面突破性進展,一定會成爲應對複雜問題的新利器。

    1. 交互範式完成了從被動響應到主動預測的轉型,系統能夠基於上下文深度理解主動預判用戶需求;2. 檢索機制實現了由單次關鍵詞匹配向多輪動態調整的跨越,通過實時反饋循環構建起包含意圖識別、語義修正、結果優化的自我進化體系;
    1. 任務處理能力完成了從簡單事實問答到複雜認知任務的質變突破,可支持多模態數據分析、跨領域知識推理、結構化報告生成等高端智能服務。

相信在不久將來 Agentic RAG 能夠像人類專家一樣,在面對複雜問題時不僅給出答案,更能給出詳細的推理過程和執行細節在內的一整套完整方案。

小結

Jerry Liu(LlamaIndex CEO)在報告《Beyond RAG: Building Advanced Context-Augmented LLM Applications》中也提出了 RAG 的未來是 Agent 相似觀點。無論是 RAG for Agents 還是 Agents for RAG,亦或是從 RAG 到 Graph RAG 再到 Agents,在可見的未來,Agent 將成爲推動 AI 應用發展的核心力量。

參考

1.《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》https://arxiv.org/abs/2404.16130
2.《From RAG to GraphRAG , What is the GraphRAG and why i use it?》https://jeongiitae.medium.com/from-rag-to-graphrag-what-is-the-graphrag-and-why-i-use-it-f75a7852c10c
3.《KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation》
https://arxiv.org/abs/2409.13731
4.https://github.com/OpenSPG/KAG
5.《Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG》https://arxiv.org/abs/2501.09136
6.https://weaviate.io/blog/what-is-agentic-rag

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/SJwe1lB6qNaLbZPSdeJOLg