▍作者：範志東，螞蟻圖計算開源負責人、圖計算佈道師

回顧 2024，大模型日新月異，智能體百家爭鳴。作爲 AI 應用的重要組成部分，RAG 也是 “羣雄逐鹿，諸侯並起”。年初 ModularRAG 持續升溫、GraphRAG 大放異彩，年中開源工具如火如荼、知識圖譜再創新機，年末圖表理解、多模態 RAG 又啓新徵程，簡直 “你方唱罷我登場”，奇技疊出，不勝枚舉！

我在這裏遴選了 2024 年度典型的 RAG 系統和論文（含 AI 註解、來源、摘要信息），並於文末附上 RAG 綜述和測試基準材料，望執此一文，計一萬六千言，助大家速通 RAG。

全文共 72 篇，逐月爲綱，強謂之 “RAG 七十二式”，以獻諸位。

備註：

文中所有內容已託管到開源倉庫 Awesome-RAG，歡迎提交 PR 查缺補漏。 

GitHub 地址：https://github.com/awesome-rag/awesome-rag

2024.01

(01) GraphReader【圖解專家】

圖解專家：像個善於製作思維導圖的導師，將冗長的文本轉化爲清晰的知識網絡，讓 AI 能夠像沿着地圖探索一樣，輕鬆找到答案需要的各個關鍵點，有效克服了處理長文本時的 "迷路" 問題。

• 時間：01.20

• 論文：GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models

• 參考：https://mp.weixin.qq.com/s/eg3zIZ_3yhiJK83aTvQE2g

GraphReader 是一種基於圖的智能體系統，旨在通過將長文本構建成圖並使用智能體自主探索該圖來處理長文本。在接收到問題後，智能體首先進行逐步分析並制定合理的計劃。然後，它調用一組預定義的函數來讀取節點內容和鄰居，促進對圖進行從粗到細的探索。在整個探索過程中，智能體不斷記錄新的見解並反思當前情況以優化過程，直到它收集到足夠的信息來生成答案。

(02) MM-RAG【多面手】

多面手：就像一個能同時精通視覺、聽覺和語言的全能選手，不僅能理解不同形式的信息，還能在它們之間自如切換和關聯。通過對各種信息的綜合理解，它能在推薦、助手、媒體等多個領域提供更智能、更自然的服務。

• 時間：01.22

• 參考：https://mp.weixin.qq.com/s/wGar-qBfvjdi5juO1c0YxQ

介紹了多模態機器學習的發展，包括對比學習、多模態嵌入實現的任意模態搜索、多模態檢索增強生成（MM-RAG）以及如何使用向量數據庫構建多模態生產系統等。同時還探討了多模態人工智能的未來發展趨勢，強調了其在推薦系統、虛擬助手、媒體和電子商務等領域的應用前景。

(03) CRAG【自我校正】

自我校正：像個經驗豐富的編輯，先用簡單快速的方式篩選初步資料，再通過網絡搜索擴充信息，最後通過拆解重組的方式，確保最終呈現的內容既準確又可靠。就像是給 RAG 裝上了一個質量控制系統，讓它產出的內容更值得信賴。

• 時間：01.29

• 論文：Corrective Retrieval Augmented Generation

• 項目：https://github.com/HuskyInSalt/CRAG

• 參考：https://mp.weixin.qq.com/s/HTN66ca6OTF_2YcW0Mmsbw

CRAG 通過設計輕量級的檢索評估器和引入大規模網絡搜索，來改進檢索文檔的質量，並通過分解再重組算法進一步提煉檢索到的信息，從而提升生成文本的準確性和可靠性。CRAG 是對現有 RAG 技術的有益補充和改進，它通過自我校正檢索結果，增強了生成文本的魯棒性。

(04) RAPTOR【分層歸納】

分層歸納：像個善於組織的圖書管理員，將文檔內容自下而上地整理成樹狀結構，讓信息檢索能在不同層級間靈活穿梭，既能看到整體概要，又能深入細節。

• 時間：01.31

• 論文：RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

• 項目：https://github.com/parthsarthi03/raptor

• 參考：https://mp.weixin.qq.com/s/8kt5qbHeTP1_ELY_YKwonA

RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）引入了一種新方法，即遞歸嵌入、聚類和總結文本塊，從下往上構建具有不同總結級別的樹。在推理時，RAPTOR 模型從這棵樹中檢索，整合不同抽象級別的長文檔中的信息。

2024.02

(05) T-RAG【私人顧問】

私人顧問：像個熟悉組織架構的內部顧問，善於利用樹狀結構組織信息，在保護隱私的同時，高效且經濟地提供本地化服務。

• 時間：02.12

• 論文：T-RAG: Lessons from the LLM Trenches

• 參考：https://mp.weixin.qq.com/s/ytEkDAuxK1tLecbFxa6vfA

T-RAG（樹狀檢索增強生成）結合 RAG 與微調的開源 LLM，使用樹結構來表示組織內的實體層次結構增強上下文，利用本地託管的開源模型來解決數據隱私問題，同時解決推理延遲、令牌使用成本以及區域和地理可用性問題。

2024.03

(06) RAT【思考者】

思考者：像個善於反思的導師，不是一次性得出結論，而是先有初步想法，然後利用檢索到的相關信息，不斷審視和完善每一步推理過程，讓思維鏈條更加嚴密可靠。

• 時間：03.08

• 論文：RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation

• 項目：https://github.com/CraftJarvis/RAT

• 參考：https://mp.weixin.qq.com/s/TqmY4ouDuloE2v-iSJB_-Q

RAT（檢索增強思維）在生成初始零樣本思維鏈（CoT）後，利用與任務查詢、當前和過去思維步驟相關的檢索信息逐個修訂每個思維步驟，RAT 可顯著提高各種長時生成任務上的性能。

(07) RAFT【開卷高手】

開卷高手：像個優秀的考生，不僅會找對參考資料，還能準確引用關鍵內容，並清晰地解釋推理過程，讓答案既有據可循又合情合理。

• 時間：03.15

• 論文：RAFT: Adapting Language Model to Domain Specific RAG

• 參考：https://mp.weixin.qq.com/s/PPaviBpF8hdviqml3kPGIQ

RAFT 旨在提高模型在特定領域內的 “開卷” 環境中回答問題的能力，通過訓練模型忽略無關文檔，並逐字引用相關文檔中的正確序列來回答問題，結合思維鏈式響應，顯著提升了模型的推理能力。

(08) Adaptive-RAG【因材施教】

因材施教：面對不同難度的問題，它會智能地選擇最合適的解答方式。簡單問題直接回答，複雜問題則會查閱更多資料或分步驟推理，就像一個經驗豐富的老師，懂得根據學生的具體問題調整教學方法。

• 時間：03.21

• 論文：Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity

• 項目：https://github.com/starsuzi/Adaptive-RAG

• 參考：https://mp.weixin.qq.com/s/sxAu8xahY-GthS--nfgmjg

Adaptive-RAG 根據查詢的複雜程度動態選擇最適合的檢索增強策略，從最簡單到最複雜的策略中動態地爲 LLM 選擇最合適的策略。這個選擇過程通過一個小語言模型分類器來實現，預測查詢的複雜性並自動收集標籤以優化選擇過程。這種方法提供了一種平衡的策略，能夠在迭代式和單步檢索增強型 LLMs 以及無檢索方法之間無縫適應，以應對一系列查詢複雜度。

(09) HippoRAG【海馬體】

海馬體：像人腦海馬體一樣，把新舊知識巧妙編織成網。不是簡單地堆積信息，而是讓每條新知識都找到最恰當的歸屬。

• 時間：03.23

• 論文：HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

• 項目：https://github.com/OSU-NLP-Group/HippoRAG

• 參考：https://mp.weixin.qq.com/s/zhDw4SxX1UpnczEC3XyHGA

HippoRAG 是一種新穎的檢索框架，其靈感來源於人類長期記憶的海馬體索引理論，旨在實現對新經驗更深入、更高效的知識整合。HippoRAG 協同編排 LLMs、知識圖譜和個性化 PageRank 算法，以模擬新皮層和海馬體在人類記憶中的不同角色。

(10) RAE【智能編輯】

智能編輯：像個細心的新聞編輯，不僅會深入挖掘相關事實，還能通過連環推理找出容易被忽略的關鍵信息，同時懂得刪減冗餘內容，確保最終呈現的信息既準確又精煉，避免 "說得天花亂墜卻不靠譜" 的問題。

• 時間：03.28

• 論文：Retrieval-enhanced Knowledge Editing in Language Models for Multi-Hop Question Answering

• 項目：https://github.com/sycny/RAE

• 參考：https://mp.weixin.qq.com/s/R0N8yexAlXetFyCS-W2dvg

RAE（多跳問答檢索增強模型編輯框架）首先檢索經過編輯的事實，然後通過上下文學習來優化語言模型。基於互信息最大化的檢索方法利用大型語言模型的推理能力來識別傳統基於相似性的搜索可能會錯過的鏈式事實。此外框架包括一種修剪策略，以從檢索到的事實中消除冗餘信息，這提高了編輯準確性並減輕了幻覺問題。

2024.04

(11) RAGCache【倉儲員】

倉儲員：像大型物流中心一樣，把常用知識放在最容易取的貨架上。懂得把經常用的包裹放在門口，把不常用的放在後倉，讓取貨效率最大化。

• 時間：04.18

• 論文：RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation

• 參考：https://mp.weixin.qq.com/s/EOf51zoycmUCKkIo8rPsZw

RAGCache 是一種爲 RAG 量身定製的新型多級動態緩存系統，它將檢索到的知識的中間狀態組織在知識樹中，並在 GPU 和主機內存層次結構中進行緩存。RAGCache 提出了一種考慮到 LLM 推理特徵和 RAG 檢索模式的替換策略。它還動態地重疊檢索和推理步驟，以最小化端到端延遲。

(12) GraphRAG【社區摘要】

社區摘要：先把小區居民的關係網理清楚，再給每個鄰里圈做個簡介。有人問路時，各個鄰里圈提供線索，最後整合成最完整的答案。

• 時間：04.24

• 論文：From Local to Global: A Graph RAG Approach to Query-Focused Summarization

• 項目：https://github.com/microsoft/graphrag

• 參考：https://mp.weixin.qq.com/s/I_-rpMNVoQz-KvUlgQH-2w

GraphRAG 分兩個階段構建基於圖的文本索引：首先從源文檔中推導出實體知識圖，然後爲所有緊密相關實體的組預生成社區摘要。給定一個問題，每個社區摘要用於生成部分響應，然後在向用戶的最終響應中再次總結所有部分響應。

2024.05

(13) R4【編排大師】

編排大師：像個排版高手，通過優化材料的順序和呈現方式來提升輸出質量，無需改動核心模型就能讓內容更有條理，重點更突出。

• 時間：05.04

• 論文：R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models

• 參考：https://mp.weixin.qq.com/s/Lsom93jtIr4Pv7DjpQuiDQ

R4（Reinforced Retriever-Reorder-Responder）用於爲檢索增強型大語言模型學習文檔排序，從而在大語言模型的大量參數保持凍結的情況下進一步增強其生成能力。重排序學習過程根據生成響應的質量分爲兩個步驟：文檔順序調整和文檔表示增強。具體來說，文檔順序調整旨在基於圖注意力學習將檢索到的文檔排序組織到開頭、中間和結尾位置，以最大化響應質量的強化獎勵。文檔表示增強通過文檔級梯度對抗學習進一步細化質量較差的響應的檢索文檔表示。

(14) IM-RAG【自言自語】

自言自語：遇到問題時會在心裏盤算 "我需要查什麼資料"、"這個信息夠不夠"，通過不斷的內心對話來完善答案，這種 "獨白" 能力像人類專家一樣，能夠逐步深入思考並解決複雜問題。

• 時間：05.15

• 論文：IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues

• 參考：https://mp.weixin.qq.com/s/O6cNeBAT5f_nQM5hRaQUnw

IM-RAG 通過學習內部獨白（Inner Monologues）來連接 IR 系統與 LLMs，從而支持多輪檢索增強生成。該方法將信息檢索系統與大型語言模型相整合，通過學習內心獨白來支持多輪檢索增強生成。在內心獨白過程中，大型語言模型充當核心推理模型，它既可以通過檢索器提出查詢以收集更多信息，也可以基於對話上下文提供最終答案。我們還引入了一個優化器，它能對檢索器的輸出進行改進，有效地彌合推理器與能力各異的信息檢索模塊之間的差距，並促進多輪通信。整個內心獨白過程通過強化學習（RL）進行優化，在此過程中還引入了一個進展跟蹤器來提供中間步驟獎勵，並且答案預測會通過監督微調（SFT）進一步單獨優化。

(15) AntGroup-GraphRAG【百家之長】

百家之長：彙集行業百家之長，擅用多種方式快速定位信息，既能提供精準檢索，又能理解自然語言查詢，讓複雜的知識檢索變得既經濟又高效。

• 時間：05.16

• 項目：https://github.com/eosphoros-ai/DB-GPT

• 參考：https://mp.weixin.qq.com/s/LfhAY91JejRm_A6sY6akNA

螞蟻 TuGraph 團隊基於 DB-GPT 構建的開源 GraphRAG 框架，兼容了向量、圖譜、全文等多種知識庫索引底座，支持低成本的知識抽取、文檔結構圖譜、圖社區摘要與混合檢索以解決 QFS 問答問題。另外也提供了關鍵詞、向量和自然語言等多樣化的檢索能力支持。

(16) Kotaemon【樂高】

樂高：一套現成的問答積木套裝，既能直接拿來用，又能自由拆裝改造。用戶要用就用，開發要改就改，隨心所欲不失章法。

• 時間：05.15

• 項目：https://github.com/Cinnamon/kotaemon

• 參考：https://mp.weixin.qq.com/s/SzoE2Hb82a6yUU7EcfF5Hg

一個開源的乾淨且可定製的 RAG UI，用於構建和定製自己的文檔問答系統。既考慮了最終用戶的需求，也考慮了開發者的需求。

(17) FlashRAG【百寶箱】

百寶箱：把各路 RAG 神器打包成一個工具包，讓研究者像挑選積木一樣，隨心所欲地搭建自己的檢索模型。

• 時間：05.22

• 論文：FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research

• 項目：https://github.com/RUC-NLPIR/FlashRAG

• 參考：https://mp.weixin.qq.com/s/vvOdcARaU1LD6KgcdShhoA

FlashRAG 是一個高效且模塊化的開源工具包，旨在幫助研究人員在統一框架內重現現有的 RAG 方法並開發他們自己的 RAG 算法。我們的工具包實現了 12 種先進的 RAG 方法，並收集和整理了 32 個基準數據集。

(18) GRAG【偵探】

偵探：不滿足於表面線索，深入挖掘文本之間的關聯網絡，像破案一樣追蹤每條信息背後的真相，讓答案更準確。

• 時間：05.26

• 論文：GRAG: Graph Retrieval-Augmented Generation

• 項目：https://github.com/HuieL/GRAG

• 參考：https://mp.weixin.qq.com/s/xLVaFVr7rnYJq0WZLsFVMw

傳統 RAG 模型在處理複雜的圖結構數據時忽視了文本之間的聯繫和數據庫的拓撲信息，從而導致了性能瓶頸。GRAG 通過強調子圖結構的重要性，顯著提升了檢索和生成過程的性能並降低幻覺。

(19) Camel-GraphRAG【左右開弓】

左右開弓：一隻眼睛用 Mistral 掃描文本提取情報，另隻眼睛用 Neo4j 編織關係網。查找時左右眼配合，既能找相似的，又能順着線索圖追蹤，讓搜索更全面精準。

• 時間：05.27

• 項目：https://github.com/camel-ai/camel

• 參考：https://mp.weixin.qq.com/s/DhnAd-k-CtdGFVrwGat90w

Camel-GraphRAG 依託 Mistral 模型提供支持，從給定的內容中提取知識並構建知識結構，然後將這些信息存儲在 Neo4j 圖數據庫中。隨後採用一種混合方法，將向量檢索與知識圖譜檢索相結合，來查詢和探索所存儲的知識。

(20) G-RAG【串門神器】

串門神器：不再是單打獨鬥地查資料，而是給每個知識點都建立人際關係網。像個社交達人，不僅知道每個朋友的特長，還清楚誰和誰是酒肉朋友，找答案時直接順藤摸瓜。

• 時間：05.28

• 論文：Don't Forget to Connect! Improving RAG with Graph-based Reranking

• 參考：https://mp.weixin.qq.com/s/e6sRpYFDTQ7w7ituIjyovQ

RAG 在處理文檔與問題上下文的關係時仍存在挑戰，當文檔與問題的關聯性不明顯或僅包含部分信息時，模型可能無法有效利用這些文檔。此外，如何合理推斷文檔之間的關聯也是一個重要問題。G-RAG 實現了 RAG 檢索器和閱讀器之間基於圖神經網絡（GNN）的重排器。該方法結合了文檔之間的連接信息和語義信息（通過抽象語義表示圖），爲 RAG 提供了基於上下文的排序器。

(21) LLM-Graph-Builder【搬運工】

搬運工：給混亂的文字安個明白的家。不是簡單地搬運，而是像個強迫症患者，把每個知識點都貼上標籤，畫上關係線，最後在 Neo4j 的數據庫裏蓋起一座井井有序的知識大廈。

• 時間：05.29

• 項目：https://github.com/neo4j-labs/llm-graph-builder

• 參考：https://mp.weixin.qq.com/s/9Jy11WH7UgrW37281XopiA

Neo4j 開源的基於 LLM 提取知識圖譜的生成器，可以把非結構化數據轉換成 Neo4j 中的知識圖譜。利用大模型從非結構化數據中提取節點、關係及其屬性。

2024.06

(22) MRAG【八爪魚】

八爪魚：不是隻長一個腦袋死磕問題，而是像章魚一樣長出多個觸角，每個觸角負責抓取一個角度。簡單說，這就是 AI 版的 "一心多用"。

• 時間：06.07

• 論文：Multi-Head RAG: Solving Multi-Aspect Problems with LLMs

• 項目：https://github.com/spcl/MRAG

• 參考：https://mp.weixin.qq.com/s/WFYnF5UDlmwYsWz_BMtIYA

現有的 RAG 解決方案並未專注於可能需要獲取內容差異顯著的多個文檔的查詢。此類查詢經常出現，但具有挑戰性，因爲這些文檔的嵌入在嵌入空間中可能相距較遠，使得難以全部檢索到它們。本文介紹了多頭 RAG（MRAG），這是一種新穎的方案，旨在通過一個簡單而強大的想法來填補這一空白：利用 Transformer 多頭注意力層的激活，而非解碼器層，作爲獲取多方面文檔的鍵。其驅動動機是不同的注意力頭可以學習捕獲不同的數據方面。利用相應的激活會產生代表數據項和查詢各個層面的嵌入，從而提高複雜查詢的檢索準確性。

(23) PlanRAG【戰略家】

戰略家：先制定完整作戰計劃，再根據規則和數據分析局勢，最後做出最佳戰術決策。

• 時間：06.18

• 論文：PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers

• 項目：https://github.com/myeon9h/PlanRAG

• 參考：https://mp.weixin.qq.com/s/q3x2jOFFibyMXHA57sGx3w

PlanRAG 研究如何利用大型語言模型解決複雜數據分析決策問題的方案，通過定義決策問答（Decision QA）任務，即根據決策問題 Q、業務規則 R 和數據庫 D，確定最佳決策 d。PlanRAG 首先生成決策計劃，然後檢索器生成數據分析的查詢。

(24) FoRAG【作家】

作家：先列寫作大綱構思文章框架，再逐段擴充完善內容。同時還配備了一個 "編輯"，通過仔細的事實覈查和修改建議，幫助完善每個細節，確保作品的質量。

• 時間：06.19

• 論文：FoRAG: Factuality-optimized Retrieval Augmented Generation for Web-enhanced Long-form Question Answering

• 參考：https://mp.weixin.qq.com/s/7uqZ5U10Ec2Pa7akCLCJEA

FoRAG 提出了一種新穎的大綱增強生成器，在第一階段生成器使用大綱模板，根據用戶查詢和上下文草擬答案大綱，第二階段基於生成的大綱擴展每個觀點，構建最終答案。同時提出一種基於精心設計的雙精細粒度 RLHF 框架的事實性優化方法，通過在事實性評估和獎勵建模兩個核心步驟中引入細粒度設計，提供了更密集的獎勵信號。

(25) Multi-Meta-RAG【元篩選器】

元篩選器：像個經驗豐富的資料管理員，通過多重篩選機制，從海量信息中精準定位最相關的內容。它不只看表面，還會深入分析文檔的 "身份標籤"（元數據），確保找到的每份資料都真正對題。

• 時間：06.19

• 論文：Multi-Meta-RAG: Improving RAG for Multi-Hop Queries using Database Filtering with LLM-Extracted Metadata

• 項目：https://github.com/mxpoliakov/multi-meta-rag

• 參考：https://mp.weixin.qq.com/s/Jf3qdFR-o_A4FXwmOOZ3pg

Multi-Meta-RAG 使用數據庫過濾和 LLM 提取的元數據來改進 RAG 從各種來源中選擇與問題相關的相關文檔。

2024.07

(26) RankRAG【全能選手】

全能選手：通過一點特訓就能當好 "評委" 和 "選手" 雙重角色。像個天賦異稟的運動員，只需要少量指導就能在多個項目上超越專業選手，還能把看家本領都融會貫通。

• 時間：07.02

• 論文：RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs

• 參考：https://mp.weixin.qq.com/s/BZDXCTKSKLOwDv1j8_75_Q

RankRAG 的通過指令微調單一的 LLM，使其同時具備上下文排名和答案生成的雙重功能。通過在訓練數據中加入少量排序數據，經過指令微調的大語言模型效果出奇地好，甚至超過了現有的專家排序模型，包括在大量排序數據上專門微調的相同大語言模型。這種設計不僅簡化了傳統 RAG 系統中多模型的複雜性，還通過共享模型參數增強了上下文的相關性判斷和信息的利用效率。

(27) GraphRAG-Local-UI【改裝師】

改裝師：把跑車改裝成適合本地道路的實用車，加裝了友好的儀表盤，讓人人都能輕鬆駕駛。

• 時間：07.14

• 項目：https://github.com/severian42/GraphRAG-Local-UI

• 參考：https://mp.weixin.qq.com/s/DLvF7YpU3IfWvnu9ZyiBIA

GraphRAG-Local-UI 是基於 Microsoft 的 GraphRAG 的本地模型適配版本，具有豐富的交互式用戶界面生態系統。

(28) ThinkRAG【小祕書】

小祕書：把龐大的知識體系濃縮成口袋版，像個隨身攜帶的小祕書，不用大型設備就能隨時幫你查找解答。

• 時間：07.15

• 項目：https://github.com/wzdavid/ThinkRAG

• 參考：https://mp.weixin.qq.com/s/VmnVwDyi0i6qkBEzLZlERQ

ThinkRAG 大模型檢索增強生成系統，可以輕鬆部署在筆記本電腦上，實現本地知識庫智能問答。

(29) Nano-GraphRAG【輕裝上陣】

輕裝上陣：像個輕裝上陣的運動員，把繁複的裝備都簡化了，但保留了核心能力。

• 時間：07.25

• 項目：https://github.com/gusye1234/nano-graphrag

• 參考：https://mp.weixin.qq.com/s/pnyhz0jA4jgLndMUM9IU1g

Nano-GraphRAG 是一個更小、更快、更簡潔的 GraphRAG，同時保留了核心功能。

2024.08

(30) RAGFlow-GraphRAG【導航員】

導航員：在問答的迷宮裏開闢捷徑，先畫張地圖把知識點都標好，重複的路標合併掉，還特地給地圖瘦身，讓問路的人不會繞遠路。

• 時間：08.02

• 項目：https://github.com/infiniflow/ragflow

• 參考：https://mp.weixin.qq.com/s/c5-0dCWI0bIa2zHagM1w0w

RAGFlow 借鑑了 GraphRAG 的實現，在文檔預處理階段，引入知識圖譜構建作爲可選項，服務於 QFS 問答場景，並引入了實體去重、Token 優化等改進。

(31) Medical-Graph-RAG【數字醫生】

數字醫生：像個經驗豐富的醫學顧問，用圖譜把複雜的醫療知識整理得清清楚楚，診斷建議不是憑空想象，而是有理有據，讓醫生和患者都能看明白每個診斷背後的依據。

• 時間：08.08

• 論文：Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation

• 項目：https://github.com/SuperMedIntel/Medical-Graph-RAG

• 參考：https://mp.weixin.qq.com/s/5mX-hCyFdve98H01x153Eg

MedGraphRAG 是一個框架，旨在解決在醫學中應用 LLM 的挑戰。它使用基於圖譜的方法來提高診斷準確性、透明度並集成到臨牀工作流程中。該系統通過生成由可靠來源支持的響應來提高診斷準確性，解決了在大量醫療數據中維護上下文的困難。

(32) HybridRAG【中醫合方】

中醫合方：就像中醫講究的 "合方"，單味藥不如幾味藥合在一起效果好。向量數據庫負責快速檢索，知識圖譜補充關係邏輯，兩者優勢互補。

• 時間：08.09

• 論文：HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction

• 參考：https://mp.weixin.qq.com/s/59e_bEcxGkM4N0GeCTTF4w

一種基於知識圖譜 RAG 技術（GraphRAG）和 VectorRAG 技術相結合的新方法，稱爲 HybridRAG，以增強從金融文檔中提取信息的問答系統，該方法被證明能夠生成準確且與上下文相關的答案。在檢索和生成階段，就檢索準確性和答案生成而言，從向量數據庫和知識圖譜中檢索上下文的 HybridRAG 優於傳統的 VectorRAG 和 GraphRAG。

(33) W-RAG【進化搜索】

進化搜索：像個善於自我進化的搜索引擎，通過大模型對文章段落的評分來學習什麼是好答案，逐步提升自己找到關鍵信息的能力。

• 時間：08.15

• 論文：W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering

• 項目：https://github.com/jmnian/weak_label_for_rag

• 參考：https://mp.weixin.qq.com/s/JqT1wteHC43h2cPlXmPOFg

開放域問答中的弱監督密集檢索技術，利用大型語言模型的排序能力爲訓練密集檢索器創建弱標註數據。通過評估大型語言模型基於問題和每個段落生成正確答案的概率，對通過 BM25 檢索到的前 K 個段落進行重新排序。排名最高的段落隨後被用作密集檢索的正訓練示例。

(34) RAGChecker【質檢員】

質檢員：不只簡單地判斷答案對錯，而是會深入檢查整個回答過程中的每個環節，從資料查找到最終答案生成，就像一個嚴格的考官，既給出詳細的評分報告，還會指出具體哪裏需要改進。

• 時間：08.15

• 論文：RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation

• 項目：https://github.com/amazon-science/RAGChecker

• 參考：https://mp.weixin.qq.com/s/x4o7BinnwvTsOa2_hegcrQ

RAGChecker 的診斷工具爲 RAG 系統提供細粒度、全面、可靠的診斷報告，併爲進一步提升性能，提供可操作的方向。它不僅能評估系統的整體表現，還能深入分析檢索和生成兩大核心模塊的性能。

(35) Meta-Knowledge-RAG【學者】

學者：像個學術界的資深研究員，不僅收集資料，還會主動思考問題，爲每份文檔做批註和總結，甚至預先設想可能的問題。它會把相關的知識點串聯起來，形成知識網絡，讓查詢變得更有深度和廣度，就像有一個學者在幫你做研究綜述。

• 時間：08.16

• 論文：Meta Knowledge for Retrieval Augmented Large Language Models

• 參考：https://mp.weixin.qq.com/s/twFVKQDTRZTGvDeYA8-c0A

Meta-Knowledge-RAG（MK Summary）引入了一種新穎的以數據爲中心的 RAG 工作流程，將傳統的 “檢索 - 讀取” 系統轉變爲更先進的 “準備 - 重寫 - 檢索 - 讀取” 框架，以實現對知識庫的更高領域專家級理解。我們的方法依賴於爲每個文檔生成元數據和合成的問題與答案以及爲基於元數據的文檔集羣引入元知識摘要的新概念。所提出的創新實現了個性化的用戶查詢增強和跨知識庫的深度信息檢索。

(36) CommunityKG-RAG【社羣探索】

社羣探索：像個熟悉社區關係網絡的嚮導，善於利用知識間的關聯和羣組特徵，在不需要特別學習的情況下，就能準確地找到相關信息，並驗證其可靠性。

• 時間：08.16

• 論文：CommunityKG-RAG: Leveraging Community Structures in Knowledge Graphs for Advanced Retrieval-Augmented Generation in Fact-Checking

• 參考：https://mp.weixin.qq.com/s/ixKV-PKf8ohqZDCTN9jLZQ

CommunityKG-RAG 是一種新穎的零樣本框架，它將知識圖譜中的社區結構與 RAG 系統相結合，以增強事實覈查過程。CommunityKG-RAG 能夠在無需額外訓練的情況下適應新的領域和查詢，它利用知識圖譜中社區結構的多跳性質，顯著提高信息檢索的準確性和相關性。

(37) TC-RAG【記憶術士】

記憶術士：給 LLM 裝了個帶自動清理功能的大腦。就像我們解題，會把重要步驟寫在草稿紙上，做完就劃掉。它不是死記硬背，該記的記住，該忘的及時清空，像個會收拾房間的學霸。

• 時間：08.17

• 論文：TC-RAG: Turing-Complete RAG's Case study on Medical LLM Systems

• 項目：https://github.com/Artessay/TC-RAG

• 參考：https://mp.weixin.qq.com/s/9VhIC5sJP_6nh_Ppfsb6UQ

通過引入圖靈完備的系統來管理狀態變量，從而實現更高效、準確的知識檢索。通過利用具有自適應檢索、推理和規劃能力的記憶堆棧系統，TC-RAG 不僅確保了檢索過程的受控停止，還通過 Push 和 Pop 操作減輕了錯誤知識的積累。

(38) RAGLAB【競技場】

競技場：讓各種算法可以在相同的規則下進行公平競爭和比較，就像科學實驗室裏的標準化測試流程，確保每個新方法都能得到客觀透明的評估。

• 時間：08.21

• 論文：RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation

• 項目：https://github.com/fate-ubw/RAGLab

• 參考：https://mp.weixin.qq.com/s/WSk0zdWZRXMVvm4-_HiFRw

新型 RAG 算法之間越來越缺乏全面和公平的比較，開源工具的高級抽象導致缺乏透明度，並限制了開發新算法和評估指標的能力。RAGLAB 是一個模塊化、研究導向的開源庫，重現 6 種算法並構建全面研究生態。藉助 RAGLAB，我們在 10 個基準上公平對比 6 種算法，助力研究人員高效評估和創新算法。

2024.09

(39) MemoRAG【過目不忘】

過目不忘：它不只是按需查找資料，而是已經把整個知識庫都深入理解並記在心裏。當你問問題時，它能快速從這個 "超級大腦" 中調取相關記憶，給出既準確又富有見地的答案，就像一個博學多識的專家。

• 時間：09.01

• 項目：https://github.com/qhjqhj00/MemoRAG

• 參考：https://mp.weixin.qq.com/s/88FTElcYf5PIgHN0J8R7DA

MemoRAG 是一個創新的檢索增強生成（RAG）框架，構建在一個高效的超長記憶模型之上。與主要處理具有明確信息需求查詢的標準 RAG 不同，MemoRAG 利用其記憶模型實現對整個數據庫的全局理解。通過從記憶中召回特定於查詢的線索，MemoRAG 增強了證據檢索，從而產生更準確且具有豐富上下文的響應生成。

(40) OP-RAG【注意力管理】

注意力管理：就像看一本特別厚的書，你不可能把每個細節都記住，但懂得在關鍵章節做好標記的人才是高手。它不是漫無目的地看，而是像個資深讀書人，邊讀邊在重點處畫下重點，需要的時候直接翻到標記頁。

• 時間：09.03

• 論文：In Defense of RAG in the Era of Long-Context Language Models

• 參考：https://mp.weixin.qq.com/s/WLaaniD7RRgN0h2OCztDcQ

LLM 中的極長語境會導致對相關信息的關注度降低，並導致答案質量的潛在下降。重新審視長上下文答案生成中的 RAG。我們提出了一種順序保留檢索增強生成機制 OP-RAG，顯著提高了 RAG 在長上下文問答應用中的性能。

(41) AgentRE【智能抽取】

智能抽取：像個善於觀察人際關係的社會學家，不僅能記住關鍵信息，還會主動查證並深入思考，從而準確理解複雜的關係網絡。即使面對錯綜複雜的關係，也能通過多角度分析，理清其中的脈絡，避免望文生義。

• 時間：09.03

• 論文：AgentRE: An Agent-Based Framework for Navigating Complex Information Landscapes in Relation Extraction

• 項目：https://github.com/Lightblues/AgentRE

• 參考：https://mp.weixin.qq.com/s/_P_3H3uyIWjgaCF_FczsDg

AgentRE 通過整合大型語言模型的記憶、檢索和反思能力，有效應對複雜場景關係抽取中關係類型多樣以及單個句子中實體之間關係模糊的挑戰。AgentRE 包含三大模塊，助力代理高效獲取並處理信息，顯著提升 RE 性能。

(42) iText2KG【建築師】

建築師：像個有條理的工程師，通過分步驟提煉、提取和整合信息，逐步將零散文檔轉化爲系統的知識網絡，而且不需要事先準備詳細的建築圖紙，可以根據需要靈活地擴建和完善。

• 時間：09.05

• 論文：iText2KG: Incremental Knowledge Graphs Construction Using Large Language Models

• 項目：https://github.com/AuvaLab/itext2kg

• 參考：https://mp.weixin.qq.com/s/oiDffH1_0JiGpVGw83-guQ

iText2KG（增量式知識圖譜構建）利用大型語言模型 (LLM) 從原始文檔中構建知識圖譜，並通過四個模塊（文檔提煉器、增量實體提取器、增量關係提取器和圖譜集成器）實現增量式知識圖譜構建，無需事先定義本體或進行大量的監督訓練。

(43) GraphInsight【圖譜解讀】

圖譜解讀：像個擅長信息圖表分析的專家，知道把重要信息放在最顯眼的位置，同時在需要時查閱參考資料來補充細節，並能 step by step 地推理複雜圖表，讓 AI 既能把握全局又不遺漏細節。

• 時間：09.05

• 論文：GraphInsight: Unlocking Insights in Large Language Models for Graph Structure Understanding

• 參考：https://mp.weixin.qq.com/s/xDKTBtso3ONCGyskvmfAcg

GraphInsight 旨在提升 LLMs 對宏觀和微觀層面圖形信息理解的新框架。GraphInsight 基於兩大關鍵策略：1）將關鍵圖形信息置於 LLMs 記憶性能較強的位置；2）借鑑檢索增強生成（RAG）的思想，對記憶性能較弱的區域引入輕量級外部知識庫。此外，GraphInsight 探索將這兩種策略整合到 LLM 代理過程中，以應對需要多步推理的複合圖任務。

(44) LA-RAG【方言通】

方言通：像個精通各地方言的語言專家，通過細緻的語音分析和上下文理解，不僅能準確識別標準普通話，還能聽懂帶有地方特色的口音，讓 AI 與不同地區的人都能無障礙交流。

• 時間：09.13

• 論文：LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation

• 參考：https://mp.weixin.qq.com/s/yrmtBqP4bmQ2wYZM7F24Yg

LA-RAG，是一種基於 LLM 的 ASR 的新型檢索增強生成（RAG）範例。LA-RAG 利用細粒度標記級語音數據存儲和語音到語音檢索機制，通過 LLM 上下文學習 (ICL) 功能提高 ASR 準確性。

(45) SFR-RAG【精簡檢索】

精簡檢索：像個精練的參考顧問，體積雖小但功能精準，既能理解需求又懂得尋求外部幫助，保證回答既準確又高效。

• 時間：09.16

• 論文：SFR-RAG: Towards Contextually Faithful LLMs

• 參考：https://mp.weixin.qq.com/s/rArOICbHpkmFPR5UoBIi5A

SFR-RAG 是一個經過指令微調的小型語言模型，重點是基於上下文的生成和最小化幻覺。通過專注於在保持高性能的同時減少參數數量，SFR-RAG 模型包含函數調用功能，使其能夠與外部工具動態交互以檢索高質量的上下文信息。

(46) FlexRAG【壓縮專家】

壓縮專家：把長篇大論濃縮成精華摘要，而且壓縮比例可以根據需要靈活調整，既不丟失關鍵信息，又能節省存儲和處理成本。就像把一本厚書精煉成一份簡明扼要的讀書筆記。

• 時間：09.24

• 論文：Lighter And Better: Towards Flexible Context Adaptation For Retrieval Augmented Generation

• 參考：https://mp.weixin.qq.com/s/heYbLVQHeykD1EbqH8PSZw

FlexRAG 檢索到的上下文在被 LLMs 編碼之前被壓縮爲緊湊的嵌入。同時這些壓縮後的嵌入經過優化以提升下游 RAG 的性能。FlexRAG 的一個關鍵特性是其靈活性，它能夠有效支持不同的壓縮比，並選擇性地保留重要上下文。得益於這些技術設計，FlexRAG 在顯著降低運行成本的同時實現了卓越的生成質量。在各種問答數據集上進行的全面實驗驗證了我們的方法是 RAG 系統的一種具有成本效益且靈活的解決方案。

(47) CoTKR【圖譜翻譯】

圖譜翻譯：像個耐心的老師，先理解知識的來龍去脈，再一步步講解，不是簡單複述而是深入淺出地轉述。同時通過不斷收集 "學生" 的反饋來改進自己的講解方式，讓知識傳遞更加清晰有效。

• 時間：09.29

• 論文：CoTKR: Chain-of-Thought Enhanced Knowledge Rewriting for Complex Knowledge Graph Question Answering

• 項目：https://github.com/wuyike2000/CoTKR

• 參考：https://mp.weixin.qq.com/s/lCHxLxRP96Y3mofDVjKY9w

CoTKR（Chain-of-Thought Enhanced Knowledge Rewriting）方法交替生成推理路徑和相應知識，從而克服了單步知識改寫的限制。此外，爲了彌合知識改寫器和問答模型之間的偏好差異，我們提出了一種訓練策略，即從問答反饋中對齊偏好通過利用 QA 模型的反饋進一步優化知識改寫器。

2024.10

(48) Open-RAG【智囊團】

智囊團：把龐大的語言模型分解成專家小組，讓它們既能獨立思考又能協同工作，還特別會分辨真假信息，關鍵時刻知道該不該查資料，像個經驗豐富的智囊團。

• 時間：10.02

• 論文：Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

• 項目：https://github.com/ShayekhBinIslam/openrag

• 參考：https://mp.weixin.qq.com/s/H0_THczQ3UWCkSnnk-vveQ

Open-RAG 通過開源大語言模型提高 RAG 中的推理能力，將任意密集的大語言模型轉換爲參數高效的稀疏專家混合（MoE）模型，該模型能夠處理複雜的推理任務，包括單跳和多跳查詢。OPEN-RAG 獨特地訓練模型以應對那些看似相關但具有誤導性的挑戰性干擾項。

(49) TableRAG【Excel 專家】

Excel 專家：不只簡單地查看錶格數據，而是懂得從表頭和單元格兩個維度去理解和檢索數據，就像熟練使用數據透視表一樣，能快速定位和提取所需的關鍵信息。

• 時間：10.07

• 論文：TableRAG: Million-Token Table Understanding with Language Models

• 參考：https://mp.weixin.qq.com/s/n0iu6qOufc1izlzuRjQO6g

TableRAG 專爲表格理解設計了檢索增強生成框架，通過查詢擴展結合 Schema 和單元格檢索，能夠在提供信息給語言模型之前精準定位關鍵數據，從而實現更高效的數據編碼和精確檢索，大幅縮短提示長度並減少信息丟失。

(50) LightRAG【蜘蛛俠】

蜘蛛俠：在知識的網中靈活穿梭，既能抓住知識點之間的絲，又能借網順藤摸瓜。像個長了千里眼的圖書管理員，不僅知道每本書在哪，還知道哪些書該一起看。

• 時間：10.08

• 論文：LightRAG: Simple and Fast Retrieval-Augmented Generation

• 項目：https://github.com/HKUDS/LightRAG

• 參考：https://mp.weixin.qq.com/s/1QKdgZMN55zD6X6xWSiTJw

該框架將圖結構融入文本索引和檢索過程中。這一創新框架採用了一個雙層檢索系統，從低級和高級知識發現中增強全面的信息檢索。此外，將圖結構與向量表示相結合，便於高效檢索相關實體及其關係，顯著提高了響應時間，同時保持了上下文相關性。這一能力通過增量更新算法得到了進一步增強，該算法確保了新數據的及時整合，使系統能夠在快速變化的數據環境中保持有效性和響應性。

(51) AstuteRAG【明智判官】

明智判官：對外部信息保持警惕，不輕信檢索結果，善用自身積累的知識，甄別信息真僞，像資深法官一樣，權衡多方證據定論。

• 時間：10.09

• 論文：Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models

• 參考：https://mp.weixin.qq.com/s/Y8ozl3eH1osJTNOSuu4v1w

通過適應性地從 LLMs 內部知識中提取信息，結合外部檢索結果，並根據信息的可靠性來最終確定答案，從而提高系統的魯棒性和可信度。

(52) TurboRAG【速記高手】

速記高手：提前把功課做好，把答案都記在小本本里。像個考前突擊的學霸，不是臨場抱佛腳，而是把常考題提前整理成錯題本。需要的時候直接翻出來用，省得每次都要現場推導一遍。

• 時間：10.10

• 論文：TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text

• 項目：https://github.com/MooreThreads/TurboRAG

• 參考：https://mp.weixin.qq.com/s/lanZ8cIEnIt12tFt4d-xzw

TurboRAG 通過離線預計算和存儲文檔的 KV 緩存來優化 RAG 系統的推理範式。與傳統方法不同，TurboRAG 在每次推理時不再計算這些 KV 緩存，而是檢索預先計算的緩存以進行高效的預填充，從而消除了重複在線計算的需要。這種方法顯著減少了計算開銷，加快了響應時間，同時保持了準確性。

(53) StructRAG【收納師】

收納師：把雜亂無章的信息像收納衣櫃一樣分門別類地整理好。像個模仿人類思維的學霸，不是死記硬背，而是先畫個思維導圖。

• 時間：10.11

• 論文：StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization

• 項目：https://github.com/Li-Z-Q/StructRAG

• 參考：https://mp.weixin.qq.com/s/9UQOozHNHDRade5b6Onr6w

受人類在處理知識密集型推理時將原始信息轉換爲結構化知識的認知理論啓發，該框架引入了一種混合信息結構化機制，該機制根據手頭任務的特定要求以最合適的格式構建和利用結構化知識。通過模仿類人的思維過程，提高了 LLM 在知識密集型推理任務上的表現。

(54) VisRAG【火眼金睛】

火眼金睛：終於悟出文字不過是圖像的一種特殊表現形式。像個開了天眼的閱讀者，不再執着於逐字解析，而是直接 "看" 透全局。用照相機代替了 OCR，懂得了 "一圖勝千言" 的精髓。

• 時間：10.14

• 論文：VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents

• 項目：https://github.com/openbmb/visrag

• 參考：https://mp.weixin.qq.com/s/WB23pwJD-JV95ZlpB3bUew

通過構建基於視覺 - 語言模型 (VLM) 的 RAG 流程，直接將文檔作爲圖像嵌入並檢索，從而增強生成效果。相比傳統文本 RAG，VisRAG 避免瞭解析過程中的信息損失，更全面地保留了原始文檔的信息。實驗顯示，VisRAG 在檢索和生成階段均超越傳統 RAG，端到端性能提升達 25-39%。VisRAG 不僅有效利用訓練數據，還展現出強大的泛化能力，成爲多模態文檔 RAG 的理想選擇。

(55) AGENTiGraph【知識管家】

知識管家：像個善於對話的圖書管理員，通過日常交流幫你整理和展示知識，帶着一隊助手隨時準備解答問題、更新資料，讓知識管理變得簡單自然。

• 時間：10.15

• 論文：AGENTiGraph: An Interactive Knowledge Graph Platform for LLM-based Chatbots Utilizing Private Data

• 參考：https://mp.weixin.qq.com/s/iAlcxjXHlz7xfwVd4lpQ-g

AGENTiGraph 通過自然語言交互進行知識管理的平臺。它集成了知識提取、集成和實時可視化。AGENTiGraph 採用多智能體架構來動態解釋用戶意圖、管理任務和集成新知識，確保能夠適應不斷變化的用戶需求和數據上下文。

(56) RuleRAG【循規蹈矩】

循規蹈矩：用規矩來教 AI 做事，就像帶新人入職，先給本員工手冊。不是漫無目的地學，而是像個嚴格的老師，先把規矩和範例都講明白，然後再讓學生自己動手。做多了，這些規矩就變成了肌肉記憶，下次遇到類似問題自然知道怎麼處理。

• 時間：10.15

• 論文：RuleRAG: Rule-guided retrieval-augmented generation with language models for question answering

• 項目：https://github.com/chenzhongwu20/RuleRAG_ICL_FT

• 參考：https://mp.weixin.qq.com/s/GNLvKG8ZgJzzNsWyVbSSig

RuleRAG 提出了基於語言模型的規則引導檢索增強生成方法，該方法明確引入符號規則作爲上下文學習（RuleRAG - ICL）的示例，以引導檢索器按照規則方向檢索邏輯相關的文檔，並統一引導生成器在同一組規則的指導下生成有依據的答案。此外，查詢和規則的組合可進一步用作有監督的微調數據，用以更新檢索器和生成器（RuleRAG - FT），從而實現更好的基於規則的指令遵循能力，進而檢索到更具支持性的結果並生成更可接受的答案。

(57) Class-RAG【法官】

法官：不是靠死板的條文判案，而是通過不斷擴充的判例庫來研判。像個經驗老到的法官，手握活頁法典，隨時翻閱最新案例，讓判決既有溫度又有尺度。

• 時間：10.18

• 論文：Class-RAG: Content Moderation with Retrieval Augmented Generation

• 參考：https://mp.weixin.qq.com/s/4AfZodMGJ5JQ2NUCFt3eqQ

內容審覈分類器對生成式 AI 的安全性至關重要。然而，安全與不安全內容間的細微差別常令人難以區分。隨着技術廣泛應用，持續微調模型以應對風險變得愈發困難且昂貴。爲此，我們提出 Class-RAG 方法，通過動態更新檢索庫，實現即時風險緩解。與傳統微調模型相比，Class-RAG 更具靈活性與透明度，且在分類與抗攻擊方面表現更佳。研究還表明，擴大檢索庫能有效提升審覈性能，成本低廉。

(58) Self-RAG【反思者】

反思者：在回答問題時，不僅會查閱資料，還會不斷思考和檢查自己的答案是否準確完整。通過 "邊說邊想" 的方式，像一個謹慎的學者一樣，確保每個觀點都有可靠的依據支持。

• 時間：10.23

• 論文：Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

• 項目：https://github.com/AkariAsai/self-rag

• 參考：https://mp.weixin.qq.com/s/y-hN17xFyODxzTIfEfm1Vg

Self-RAG 通過檢索和自我反思來提升語言模型的質量和準確性。框架訓練一個單一的任意語言模型，該模型能按需自適應地檢索文段，並使用被稱爲反思標記的特殊標記來對檢索到的文段及其自身生成的內容進行生成和反思。生成反思標記使得語言模型在推理階段具備可控性，使其能夠根據不同的任務要求調整自身行爲。

(59) SimRAG【自學成才】

自學成才：面對專業領域時，先自己提問再自己回答，通過不斷練習來提升專業知識儲備，就像學生通過反覆做習題來熟悉專業知識一樣。

• 時間：10.23

• 論文：SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains

• 參考：https://mp.weixin.qq.com/s/pR-W_bQEA4nM86YsVTThtA

SimRAG 是一種自訓練方法，使 LLM 具備問答和問題生成的聯合能力以適應特定領域。只有真正理解了知識，才能提出好的問題。這兩個能力相輔相成，可以幫助模型更好地理解專業知識。首先在指令遵循、問答和搜索相關數據上對 LLM 進行微調。然後，它促使同一 LLM 從無標籤語料庫中生成各種與領域相關的問題，並採用額外的過濾策略來保留高質量的合成示例。通過利用這些合成示例，LLM 可以提高其在特定領域 RAG 任務上的性能。

(60) ChunkRAG【摘抄達人】

摘抄達人：先把長文章分成小段落，再用專業眼光挑出最相關的片段，既不遺漏重點，又不被無關內容干擾。

• 時間：10.23

• 論文：ChunkRAG: Novel LLM-Chunk Filtering Method for RAG Systems

• 參考：https://mp.weixin.qq.com/s/Pw7_vQ9bhdDFTmoVwxGCyg

ChunkRAG 提出 LLM 驅動的塊過濾方法，通過在塊級別評估和過濾檢索到的信息來增強 RAG 系統的框架，其中 “塊” 代表文檔中較小的連貫部分。我們的方法採用語義分塊將文檔劃分爲連貫的部分，並利用基於大語言模型的相關性評分來評估每個塊與用戶查詢的匹配程度。通過在生成階段之前過濾掉不太相關的塊，我們顯著減少了幻覺並提高了事實準確性。

(61) FastGraphRAG【雷達】

雷達：像谷歌網頁排名一樣，給知識點也排出個熱度榜。就好比社交網絡中的意見領袖，越多人關注就越容易被看見。它不是漫無目的地搜索，而是像個帶着雷達的偵察兵，哪裏的信號強就往哪裏看。

• 時間：10.23

• 項目：https://github.com/circlemind-ai/fast-graphrag

• 參考：https://mp.weixin.qq.com/s/uBcYaO5drTUabcCXh3bzjA

FastGraphRAG 提供了一個高效、可解釋且精度高的快速圖檢索增強生成（FastGraphRAG）框架。它將 PageRank 算法應用於知識圖譜的遍歷過程，快速定位最相關的知識節點。通過計算節點的重要性得分，PageRank 使 GraphRAG 能夠更智能地篩選和排序知識圖譜中的信息。這就像是爲 GraphRAG 裝上了一個 "重要性雷達"，能夠在浩如煙海的數據中快速定位關鍵信息。

(62) AutoRAG【調音師】

調音師：一位經驗豐富的調音師，不是靠猜測調音，而是通過科學測試找到最佳音效。它會自動嘗試各種 RAG 組合，就像調音師測試不同的音響設備搭配，最終找到最和諧的 "演奏方案"。

• 時間：10.28

• 論文：AutoRAG: Automated Framework for optimization of Retrieval Augmented Generation Pipeline

• 項目：https://github.com/Marker-Inc-Korea/AutoRAG_ARAGOG_Paper

• 參考：https://mp.weixin.qq.com/s/96r6y3cNmLRL2Z0W78X1OQ

AutoRAG 框架能夠自動爲給定數據集識別合適的 RAG 模塊，並探索和逼近該數據集的 RAG 模塊的最優組合。通過系統評估不同的 RAG 設置來優化技術選擇，該框架類似於傳統機器學習中的 AutoML 實踐，通過廣泛實驗來優化 RAG 技術的選擇，提高 RAG 系統的效率和可擴展性。

(63) Plan×RAG【項目經理】

項目經理：先規劃後行動，把大任務分解成小任務，安排多個 "專家" 並行工作。每個專家負責自己的領域，最後由項目經理統籌彙總結果。這種方式不僅更快、更準，還能清楚交代每個結論的來源。

• 時間：10.28

• 論文：Plan×RAG: Planning-guided Retrieval Augmented Generation

• 參考：https://mp.weixin.qq.com/s/I_-NDGzd7d8l4zjRfCsvDQ

Plan×RAG 是一個新穎的框架，它將現有 RAG 框架的 “檢索 - 推理” 範式擴充爲 “計劃 - 檢索” 範式。Plan×RAG 將推理計劃制定爲有向無環圖（DAG），將查詢分解爲相互關聯的原子子查詢。答案生成遵循 DAG 結構，通過並行檢索和生成顯著提高效率。雖然最先進的 RAG 解決方案需要大量的數據生成和語言模型（LMs）的微調，但 Plan×RAG 納入了凍結的 LMs 作爲即插即用的專家來生成高質量的答案。

(64) SubgraphRAG【定位儀】

定位儀：不是漫無目的地大海撈針，而是精準繪製一張小型知識地圖，讓 AI 能快速找到答案。

• 時間：10.28

• 論文：Simple is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation

• 項目：https://github.com/Graph-COM/SubgraphRAG

• 參考：https://mp.weixin.qq.com/s/ns22XLKsABly7RjpSjQ_Fw

SubgraphRAG 擴展了基於 KG 的 RAG 框架，通過檢索子圖並利用 LLM 進行推理和答案預測。將輕量級多層感知器與並行三元組評分機制相結合，以實現高效靈活的子圖檢索，同時編碼有向結構距離以提高檢索有效性。檢索到的子圖大小可以靈活調整，以匹配查詢需求和下游 LLM 的能力。這種設計在模型複雜性和推理能力之間取得了平衡，實現了可擴展且通用的檢索過程。

2024.11

(65) RuRAG【鍊金術士】

鍊金術士：像個鍊金術士，能將海量數據提煉成清晰的邏輯規則，並用通俗易懂的語言表達出來，讓 AI 在實際應用中更有智慧。

• 時間：11.04

• 論文：RuAG: Learned-rule-augmented Generation for Large Language Models

• 參考：https://mp.weixin.qq.com/s/A4vjN1eJr7hJd75UH0kuXA

旨在通過將大量離線數據自動蒸餾成可解釋的一階邏輯規則，並注入大型語言模型（LLM）中，以提升其推理能力。該框架使用蒙特卡洛樹搜索（MCTS）來發現邏輯規則，並將這些規則轉化爲自然語言，實現針對 LLM 下游任務的知識注入和無縫集成。該論文在公共和私有工業任務上評估了該框架的有效性，證明了其在多樣化任務中增強 LLM 能力的潛力。

(66) RAGViz【透視眼】

透視眼：讓 RAG 系統變透明，看得見模型在讀哪句話，像醫生看 X 光片一樣，哪裏不對一目瞭然。

• 時間：11.04

• 論文：RAGViz: Diagnose and Visualize Retrieval-Augmented Generation

• 項目：https://github.com/cxcscmu/RAGViz

• 參考：https://mp.weixin.qq.com/s/ZXvAWDhqKRPq1u9NTfYFnQ

RAGViz 提供了對檢索文檔和模型注意力的可視化，幫助用戶理解生成的標記與檢索文檔之間的交互，可用於診斷和可視化 RAG 系統。

(67) AgenticRAG【智能助手】

智能助手：不再是簡單的查找複製，而是配了個能當機要祕書的助手。像個得力的行政官，不光會查資料，還知道什麼時候該打電話，什麼時候該開會，什麼時候該請示領導。

• 時間：11.05

• 參考：https://mp.weixin.qq.com/s/Sa6vtb1pDKo1we1cSMn9oQ

AgenticRAG 描述了基於 AI 智能體實現的 RAG。具體來說，它將 AI 智能體納入 RAG 流程中，以協調其組件並執行超出簡單信息檢索和生成的額外行動，以克服非智能體流程的侷限性。

(68) HtmlRAG【排版師】

排版師：把知識不是當作流水賬來記，而是像排版雜誌一樣，該加粗的加粗，該標紅的標紅。就像一個挑剔的美編，覺得光有內容不夠，還得講究排版，這樣重點才能一目瞭然。

• 時間：11.05

• 論文：HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems

• 項目：https://github.com/plageon/HtmlRAG

• 參考：https://mp.weixin.qq.com/s/1X6k9QI71BIyQ4IELQxOlA

HtmlRAG 在 RAG 中使用 HTML 而不是純文本作爲檢索知識的格式，在對外部文檔中的知識進行建模時，HTML 比純文本更好，並且大多數 LLM 具有強大的理解 HTML 的能力。HtmlRAG 提出了 HTML 清理、壓縮和修剪策略，以縮短 HTML 同時最小化信息損失。

(69) M3DocRAG【感官達人】

感官達人：不是隻會讀書，還能看圖識圖，聽聲辨位。像個綜藝節目裏的全能選手，圖片能看懂，文字能理解，該跳躍思維時就跳躍，該專注細節時就專注，各種挑戰都難不倒。

• 時間：11.07

• 論文：M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding

• 參考：https://mp.weixin.qq.com/s/a9tDj6BmIZHs2vTFXKSPcA

M3DocRAG 是一種新穎的多模態 RAG 框架，能夠靈活適應各種文檔上下文（封閉域和開放域）、問題跳轉（單跳和多跳）和證據模式（文本、圖表、圖形等）。M3DocRAG 使用多模態檢索器和 MLM 查找相關文檔並回答問題，因此它可以有效地處理單個或多個文檔，同時保留視覺信息。

(70) KAG【邏輯大師】

邏輯大師：不光靠感覺找相似的答案，還得講究知識間的因果關係。像個嚴謹的數學老師，不僅要知道答案是什麼，還得解釋清楚這答案是怎麼一步步推導出來的。

• 時間：11.10

• 論文：KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation

• 項目：https://github.com/OpenSPG/KAG

• 參考：https://mp.weixin.qq.com/s/oOzFBHS_B7FST6YKynD1GA

RAG 中向量相似性與知識推理的相關性之間的差距，以及對知識邏輯（如數值、時間關係、專家規則等）不敏感阻礙了專業知識服務的有效性。KAG 的設計目的是充分利用知識圖譜（KG）和向量檢索的優勢來應對上述挑戰，並通過五個關鍵方面雙向增強大型語言模型（LLM）和知識圖譜來提高生成和推理性能：（1）對 LLM 友好的知識表示，（2）知識圖譜與原始塊之間的相互索引，（3）邏輯形式引導的混合推理引擎，（4）與語義推理的知識對齊，（5）KAG 的模型能力增強。

(71) FILCO【篩選師】

篩選師：像個嚴謹的編輯，善於從大量文本中識別並保留最有價值的信息，確保傳遞給 AI 的每段內容都精準且相關。

• 時間：11.14

• 論文：Learning to Filter Context for Retrieval-Augmented Generation

• 項目：https://github.com/zorazrw/filco

• 參考：https://mp.weixin.qq.com/s/93CdvD8FLZjaA7E724bf7g

FILCO 通過基於詞法和信息論方法識別有用的上下文，以及訓練上下文過濾模型，以過濾檢索到的上下文，來提高提供給生成器的上下文質量。

(72) LazyGraphRAG【精算師】

精算師：能省一步是一步，把貴的大模型用在刀刃上。就像個會過日子的主婦，不是看到超市打折就買，而是貨比三家後才決定在哪裏花錢最值。

• 時間：11.25

• 項目：https://github.com/microsoft/graphrag

• 參考：https://mp.weixin.qq.com/s/kDUcg5CzRcL7lTGllv-GKA

一種新型的圖譜增強生成增強檢索（RAG）方法。這種方法顯著降低了索引和查詢成本，同時在回答質量上保持或超越競爭對手，使其在多種用例中具有高度的可擴展性和高效性。LazyGraphRAG 推遲了對 LLM 的使用。在索引階段，LazyGraphRAG 僅使用輕量級的 NLP 技術來處理文本，將 LLM 的調用延遲到實際查詢時。這種 “懶惰” 的策略避免了前期高昂的索引成本，實現了高效的資源利用。

IZ8Ui6

RAG Survey

• A Survey on Retrieval-Augmented Text Generation

• Retrieving Multimodal Information for Augmented Generation: A Survey

• Retrieval-Augmented Generation for Large Language Models: A Survey

• Retrieval-Augmented Generation for AI-Generated Content: A Survey

• A Survey on Retrieval-Augmented Text Generation for Large Language Models

• RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models

• Evaluation of Retrieval-Augmented Generation: A Survey

• Retrieval-Augmented Generation for Natural Language Processing: A Survey

• Graph Retrieval-Augmented Generation: A Survey

• A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions

• Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely

RAG Benchmark

• Benchmarking Large Language Models in Retrieval-Augmented Generation

• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge

• ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems

• RAGAS: Automated Evaluation of Retrieval Augmented Generation

• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models

• FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation

• CodeRAG-Bench: Can Retrieval Augment Code Generation?

• Long2RAG: Evaluating Long-Context & Long-Form Retrieval-Augmented Generation with Key Point Recall

歡迎關注 TuGraph 代碼倉庫✨

TuGraph-DB 圖數據庫

https://github.com/tugraph-family/tugraph-db

TuGraph-Analytics 流式圖計算引擎

https://github.com/tugraph-family/tugraph-analytics

TuGraph-AGL 圖學習引擎

https://github.com/tugraph-family/tugraph-antgraphlearning

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/Sy1dSx5RUtD6rjMY7_efkw