認識 Embedding 模型和 Rerank 模型

Embedding 模型和 Rerank 模型是自然語言處理（特別是在信息檢索、問答系統等場景中）中常見的兩種模型類型，它們雖然有聯繫，但在功能、使用場景和工作方式上有明顯的區別。

不同之處在於：

• 目的不同。Embedding 模型主要用於表示文本的語義，通常將文本編碼爲向量表示，以便進行相似度計算；Rerank 模型主要用於對初始召回的結果進行精排序，提高最終結果的質量。

• 應用階段不同。Embedding 模型用於第一階段的粗召回，快速從大規模候選集中找到相關文本；Rerank 模型用於第二階段的精排序，在初步篩選的基礎上進一步細化結果。

• 計算效率不同。Embedding 模型多爲雙塔結構，支持向量檢索，可以提前計算並換成文檔向量，實時性好，計算開銷低，適合大規模在線檢索；Rerank 模型多爲交叉編碼器結構，將查詢結果與候選項一起輸入模型進行精細匹配，計算成本高，但效果好，適合對幾十或上百個候選結果進行排序。

• 效果對比。Embedding 模型召回率高，但精度可能較低；Rerank 模型召回率不變，但能夠提高最終的精度。

相同之處在於：

• 都可以基於預訓練模型進行訓練，但結構不同（Embedding 偏雙塔、ReRank 偏交叉編碼）。

• 訓練目標相同，都關注語義匹配，但一個偏向於快速篩選，一個偏向精度優化。

在對 RAG 檢索精度較高的要求下，通常會充分發揮 Embedding 模型和 Rank 模型的優勢，將檢索過程分爲兩個階段：Embedding 模型用於第一階段粗召回，Rerank 模型用於第二階段精排序。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/w-I1GbFitIr3HImFVURjyQ