4 種 AI Agent 設計模式

學習是一個持續的旅程

無論是人類還是 AI 模型，學習都是一個持續的過程。然而，一個常見的問題是，AI 模型能否像人類一樣自我學習？根據近期的發展——它們可以。爲了更好地理解這一點，讓我們回顧大學時光，當時 C++、Java 和 Python 是我們必須掌握的主要編程語言，以在計算機科學領域脫穎而出。學習這些語言需要理解語法、語義、實際應用和問題解決能力。爲了熟練掌握這些語言，我們不斷練習（或者可以說接受訓練）。此外，我們還從同學和教授那裏學到了很多，對吧？同樣，就像人類可以通過自己的思考、專業知識和其他媒介學習一樣，大型語言模型（LLMs）或許也可以。

然而，獲得專業知識或成爲領域專家對人類和 LLMs 來說都是一個相當艱鉅的旅程。我們瞭解人類的學習過程和推理能力，用於決策和完成任務，但 LLM 的訓練過程是什麼樣的呢？

LLM 訓練過程

可以說，LLM 的訓練包括以下幾個步驟：

預訓練：在這一步，你幫助模型學習模式，例如語法、句子結構，甚至單詞和概念之間的關係。2. 指令調整（或微調）：通過使用包含指令和期望響應的精選數據集來微調模型。3. 基於人類反饋的強化學習（RLHF）：人類評估者對模型的響應進行排名，進一步用於改善模型與用戶期望的一致性。

這有道理，對吧？但如果我們構建一個代理工作流，讓模型在獨立完成所有檢查的同時學習並輸出結果會怎樣？這就像擁有一個可以無需人類干預完成所有工作的個人助手。接下來，本文將討論用於架構 AI 系統的四種代理 AI 設計模式。

概述

本文討論了 AI 模型，特別是像 GPT 這樣的大型語言模型（LLMs），如何通過採用代理工作流實現自主學習，這些工作流模仿了人類迭代式的問題解決方式。

• 代理工作流通過逐步優化任務來提升 AI 性能，類似於人類反覆審閱和改進工作以獲得更好的結果。• 介紹了四種關鍵的代理設計模式——反思、工具使用、規劃和多代理協作——這些策略使 AI 系統更加自主和強大。

什麼是代理設計模式？

代理設計模式被提出作爲使 LLMs 更自主的解決方案。與其只給模型一個提示並期待最終答案（就像一次性寫完一篇論文），代理式方法涉及多次逐步提示 LLM。每一步都優化任務，模型通過迭代改進其輸出。

爲了更好地理解這一點，可以這樣看：

當我們以零樣本模式提示 LLM 時，就像要求某人一次性寫一個故事而不進行修改。LLMs 在這方面表現不錯，但它們可以做得更好。通過使用代理式工作流，我們可以多次逐步提示 LLM。每一步都建立在前一步的基礎上，優化響應。可以想象成要求 LLM 多次審閱論文，每次都進行改進。

具體來說，以編寫代碼爲例，使用代理工作流的過程如下：

規劃代碼大綱：將任務分解爲更小的模塊或函數。2. 收集信息和內容：研究庫、算法或現有解決方案。如有需要，進行網絡搜索或查閱文檔。3. 編寫代碼初稿：實現基本功能，注重結構而非完美。4. 檢查代碼的低效或錯誤：檢查不必要的代碼、錯誤或邏輯缺陷。5. 修改代碼：重構、優化或添加註釋以提高清晰度。6. 重複上述步驟，直到代碼高效且簡潔。

通過讓模型獨立完成這些步驟，代理設計模式增強了類似人類的推理能力和效率。這類似於人類如何分解複雜任務、收集信息、進行改進並迭代，直到最終結果令人滿意。現在，讓我們詳細瞭解代理設計模式。

代理設計模式：評估

吳恩達（Andrew Ng）在 Deeplearning.ai 的一封信中分享的分析指出，AI 驅動的代碼生成取得了進步，特別關注了 GPT-3.5 和 GPT-4 等模型的性能。評估圍繞這些模型在廣爲人知的 HumanEval 編碼基準測試中的能力，這是一個評估算法編寫代碼能力的常見標準。

數據顯示了 AI 編碼能力的演變。GPT-3.5 在零樣本設置（即沒有任何先前示例）下測試時，正確率達到 48.1%。GPT-4 同樣以零樣本方式評估，表現出顯著改進，成功率爲 67.0%。然而，分析中突出的一點是，將這些模型整合到迭代代理工作流（代理工作流）中顯著提升了它們的性能。當 GPT-3.5 被包裹在這樣的代理循環中時，其準確率飆升至驚人的 95.1%，遠遠超過其基線，甚至接近人類級別的編碼能力。

這一發現凸顯了迭代工作流（代理工作流）在提升 AI 模型性能方面的變革潛力，表明 AI 輔助編碼的未來可能在很大程度上依賴於這些更先進、適應性更強的框架，而不僅僅是模型規模或架構的改進。

那麼，完成 AI 系統自主授權的代理設計模式是什麼？這些模式如何使 AI 系統更獨立、更有效地運行？這些模式構建 AI 代理以執行任務、做出決策並與其他系統以更像人類且自主的方式進行通信，最終創建既精明又可靠的應用程序。

您必須瞭解的四種代理設計模式

在代理 AI 及其關鍵設計模式中，理解每種模式如何賦予大型語言模型（如 GPT）更自主、更有效的行爲至關重要。這些設計模式通過鼓勵自我評估、工具整合、戰略思考和協作，擴展了 AI 的能力範圍。讓我們探索塑造這些模型操作和執行復雜任務的四種關鍵代理設計模式。

以下是代理設計模式的類型：

1. 反思模式

反思模式專注於提升 AI 評估和優化自身輸出的能力。想象一個 LLM 像人類審稿人一樣審閱其生成的內容或代碼，識別錯誤、漏洞或需要改進的領域，然後提出改進建議。

這種自我批評循環不限於單次迭代。AI 可以根據需要多次重複反思過程，以實現優化、完善的結果。例如，如果任務是編寫軟件，LLM 可以生成初始版本，批評其邏輯和結構，並修改代碼。反思的迭代性質隨着時間推移會產生更強大、更可靠的輸出。

這種模式在需要精確的任務中特別有用，例如內容創建、問題解決或代碼生成。採用這種方法可以通過自我引導的修正提高模型的準確性和可靠性。

一個有趣的例子是自我反思 RAG（SELF-RAG）。SELF-RAG 是一個旨在通過將檢索和自我反思整合到文本生成過程中來提高語言模型質量和事實準確性的框架。傳統的檢索增強生成（RAG）模型通過納入相關的檢索段落來增強響應，但通常無論相關性如何都會檢索固定數量的文檔，這可能引入噪音或不相關內容。SELF-RAG 通過一種自適應的方法解決了這些侷限性，根據需要檢索信息，並使用反思標記來評估生成的質量。

SELF-RAG 如何使用反思？

SELF-RAG 通過 “反思標記” 整合自我反思機制，這些標記用於評估文本生成的各個方面，例如相關性、支持度和總體實用性。在生成過程中，模型評估是否需要檢索，並通過在不同階段自我批評來評估生成內容的質量。

以下是更好的理解圖示：

• 傳統 RAG 首先檢索固定數量的文檔，而 SELF-RAG 根據生成的內容動態執行檢索。•SELF-RAG 評估多個生成片段，批評其質量，並選擇性地組合最準確的信息。•SELF-RAG 的迭代過程通過逐步優化生成，提高輸出的準確性和相關性。

簡而言之，SELF-RAG 增加了一層額外的自我反思和優化，從而產生更可靠、更精確的答案。

2. 工具使用模式

工具使用模式通過允許 LLM 與外部工具和資源交互，顯著擴展了其解決問題能力。AI 不僅依賴內部計算或知識，還可以訪問數據庫、搜索網絡，甚至通過像 Python 這樣的編程語言執行復雜功能。

例如，可以提示 LLM 爲特定查詢從網絡檢索數據，分析數據並將其整合到輸出中。或者，它可能被要求計算統計結果、生成圖像或操作電子表格——這些操作超出了簡單的文本生成。通過整合工具使用，LLMs 從靜態知識庫演變爲能夠與外部系統交互以實現目標的動態代理。

這種模式之所以強大，是因爲它允許 AI 系統處理內部知識不足的更復雜、多方面的任務，將其效用擴展到現實世界的應用中。

3. 規劃模式

規劃模式使 LLM 能夠將大型、複雜的任務分解爲更小、更易管理的組件。規劃賦予代理響應請求並戰略性地構建實現目標所需步驟的能力。

使用規劃模式的 LLM 不會線性地、臨時性地解決問題，而是創建子任務路線圖，確定完成任務的最有效路徑。例如，在編碼時，LLM 會首先概述整體結構，然後實現各個功能。這避免了混亂或邏輯上的迂迴，保持 AI 專注於主要目標。

ReAct（推理與行動）和 ReWOO（基於開放本體推理）進一步擴展了這種方法，將決策和上下文推理整合到規劃過程中。ReAct 使 LLM 能夠在推理（思考問題）和行動（執行特定任務）之間動態切換，從而實現更適應性和靈活的規劃。通過結合這兩個步驟，LLM 可以迭代地優化其方法，應對出現的意外挑戰。

另一方面，ReWOO 通過使用開放世界本體指導推理來增強規劃模式。這意味着 LLM 可以納入來自各個領域的更廣泛的上下文信息和知識，從而做出更明智的決策。有了 ReWOO，AI 可以根據新獲取的信息或變化的要求實時調整計劃，確保更穩健、全面的問題解決方法。

總之，規劃模式、ReAct 和 ReWOO 使 LLM 能夠以結構化但適應性的方式處理複雜任務，從而實現高效且目標導向的執行。

此外，生成結構化計劃（或 “用戶請求摘要”）確保 AI 跟蹤所有步驟，不偏離更廣泛的任務。這種方法確保了結果的高質量和一致性，特別是在複雜的問題解決或多階段項目中。

4. 多代理模式

多代理模式基於委託的概念，類似於人類團隊中的項目管理。該模式涉及分配不同的代理（具有特定角色或功能的 LLM 實例）來處理各種子任務。這些代理可以獨立完成任務，同時進行通信和協作以實現統一的結果。

多代理模式有以下幾種類型：

• 協作代理：多個代理在任務的不同部分上協作，共享進展並共同構建統一結果。每個代理可能專注於不同領域。• 監督代理：一箇中央監督代理管理其他代理，協調其活動並驗證結果以確保質量。• 層級團隊：一個結構化系統，其中高級代理監督低級代理，決策通過層級級聯以完成複雜任務。

有關更多詳情，請探索：多代理協作。

例如，在需要文本分析和數值計算的場景中，兩個獨立代理可以分別處理一個任務，共享結果以形成全面的解決方案。一個代理可能專注於理解上下文，而另一個處理數據，共同提供整體響應。這種模式在處理需要多種技能的大型或複雜問題時尤爲強大。

簡而言之，多代理模式反映了人類如何跨專業協作，確保每個代理專注於其優勢，同時爲更大的協調努力做出貢獻。

通過掌握這四種代理設計模式，開發者和用戶都可以釋放 AI 系統的全部潛力。反思模式通過自我評估提高準確性和質量，工具使用模式實現動態的現實世界交互，規劃模式爲解決複雜任務提供路線圖，多代理協作確保多個代理有效協作。這些模式共同爲構建更智能、自主的 AI 系統奠定了基礎，能夠應對現實世界的挑戰。

結論

代理設計模式強調了代理工作流在使 AI 模型（特別是大型語言模型，LLMs）更自主和高效方面的變革潛力。它解釋說，儘管像 GPT-3.5 和 GPT-4 這樣的模型在零樣本任務中表現良好，但採用迭代的代理工作流可以顯著提高它們的準確性和有效性。這種方法使模型能夠分解任務、自我評估、利用外部工具、戰略規劃並與其他代理協作，從而增強其解決問題能力。

本文介紹了四種關鍵設計模式——反思、工具使用、規劃和多代理——它們構成了這些代理工作流的基礎。這些模式擴展了 AI 的邊界，使 AI 系統能夠以更獨立和智能的方式運行，就像人類處理複雜任務一樣。這表明，未來的 AI 進步將依賴於模型規模的增加以及更適應性和戰略性的工作流的開發。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/_JaY6Ed20rt7Dhqb8x77iw