一文徹底搞懂大模型 - Prompt Engineering（提示工程）

圖片

Prompt 是用戶向模型提供的輸入，用於引導模型生成特定類型、主題或格式的文本輸出。 這種輸入可以是一個問題、一個描述、一組關鍵詞或上下文信息，它告訴模型用戶希望得到的輸出類型和內容。

圖片

提示工程（Prompt Engineering）涉及到如何設計、優化和管理這些 Prompt，以確保 AI 模型能夠準確、高效地執行用戶的指令。

圖片

一、Prompt（提示詞）

爲什麼需要 Prompt？ 大語言模型（LLM）本身已具備極高的性能與複雜性，但還有很大潛力需要挖掘。Prompt 如同鑰匙一般，能夠精確引導模型生成特定需求的輸出。

調整 Prompt，實際上就是在改變我們與模型交流的語言和方式，這種變化往往能帶來出乎意料的輸出效果差異。 更重要的是，這一過程無需微調模型修改參數，只需在外部靈活調整提示詞輸入。

圖片

Prompt 的核心要素包括：明確的任務指示、相關上下文、示例參考、用戶輸入以及具體的輸出要求。

  1. 指示（Instructions）：想要模型執行的特定任務或指令。

  2. 上下文（Context）：包含外部信息或額外的上下文信息，引導語言模型更好地響應。

  3. 例子（Examples）：通過給出具體示例來展示期望的輸出格式或風格。

  4. 輸入（Input）：用戶輸入的內容或問題。

  5. 輸出（Output）：指定輸出的類型或格式。

Prompt:  
指令：請撰寫一段關於“未來科技”的描述。
輸入數據：無特定輸入數據，直接基於主題創作。
輸出指示：生成一段約100字的文本，要求內容富有想象力且積極向上。
開始你的創作：

二、In-context Learning（上下文學習）

什麼是 In-contxt Learning？ In-context learning，即上下文學習，是一種機器學習方法，它利用文本、語音、圖像等數據的上下文環境以及數據之間的關係和上下文信息來提高預測和分類的準確性和有效性。

In-context learning 的優勢在於它不需要對模型進行微調（fine-tuning），從而節省了大量的計算資源和時間。

圖片

在 GPT-3 中，In-context learning 表現爲模型能夠在給定的任務示例或自然語言指令的上下文中，理解任務要求並生成相應的輸出。 具體來說，In-context learning 可以分爲以下幾種情況：

假設你有一個任務，需要將文本分類爲三種情感之一：正面，負面或中性。  
文本：我認爲這次假期還可以。
情感傾向標籤（選擇一個）：正面、負面、中性
假設你有一個任務，需要將文本分類爲三種情感之一：正面，負面或中性。
示例 1: 文本：“我度過了一個非常愉快的週末！” 情感傾向標籤：正面  
示例 2: 文本：“這部電影太令人失望了。” 情感傾向標籤：負面  
示例 3: 文本：“今天的天氣和昨天一樣。” 情感傾向標籤：中性  
現在，請根據你從上述示例中學到的知識，對以下文本進行情感分類：
文本：“我認爲這次假期還可以。”  
情感傾向標籤（選擇一個）：正面、負面、中性

圖片

三、Chain-of-Thought（思維鏈）

什麼是 Chain-of-Thought？ Chain-of-Thought（思維鏈，簡稱 CoT）是一種改進的提示技術，旨在提升大型語言模型（LLMs）在複雜推理任務上的表現。

Chain-of-Thought 要求模型在輸出最終答案之前，先展示一系列有邏輯關係的思考步驟或想法，這些步驟相互連接，形成了一個完整的思考過程。

圖片

Chain-of-Thought 的概念最早是在 2022 年由 Google 發佈的論文**《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》****中提出的。該論文展示瞭如何通過思維鏈提示（chain-of-thought prompting）來引導大型語言模型生成類似人類思維過程的推理鏈條，從而提升模型在複雜推理任務上的性能。**

Chain-of-Thought 可以通過兩種主要方式實現：Zero-Shot CoT 和 Few-Shot CoT。

圖片

圖片

圖片

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/EG5eZVM8w3S1hhfXUFrFqw

猜你喜歡