隨著SORA的發布,大型模型的開發速度不僅沒有遇到瓶頸,反而進一步加快,AGI正在向我們招手。
這背後,無論是文字、音訊,還是大型模型處理,提示這個看似簡單的概念,都起著至關重要的作用。
精心設計的提示不僅可以幫助模型更準確地捕捉使用者意圖,還可以激發模型的創造力和想象力,從而生成更豐富多彩的內容。
然而,如何設計乙個有效的提示是一項具有挑戰性的任務。 它需要對模型的工作原理有深刻的理解,以及創造力和想象力。 因此,掌握提示的設計技能對於充分發揮大型語言模型的潛力至關重要。
接下來,我們將深入探討大型語言模型中的提示設計。 我們將從提示的基本原理和重要性出發,分享實用的設計技巧和方法,並通過案例分析展示提示在不同場景中的應用。 無論你是對人工智慧感興趣的普通讀者,還是從事相關領域研究的專家學者,相信這一系列文章都會給你帶來新的靈感和收穫。 讓我們一起探索提示的奧秘,一起見證大型語言模型的無限可能!
提示如何影響輸出。
1.什麼是提示
提示是提供給模型的輸入文字或指令,用於指導模型生成特定型別的輸出或滿足特定要求。 提示不僅僅是乙個簡單的開始或介紹性陳述,它實際上是模型理解和生成文字的關鍵。
提示的設計可以非常多樣化,從簡單的幾個單詞到乙個完整的句子或段落。 目標是為模型提供足夠的資訊,以便它能夠理解並生成所需的輸出。
ChatGPT 的出現改變了傳統機器的互動方式,讓每個人都能更輕鬆、更高效地以自然直觀的方式與 AI 互動。 但是,提示也可能是好的,也可能是壞的。 乙個好的提示可以產生更多創造性和預期的輸出,而乙個糟糕的提示可能會輸出偏離主題或低質量的輸出。
如何建立出色的提示並實現高效的 AI 通訊需要對 LLM 的工作原理進行必要的了解。
2.LLM 的工作原理
2.1.文字輸入和編碼。
當我們向大型模型提供提示時,它通常是乙個簡短的文字描述,告訴模型要實現的意圖以及如何完成輸出。 例如:
大模型不能直接理解內容,需要必要的“翻譯”。 該過程涉及文字編碼和單詞嵌入。
文字編碼(分詞器)。
分詞器將首先對提示進行分幣,並將其拆分為一系列分幣。 對於中文文字來說,分詞是乙個關鍵的步驟,因為中文單詞不像英語那樣有明顯的空格分隔。
每個標記代表乙個單詞或標點符號。
詞嵌入
每個令牌都對映到乙個固定大小的向量。 此向量是詞嵌入的結果,它捕獲標記的語義資訊。
在令牌“習”的情況下,它被對映到乙個向量,該向量在訓練過程中學習與“中國”、“陝西”和“古都”等詞在語義上關聯。
這些向量作為模型的輸入,幫助模型理解文字的含義,並在生成習城牆歷史的敘述時能夠考慮這些語義關聯。
2.2 上下文處理。
該模型將編碼的提示作為上下文輸入。 此上下文被編碼為乙個或多個向量,用於捕獲提示中的關鍵資訊。
大型模型庫轉換器的自注意力機制捕獲了文字中的依賴關係和複雜模式。
2.3 生成過程。
通過貪婪搜尋或聚類搜尋,模型考慮候選代幣並選擇概率最高的一代。
生成每個標記時,模型基於先前的上下文和生成的文字。
2.4 輸出文字。
當模型達到預設長度限制或結束標記時,生成過程停止。 最終,模型輸出生成的文字,對其進行格式化,調整長度並過濾資訊。
3.使用提示的要求
高質量的提示是激發自然語言模型生成高質量文字的關鍵因素之一。 乙個好的提示可以幫助模型更好地理解使用者的意圖和需求,從而產生更準確、更自然、更有用的文字。
提供清晰的上下文資訊
乙個好的提示應該提供清晰的上下文資訊,以幫助模型更好地理解使用者的意圖和需求。 這可以包括問題的背景、任務的目標、所涉及的實體和關係等。
包含足夠的資訊
乙個好的提示應該包含足夠的資訊,以確保生成的文字準確、完整地回答使用者的問題或滿足使用者的需求。 如果提示包含的資訊不足,模型可能會生成不準確或不完整的文字。
使用自然語言
乙個好的提示應該使用自然、流暢的語言,使模型能夠更好地理解和生成文字。 如果提示包含不自然、模稜兩可或錯誤的語言,模型可能會生成不準確或不自然的文字。
滿足特定任務需求
乙個好的提示應該針對任務的特定需求進行設計和優化,以確保生成的文字滿足特定需求。 不同的任務可能需要不同的提示設計和優化策略。
多功能性和穩定性
乙個高質量的提示也應該能夠通過替換任務體來產生好的結果,同乙個提示詞可以更穩定地多次生成內容。
提示。
1.提示規範
prompt的建立遵循一定的格式,常用格式如下:
角色:大模型所扮演的角色。
任務:大型模型要執行的任務。
詳細資訊:可以新增對大型模型執行任務的更詳細要求,並減少多個權重。
格式:格式、排版等說明。
2.提示開發步驟
2.1.確定基礎。
使用角色 + 任務確定是否可以生成正確答案,然後逐步細化。
在LLM的訓練過程中,大部分的訓練資料都在網際網絡上,由於資料及其標籤的原因,可能無法獲得正確答案。 由於提示中問題的表達不明確,如分隔符等,無法獲得正確答案。
2.2.關注訂單。
在模型訓練過程中,按順序為關鍵字設定權重。 因此,在編寫提示時,需要將重要鍵放在首位。
2.3 加重。
在編寫提示時,有時會寫更多的關鍵字,以便更清晰、更詳細地描述問題,而 LLM 在分析時有時會省略它們,從而導致結果不準確。 在這種情況下,您需要設定一些強調詞來提醒 LLM 一些必要的鍵。
2.4 建立角色。
使用“假設你......“你玩......“模仿......“我要你扮演乙個......這樣的關鍵詞開始了。 在模型訓練過程中,會根據不同的場景,根據標籤對資料進行分類,並將實時設定設定為更接近標籤,使結果更加準確。
提示高階。
1. icl
In-Context Learning(ICL)最早是在GPT-3中提出的,其目的是從訓練集中選擇少量帶注釋的樣本,設計與任務相關的指令,形成提示模板,並引導測試樣本生成相應的結果。
ICL分為:
few-shot learning
one-shot learning
zero-shot learning
2. cot
大模型的魅力在於大模型所展現的概念推理能力。 能夠根據幾個已知前提得出新結論的過程。 與理解不同,推理通常是乙個“多步驟”的過程,推理的過程可以形成必要的“中間概念”,這將有助於解決複雜的問題。
2.1 COT 概念。
2022 年,Google 的《Chain-of-Thought Prompting Elitits Reasoning in Large Language Models》中首次提出,通過讓大型模型參與到將複雜問題逐漸分解為分步子問題的過程中,並依次解決它們,可以顯著提高大型模型的效能。 這一系列推理的中間步驟稱為思維鏈。
2.2 COT 工作流程。
包含 cot 的完整提示通常由三部分組成:說明、基本原理和示例。
指令用於描述問題並告知大模型的輸出格式,邏輯基礎是指 cot 的中間推理過程,可以包含問題的解、中間推理步驟以及與問題相關的任何外部知識,而示例是指以小樣本方式為大模型提供輸入輸出對的基本格式, 每個示例都包含:問題、推理過程和答案。
COT 也可以分為零點床和少點點床,具體取決於是否需要示例。 而 zero-shot-cot 只是在指令中新增“let”'一步一步地思考“,就可以”喚醒“大模型的推理能力。
2.3 COT 示例。
3.提示模板
通過設定和優化完成提示後,可以替換角色和任務來檢查答案的穩定性,並建立模板以供後續使用。
總結。 前面,我們介紹了提示的基本準則以及如何編寫提示。 隨著技術的不斷進步,大型語言模型將繼續在各個領域發揮重要作用。 無論是用於生成文章、摘要,還是用於聊天機械人、智慧型助手等場景,提示都將繼續發揮其魅力。
接下來,我們將引導讀者通過具體案例和步驟來編寫提示,並分享在實踐中可能遇到的挑戰和解決方案。
對於開發人員。
高效能、易用、高價效比的計算服務。