學者 溥玉 20 是乙個大型語言模型，是商湯科技和上海人工智慧實驗室、香港中文大學和復旦大學發布的新一代大型語言模型。 ‘
有效支援20萬字超長上下文：該模型在20萬字長輸入中幾乎完美地實現了長文字的“大海撈針”，在Longbench、L-Eval等長文字任務中的表現也達到了開源模型的領先水平。 你可以用 lmdeploy 嘗試 200,000 字的超長上下文推理。 綜合性能提公升：與上一代模型相比，各項能力維度都得到了全面提公升，推理、數學、對話體驗、跟課、創意寫作等方面的能力提公升尤為顯著，綜合性能達到同級別開源模型的領先水平，Internlm2-Chat-20B在關鍵能力評估上可以匹敵甚至超越ChatGPT（GPT-3.）5）。直譯器和資料分析：使用程式碼直譯器，INTERNLM2-CHAT-20B 可以在 GSM8K 和 MATH 上達到與 GPT-4 相似的水平。 基於堅實的數學和工具基礎，Internlm2-Chat 提供實用的資料分析功能。 工具呼叫能力整體公升級：基於更強、更通用的命令理解、工具篩選、結果反射能力，新版模型可以更可靠地支援複雜智慧型體的構建，支援工具的有效多輪呼叫，完成更複雜的任務。 依賴環境：
python >= 3.8·pytorch >= 1.12.0（推薦 2。0.0及以上）·變壓器>= 4。34
通過變壓器載入
通過以下**從 transformers 載入 internlm2-7b-chat 模型（可修改的模型名稱以替換不同的模型）： import torchfrom transformers import autotokenizer， automodelforcausallmtokenizer = autotokenizerfrom_pretrained("internlm/internlm2-chat-7b"，信任遠端程式碼=true）設定火炬 dtype=torch。float16 將模型精度指定為 torchfloat16，否則視訊記憶體可能由於您的硬體而不足。 model = automodelforcausallm.from_pretrained("internlm/internlm2-chat-7b", device_map="auto",trust_remote_code=true, torch_dtype=torch.float16） （可選） 如果您使用的是資源匱乏的裝置，則可以使用 Bitsandbytes 載入 4 位或 8 位量化模型，以進一步節省 GPU 記憶體。乙個 4 位量化的 InterNlm 7B 消耗大約 8GB 的視訊記憶體。 # pip install -u bitsandbytes# 8-bit: model = automodelforcausallm.from_pretrained(model_dir, device_map="auto", trust_remote_code=true, load_in_8bit=true)# 4-bit: model = automodelforcausallm.from_pretrained(model_dir, device_map="auto", trust_remote_code=true, load_in_4bit=true)model = model.eval()response, history = model.chat(tokenizer, "你好"， history=）print（response） 模型輸出： 你好！有什麼我可以幫你的嗎？ response, history = model.chat(tokenizer, "請提供三條管理時間的建議。 ", history=history)print(response)
通過前端網頁進行對話
pip install streamlitpip install transformers>=4.34streamlit run ./chat/web_demo.py
介面顯示：
微調：
詳情請參考官方文件
效能得分：
internlm2-chat in alpacaeval 20，結果顯示 InterNLM2-Chat 在 Alpacaeval 上已經超過了 Claude 2、GPT-4（0613） 和 Gemini Pro。