MistralAI 發布 Mistral 8x7B MoE，一種基於混合專家技術的大型語言模型

法國大型模型初創公司Mistralai於今年9月發布了Mistral-7B模型，號稱是70億引數尺度模型中最強大的模型。 由於其商業友好的開源協議，MISTRAL-7B引起了很多關注。

就在昨天，Mistralai 突然在推特上發了一條 Magnet 的鏈結，後來才發現，這是乙個基於混合專家的大模型。

混合專家網路（MOEs）是一種大規模深度習模型的設計方法，旨在提高模型的規模和效率。 這種方法的核心是將大型網路劃分為較小的子網路（稱為“專家”），然後根據輸入資料的特徵有選擇地啟用這些專家。

MISTRAL-8X7B-MOE 是乙個混合模型，由 8 個專家網路組成，規模為 70 億個引數。

這是世界上已知的第乙個基於MOE架構的開源大型語言模型。

mistral-8x7b-moe 的預訓練結果大小為 8699GB，這意味著單個專家網路大小為 10大約 9GB。

該模型的詞彙量為 32000，與 llama2 模型相同。

目前，除了這些引數之外，沒有官方的技術文件或部落格介紹，但引起了很多關注和討論。

許多人已經開始測試mistral-8x7b-moe，但它似乎表現平庸，僅比mistral-7b好10-20%左右。

Mistralai目前除了模型**的鏈結外，沒有提供任何資訊，但希望提供官方技術細節。

好了，這就是這個播客的全部內容。 感謝您的聆聽，我們下期再見！