王磊、中科文革:適度縮減引數尺度是大模型未來趨勢

Mondo 財經 更新 2024-01-29

經濟觀察報記者 石振芳

12月15日,溫格推出雅易2號0國產大車型(以下簡稱雅藝2.)0)並發布開源技術報告。雞翅格是由中科院自動化研究所孵化的人工智慧企業,專注於複雜資料分析和人工智慧輔助決策。

除了中科雞格旗下的雅易20 此外,中科院自動化研究所也有自己的大型模型紫東太初2號0。中科文革董事長王磊在接受記者採訪時認為,適度降低引數規模,降低推理成本將是未來大模型的發展趨勢。

雅藝 20擁有資料、模型、應用自主智財權,是國內為數不多的從零開始預訓練的原生大模型之一。 基於240TB(儲存單元)多源基礎資料,1000多道資料清洗流程,265萬億個標記(“標記”,是語言模型中用於表示單詞的最小語義單元)的高質量訓練資料,以保證訓練資料語料的安全可控。 雅藝 20的中文知識問答能力在agieval、cmmlu、mmlu、c-eval、humaneval等多個公開評估榜單中名列前茅零樣本中文資訊提取能力榮獲多項SOTA(最佳效能)認證。

它基於Yayi 20.自主研發的基礎,使其能夠針對行業應用場景進行自主訓練和微調,推出政務智慧型和商業智慧型行業模型體系,為安全、金融、輿情、法學、中醫藥等領域構建行業應用模型。

不過,針對如何在降低算力、縮小引數規模的同時,保證大模型理解某個領域的能力的問題,王磊表示,這要看訓練階段的資料選擇和模型訓練。 同時,在安全方面,中科文格的TOB服務在政企內部部署了該模式,從而保障了資料安全。

對於目前國產大模型的現狀和未來,王磊也表示,如今,國產基礎原生模型極其稀缺,自主研發能力不足政企行業依賴自主可控、安全可靠的原生模型,開源模型安全性不足,二次訓練可操作性不強下一代AI技術創新將更多地依賴於整個過程中研發經驗的積累。

相關問題答案