2月6日,崑崙萬維正式發布MOE大語言模型新版天宮二號0 隨著新版天宮AI智慧型助手APP的推出,它是是國內首個搭載MOE架構、免費面向所有C端使用者的千億引數大語言模型AI應用。即日起,使用者可以在手機應用市場體驗崑崙萬維天工2**天工AI智慧型助手APP0萌大模型的優異效能。
天宮2號0是崑崙萬維自去年4月雙千億級大語言模型天宮發布以來最大的版本公升級,它的採用業界頂尖的MOE專家擁有混合模型架構,該架構更有能力處理複雜任務,模型響應更快,訓練和推理更高效,可擴充套件性更強。
本次更新全面提公升了AI搜尋、對話、閱讀、創作的應答質量和響應速度,並搭載了強大的多模態能力,支援**對話、文生圖等多模態應用,支援超長上下文視窗(超過15萬漢字)最高可達100K,並新增AI繪畫、資料分析、AI伴侶、AI算命、 熱梗百科等眾多新興玩法,讓AI更智慧型、更實用、更有趣,成為大家日常生活中的全能AI助手。
崑崙萬維致力於人工智慧模型演算法的創新與發展,不斷探索通用人工智慧技術的前沿。 除了雙千億級大語言模型天宮和MOE專家混合大模型天宮20 此外,崑崙萬維還圍繞天宮系列大模型推出了一系列百億開源大語言模型,如天宮SKYWORK-13B、AI代理開發平台天宮SKYAGENTS、多模態大語言模型SKYWORK-MM等前沿AI產品,並逐步構建AI大模型等AI業務矩陣, AI搜尋、AI**、AI故事、AI遊戲等,是國內最強的模型技術和工程能力。綜合性最強的人工智慧樣板企業之一。
MOE:全球頂級大模型核心技術路徑
MOE(專家組合)是當前的大語言模型軌道的底層架構是全球領先的大模型核心技術路徑之一
自2023年6月以來,崑崙萬維持續在MOE架構技術前沿進行研發探索,並成功發布天宮AI智慧型助手APP,國內首款搭載MOE架構、免費面向所有C端使用者的千億引數AI應用。
天宮AI智慧型助手崑崙萬維天宮20萌大模型是核心技術引擎,其技術原理是將複雜的大模型任務拆解為多個更小、更細分的子任務,每個子任務由垂直領域的專家模型處理,從而製作出崑崙萬維天宮20 不僅大大提公升了模型訓練和推理的效能和效率,實現了多個垂直領域的知識融合,使模型能夠更好地理解和處理不同應用場景中的複雜問題,為使用者提供更準確、更全面的答案。
同時,崑崙萬維技術團隊通過一系列有針對性的MOE技術研究,投入了大量的研發和培訓資源最後,解決了困擾整個教育部行業的模型不收斂、泛化效果差等核心效能問題,使得天宮二號模型效能 0 已得到顯著改進。
模型效能更高、速度更快、體系結構更靈活
天宮2號0的技術領先體現在其核心MOE架構的卓越優勢上。 當資料被送入門控模型路由器時,系統根據任務型別將每個令牌分配給乙個或多個專家模型,以便每個專家模型可以專注於處理資料的一部分,從而獲得模型效能的整體提公升。
與傳統的大型模型架構相比,天宮二號0 具有以下優點:
1.更強的應對複雜任務的能力天宮2號0萌模型整合了多個專家模型,每個專家模型都可以針對不同的資料分布和構建模式進行構建,從而顯著提公升了大模型在各個細分領域的專業能力0 在處理複雜和多模式任務時,效能顯著提高。
2.更快、更高效:由於在MOE模型的推理計算過程中只啟用了少數特定的專家模型,與相同引數尺度的密集模型相比,天宮20 moe 模型具有極高的稀疏性,使其在推理和計算方面更加高效,因此使用者可以獲得更快的 AI 響應速度。
3.靈活、多樣化且可擴充套件:一方面,模型的稀疏性使得天宮20 可以在不增加計算量的情況下顯著擴充套件模型大小,在相同的計算資源下獲得更強的模型效能; 另一方面,通過增加專家模型的數量,調整專家模型的權重比例,天宮20可以大大豐富模型的可擴充套件性,構建新時代更加靈活、多樣、可擴充套件的模型。
天工AI智慧型助手APP全面公升級
天宮AI智慧型助手APP是基於崑崙萬維自主研發的天宮系列大型模型,是一款搜尋、聊天、寫作、能畫的AI智慧型助手,它具有很強的自然語言處理和智慧型互動能力,可實現個性化AI搜尋、智慧型問答、AI繪畫、聊天互動、文字生成、寫作、語言翻譯等應用場景, 並擁有豐富的知識儲備。
由天宮2號陪同0 大模型的重磅公升級,天宮AI智慧型助手也迎來了版本的全面更新。
1.強大的多式聯運能力:天工AI智慧型助手採用的多模態大模型,基於整合發展策略,在基礎模型的基礎上進行深度開發優化,引入多解像度視覺編碼器和強大的語言基礎模型,可以支援任何大小和複雜使用者指令的輸入。
新版天宮AI智慧型助手以強大的多模態大模型能力為支撐,具有出色的視覺理解、推理和指令跟隨能力,可滿足對話、創作、知識問答等多種使用者需求。 同時,得益於模型出色的理解能力,新版天工AI智慧型助手生成的影象在內容豐富度、精細度、畫質等方面表現良好。
同時,在強大的多模態能力的加持下,天宮AI智慧型助手還可以生成最佳答案內容,讓使用者可以問“螺螄面怎麼做? “你怎麼用結他彈《道香》? “2024年春節放假安排? 這種問題可以借助影象來呈現,這使得AI答案的結果更加直觀和豐富。
2.支援 100k 超長上下文視窗:天宮AI智慧型助手訓練100k原生文字,最高可支援100k(超過15萬個漢字)文字對話,通過擴充套件技術支援200k超長文件理解。 在InfiniteBench評測中,天宮系列大型模型多項指標均位居全球第一,10項指標平均得分47分5分,比Claude2多,接近GPT4-128K的52分6分。
在超長上下文模型的“大海撈針”測試中,研究人員將特定資訊插入到海量文件集中,然後向文件集提問,希望模型能夠從“浩瀚的文字海洋”中找到正確的關鍵資訊,以驗證模型提取長上下資訊的能力。 在“大海撈針”測試中,天宮模型取得了100%的正確結果。
3.搜尋更準確,寫得更好,閱讀更快新版天工AI智慧型助手擁有更強大的關鍵詞和語義分析能力,更精準的識別使用者任務需求,可以針對使用者在AI搜尋、對話、閱讀、創作等不同應用場景下的不同需求,提供更準確、更具體的解答和跟進建議。 同時,新版天工AI智慧型助手AI搜尋質量、安全能力、答案豐富度等都得到了進一步提公升。
例如,在天宮AI智慧型助手中,使用者可以使用“AI閱讀”功能,對文獻內容進行快速提煉和總結,並就文獻內容的細節提出問題,從而獲得快速、準確、具體的答案。
4.豐富有趣的AI代理:新版天宮AI智慧型助手新增了AI繪畫、資料分析、AI伴侶、AI算命、熱梗百科等多種官方AI代理,讓天宮AI智慧型助手可以搜尋、聊天、寫作,除了增加更多有趣實用的新興玩法外,不斷探索AIGC技術的應用邊界, 成為每個人日常生活中不可或缺的全能AI助手。
從2月8日開始,由崑崙萬維主辦的“龍年”AI繪畫大賽也將在天宮AI智慧型助手APP上線,使用者可以使用APP中的“AI繪畫”功能繪製圖紙並提交至活動區,將有機會贏取最高10萬元的現金獎勵。
這是國內首個免費向所有C端使用者開放的AI繪畫比賽,獎金規模高達數十萬。 得益於天宮系列大型模型卓越的多模態技術能力,高水平的文字意圖識別確保使用者能夠釋放創造力,繪製出內容豐富、細節精緻、美感先進的個性化AIGC影象。
長期以來,崑崙萬維始終堅持“實現通用人工智慧,讓每個人都能更好地塑造和表達自己”的公司使命,不斷降低大模型技術在各行各業的應用和學習門檻,共同探索未知世界,共創科技未來。