IT Home 12 月 21 日報道,蘋果人工智慧研究人員表示,他們取得了重大突破,通過創新的快閃記憶體利用技術,在記憶體有限的蘋果裝置上成功部署了大型語言模型 (LLM)。 這一結果有望為未來的 iPhone 帶來更強大的 Siri、實時語言翻譯和尖端的 AI 功能,以及增強現實。
近年來,像 ChatGPT 和 Claude 這樣的 LLM 聊天機械人風靡全球。 他們能夠進行流暢的對話,編寫不同風格的文字,甚至生成**,表現出出色的語言理解和生成技能。 然而,這些型號有乙個致命弱點:它們“吃掉”了太多的資料和記憶體,以至於普通手機根本無法滿足其操作需求。
為了突破這一瓶頸,蘋果研究人員開闢了一條道路,轉向了手機中無處不在的快閃記憶體,其中儲存了應用程式和**。 在標題“LLM in a Flash: Efficient Large Language Model Inference with Limited Memory”中,研究人員提出了一種巧妙的快閃記憶體利用技術,將LLM模型的資料儲存在快閃記憶體中。 作者指出,快閃記憶體在移動裝置中的容量比傳統上用於執行LLM的RAM大得多。
IT Home 指出,他們的方法巧妙地利用了兩項關鍵技術來繞過節流,從而最大限度地減少資料傳輸並最大限度地提高快閃記憶體吞吐量:
視窗化:將其視為利用它的一種方式。 AI 模型不會每次都載入新資料,而是重用一些處理後的資料。 這減少了頻繁讀取記憶體的需要,使整個過程更加順暢和高效。
行列綑綁:這種技術類似於您閱讀一本書時,不是逐字逐句,而是逐段閱讀。 通過更有效地對資料進行分組,可以更快地從快閃記憶體中讀取資料,從而加速 AI 理解和生成語言的能力。
*請注意,該技術允許 AI 模型以兩倍於 iPhone 可用記憶體的規模執行。 借助這項技術,LLM 在 Apple M1 Max CPU 上的速度提高了 4-5 倍,在 GPU 上的速度提高了 20-25 倍。 研究人員寫道:“這一突破對於在資源受限的環境中部署先進的LLM至關重要,極大地擴充套件了它們的適用性和可訪問性。
人工智慧效率的突破為未來的iPhone開闢了新的可能性,例如更先進的Siri功能、實時語言翻譯以及攝影和增強現實中複雜的人工智慧功能。 該技術還為iPhone在其裝置上執行複雜的AI助手和聊天機械人奠定了基礎,據說蘋果已經開始著手研究。
蘋果開發的生成式人工智慧最終可能會整合到其Siri語音助手中。 2023 年 2 月,Apple 舉辦了一場 AI 峰會,向員工介紹了其大型語言模型工作。 據彭博社報道,蘋果的目標是打造一款與人工智慧深度融合的更智慧型的Siri。 蘋果計畫更新Siri與訊息傳遞應用程式的互動方式,使使用者能夠更有效地處理複雜的問題並完成句子。 除此之外,有傳言稱蘋果還計畫在盡可能多的蘋果應用程式中新增人工智慧。
據報道,蘋果正在開發自己的生成式人工智慧模型,代號為“AJAX”,旨在與 OpenAI 的 GPT-3 和 GPT-4 競爭,擁有 2000 億個引數,這表明在語言理解和生成方面具有高度的複雜性和強大的能力。 AJAX在內部被稱為“Apple GPT”,旨在統一蘋果的機器學習開發,這表明蘋果正在將人工智慧更深入地整合到其生態系統中。
根據最新報道,AJAX 被認為比早期的 ChatGPT 3 更貴5 功能更強大。 不過,也有訊息人士指出,OpenAI的新模型可能已經超越了AJAX的能力。
The Information 和分析師 Jeff Pu 都聲稱,蘋果將在 2024 年底左右在 iPhone 和 iPad 上提供某種形式的生成式 AI 功能,屆時 iOS 18 將發布。 PU 在 10 月份表示,蘋果將在 2023 年建造數百台 AI 伺服器,並在 2024 年建造更多。 據報道,蘋果將提供一種結合了基於雲的人工智慧和裝置端處理人工智慧的解決方案。