Apple 構建了 MLX,這是乙個用於自有晶元的開源框架,使 Llama 7B 能夠在 M2 Ultra 上執行

Mondo 科技 更新 2024-01-28

由機器之心報告。

編輯:杜薇、小舟

蘋果的新框架 MLX 不僅擁有 Pytorch 風格的 API,還為開發者提供了經典示例(如 llama、LoRa、stable Diffusion 和 whisper)。

2020 年 11 月,蘋果推出了 M1 晶元,在速度和功率方面都令人驚嘆。 2024年,蘋果再次推出M2晶元,今年10月,M3晶元正式亮相。

在蘋果發布晶元的同時,它也非常注重在其晶元上訓練和部署人工智慧模型的能力。

Apple 的 ML Compute 可用於在 Mac 上訓練 TensorFlow 模型。 PyTorch 支援 M1 Mac 上的 GPU 加速 PyTorch 機器 習 模型訓練,使用 Apple 的金屬效能著色器 (MPS) 作為後端。 這些使 Mac 使用者能夠在本地訓練神經網路。

現在,蘋果公司宣布了MLX,這是乙個專門針對蘋果晶元的機器習的開源陣列框架。

MLX 專為機器 習 研究人員設計,可高效訓練和部署 AI 模型。 框架本身的設計在概念上也很簡單。 研究人員可以輕鬆擴充套件和改進 MLX,以快速探索和測試新想法。 MLX 的設計靈感來自 Numpy、PyTorch、Jax 和 ArrayFire 等框架。

專案位址:MLX專案的貢獻者之一、蘋果機器習研究團隊(MLR)的研究科學家Awni Hannun展示了使用MLX框架實現LLAMA 7B並在M2 Ultra上執行的視訊。

MLX很快引起了機器學習習研究人員的注意。 TVM、MXNet、XGBoste、CMU助理教授、OctoML首席技術官陳天琦轉發:蘋果晶元有了深度學習的新框架習。 」

有網友在MLX上評論說,蘋果又重建了輪子。

源:MLX 功能、示例

在這個專案中,我們可以看到MLX具有以下關鍵功能。

熟悉的 API。MLX有乙個非常像Numpy的Python API,以及乙個功能齊全的C++ API(與Python API非常相似)。 MLX 也有更高階的軟體包(例如 MLXnn 和 mlxOptimizers),他們的 API 與 PyTorch 非常相似,可以更輕鬆地構建更複雜的模型。

可組合函式轉換。MLX 具有用於自動微分、自動向量化和計算圖優化的可組合函式轉換。

惰性計算。MLX 中的計算是延遲的,只有在需要時才例項化陣列。

動態圖構建。MLX中的計算圖構建是動態的,改變函式引數的形狀不會減慢編譯速度,除錯簡單易上手。

多裝置。操作可以在任何受支援的裝置上執行,例如 CPU 和 GPU。

統一記憶體。MLX 與其他框架的顯著區別在於記憶體是統一的,陣列共享記憶體。 MLX 上的操作可以在任何受支援的裝置型別上執行,而無需移動資料。

此外,還有各種使用 MLX 框架的示例,例如 MNIST 示例,這是學習如何使用 MLX 習 的好方法。

來源: -examples tree main mnist

MLX 還有許多其他有用的示例,包括:

Transformer 語言模型訓練;

LLAMA 海量文字生成和 LoRa 微調;

穩定的擴散生成**;

OpenAI 的耳語語音識別。

更詳細的文件可以在以下位置找到:

相關問題答案

    當蘋果晶元從祭壇上掉下來時

    聰明的東西。作者 雲鵬.編輯 心。近日,國內安卓陣營迎來了一波又一波新機發布熱潮,而在發布會上,蘋果A Pro真正成為了 常客 只不過這位常客,在效能測試中被各款安卓手機晶元追趕的物件。是的如今的安卓手機晶元在效能和能效上都已經超越了蘋果。這種 委屈 恐怕蘋果晶元以前沒有吃過。相較於近年來高通 聯發...

    蘋果A18Pro晶元曝光

    近日,有報道稱,蘋果正在開發一款名為APro的晶元,該晶元將採用更先進的工藝技術和更強大的效能,有望成為蘋果最強大的處理器之一。據報道,蘋果的APro晶元將採用nm工藝技術,計算速度更快,功耗更低。同時,該晶元還將配備更強大的圖形處理器和人工智慧引擎,可以提供更流暢的遊戲體驗和更智慧型的應用。除了更...

    蘋果A18Pro晶元曝光,我們看到了什麼?

    在當前的智慧型手機市場中,蘋果無疑是一股不可忽視的力量。近日,蘋果又推出了一款新晶元 APro,這款晶元的 引起了廣泛關注。那麼,這款晶元的 讓我們看到了什麼呢?首先,從技術角度來看,蘋果APro晶元的 展示了蘋果在晶元技術上的實力。該晶元的新架構和工藝技術使其在效能和能效方面更加強大。此外,APr...

    我們參觀了位於慕尼黑的 Apple Silicon 設計中心!

    兩年來,蘋果的慕尼黑晶元設計中心一直是蘋果工業戰略的核心。這個歐洲工程中心有什麼特別之處?它如何為最新 MacBook Pro 中的 M 晶元做出貢獻。為了找出答案,我們去了那裡。加州設計,中國組裝 根據大多數蘋果產品背面的著名公式,iPhone Macbook和其他手錶將在庫比蒂諾想象,然後在太平...

    蘋果再次研發出重要的晶元驅動IC,自研晶元背後的堅守是什麼?

    蘋果再次自研了一款重要晶元 驅動IC,晶元自研背後到底是什麼執著?近年來,蘋果的產品創新通常出現在 擠壓牙膏 但它正在悄悄地做這件事 自研晶元 事情。目前,蘋果的產品 iPhone iPad Mac電腦核心處理器均已自主研發,而射頻 基帶晶元和USBC介面認證晶元則由自主研發。此外,蘋果還在自主研發...