隨著人工智慧技術的快速發展，大型語言模型已成為科技行業的新寵。 然而，對於Mac使用者來說，體驗獨有的大模型框架並不是一件容易的事。 現在，這個問題終於解決了！ 一位前 OpenAI 員工推出了乙個新框架 Chat with MLX，讓 Mac 使用者可以輕鬆部署本地大模型，實現與本地資料的流暢通訊，並支援中文！ 讓我們一起探索這個驚人的框架！
1. 框架簡介。
Chat with MLX 是專為 Mac 使用者打造的大型模型框架，整合了多種開源大型模型和多種可用語言，為使用者提供了豐富的功能選擇。 該框架由一位前 OpenAI 員工開發，以 Chat with RTX 的設計理念為藍本，讓 Mac 使用者也能享受到大模型本地化部署的便利。
第二，部署過程。
Chat with MLX 的部署過程非常簡單，只需兩行即可完成**。 首先，在終端中鍵入“pip install chat-with-mlx”以安裝框架。 安裝完成後，輸入“chat-with-mlx”並按回車鍵，系統會自動完成初始化並彈出網頁。 接下來，使用者只需要選擇自己要使用的模型和語言，點選“載入模型”，系統就會自動**模型資訊並載入。 整個部署過程快速簡便，讓新手輕鬆上手。
3.功能特點。
支援多種語言和模型：Chat with MLX 支援 11 種可用語言，包括中文，並支援多達 7 種開源大型模型。 使用者可以根據自己的需要選擇合適的模型和語言進行交流。
本地資料交換：與MLX聊天不僅支援與遠端資料通訊，還支援與本地資料聊天。 使用者只需上傳檔案或填寫**鏈結，點選“開始索引”即可建立索引，模型即可理解本地資料並生成相應的響應。 此功能可確保更好的資料安全性。
高效的推理速度：儘管在 Apple 裝置上部署大型本地模型可能會面臨某些計算能力限制，但 Chat with MLX 在推理速度方面表現出色。 使用者在使用時可以體驗到流暢的通訊體驗，尤其是在選擇較小的型號時。
豐富的提示詞技巧：為了提公升模型的效能，Chat with MLX 的開發者們還引入了新的提示詞技巧，比如打賞。 這些技術使模型在生成響應時更加準確和生動，為使用者提供更好的通訊體驗。
四、實際效果檢驗。
為了驗證 Chat with MLX 的實際效果，我們進行了一系列測試。 首先，我們選擇了較小的Quyen-SE型號進行測試，以評估其在M1晶元MacBook上的效能。 測試結果表明，該模型在流暢度方面表現良好，使用者可以輕鬆與之交流。
接下來，我們進一步測試了 Chat with MLX 的本地 RAG 檢索功能。 為了保證模型的訓練資料中不存在材料文件，我們選取了一位不公開網際網絡的本科畢業生**進行測試。 我們詢問了**中不同地點的詳細資訊，並設計了十個問題。 測試結果顯示，Chat with MLX 在回答問題的準確性方面表現良好，有 7 個回答是正確的（在上下文中）。 雖然它比純構建慢一點，但考慮到資料的安全性和本地化部署的優勢，它已經足夠令人滿意了。
在測試過程中，我們還發現 Chat with MLX 有一定的幾率觸發吐出提示。 但是，觸發器似乎沒有模式，開發人員可能需要在未來的版本中進一步完善和改進。
5.總結與展望。
總體而言，Chat with MLX 為 Mac 使用者提供了乙個方便高效的框架來本地化大型模型。 通過簡單的部署過程，使用者可以輕鬆體驗與本地資料的流暢通訊，並支援中文等多種語言。 雖然由於算力限制，蘋果裝置的效能可能無法與 NVIDIA 的 Chat with RTX 相媲美，但考慮到資料安全和本地化部署的優勢，Chat with MLX 仍然具有很高的實用價值。
展望未來，隨著技術的不斷發展，國產化、專屬的大車型將逐漸成為消費類產品的流行趨勢。 Chat with MLX的推出，無疑為這一趨勢的發展注入了新的活力。 我們期待更多類似的產品出現，為我們的生活帶來更多的便利和樂趣。
最後，如果你是Mac使用者，不妨試試MLX聊天，體驗大模型本地化部署的魅力！ 我相信您會對它的便利性和效率印象深刻。 是時候公升級你的AI電腦了，讓我們一起迎接人工智慧的美好未來！
#mac#