Microsoft 的桌面 AI 開發環境提供早期預覽版，使你能夠構建在電腦和移動裝置上執行的小型語言模型。
Microsoft 利用其 Ignite 2023 活動中以開發人員為中心的部分介紹了一系列 AI 開發工具。 Azure AI Studio 支援使用 Azure OpenAI 模型或其他模型對雲託管應用程式進行大規模 AI 開發，而 Copilot Studio 則通過由 OpenAI 提供支援的“增強功能”擴充套件了舊版 Power Virtual Agents 低** AI 工具。
Microsoft還宣布了第三個工具，但它花了一段時間才出現在開發人員的計算機上。 該工具是 Windows AI Studio，現在可供預覽。 讓我們來看看。
Windows AI Studio旨在將Microsoft及其合作夥伴的AI模型庫引入PC，現在使用GPU，但最終還將使用板載AI加速器，例如Microsoft最新Surface硬體中的Arm和Intel NPU。 這些 NPU 最初是在 Surface Laptop Studio 2 中提供的，我在那裡撰寫了本專欄。 由於 DirectML 對整合在這些裝置和其他裝置中的英特爾 NPU 的支援將於 2024 年初到期，因此此選項應該會吸引開發人員和其他使用者。
Windows AI Studio 旨在幫助你訓練和自定義模型，以便在 **. 經過訓練後，您可以使用 ONNX （Open Neural Network Exchange） 跨平台執行時來轉換模型，以便在桌面和移動應用程式中使用。 Windows AI Studio 作為 Visual Studio** 的擴充套件提供，它允許你在乙個位置擁有許多不同的工具和 AI 模型，並與其他工具配合使用，因此你可以在構建模型時對其進行優化。 .NET 應用程式。
Windows AI Studio 提供了在 CPU 和 GPU 上執行的 Windows 和 Linux 工具的有趣組合，使用 Windows Linux 子系統 （WSL） 來託管和執行模型。 這種方法確實需要強大的硬體、充足的記憶體和最新的 GPU。 如果沒有離散 GPU，您將無法使用 Windows AI Studio，它可以是工作站級卡，也可以是通過 Thunderbolt 連線工作的外部 GPU。
Windows AI Studio 安裝和先決條件。
Windows AI Studio 的安裝非常簡單。 可以從 Visual Studio Marketplace 下載它，還可以在其中找到快速入門說明。 請注意，預設情況下，Visual Studio Code 中的 Visual Studio Marketplace 檢視設定為安裝發布版本，因此可能需要將檢視切換到預發布版本。 完成更改後，操作既簡單又快捷。
有一些重要的先決條件。 您需要乙個 nvidia gpu 和 wsl，至少執行 ubuntu 18版本 4 作為預設的 linux。 安裝 Windows AI Studio 後，將檢查 WSL 環境中是否支援 Conda 和 CUDA，以便使用 GPU。 如果未安裝，Windows AI Studio 會提供一鍵式選項，以確保所有必備庫都已到位。
這將使用 Visual Studio Code 的遠端伺服器選項來載入和執行安裝指令碼。 如果要檢視其執行情況，請開啟 Visual Studio Code 的內建終端並切換到其“輸出”檢視。 安裝可能需要一段時間，因為它將**並安裝相關庫。 預計至少需要五分鐘，如果您有一台舊計算機，則需要更長時間。 Windows AI Studio 文件目前僅在 GitHub 上提供;Microsoft Learn 僅顯示佔位符頁面。
安裝後，Windows AI Studio 會向 Visual Studio 擴充套件邊欄新增乙個新的類似晶元的圖示。 單擊此按鈕可啟動 Windows AI Studio 開發環境。 在啟動時，它將檢查您的開發環境是否仍滿足必要的先決條件。 檢查通過並對 WSL 配置進行任何更新後，擴充套件將載入 what'的新頁面，並使用其當前功能集填充其操作窗格。 在最新的預覽版中，可以看到四種不同的操作，並且計畫執行更多操作。 但是，目前只有乙個有效，那就是模型微調操作。
該計畫中的其他選項包括檢索增強生成（RAG），乙個與Microsoft的PHI-2基礎模型一起工作的遊樂場，以及訪問Hugging Face等服務的現成模型庫。 使用 PHI-2 可以構建和訓練自己的小型語言模型，而無需依賴 Azure OpenAI 等雲託管服務。
RAG 支援將允許您採用現有的大型語言模型並將其用作您自己的自定義 LLM 的基礎，而無需完全根據您自己的資料對其進行重新訓練。 RAG 使用即時工程技術為 LLM 提供更全面的上下文，以得出更準確的答案。 借助 RAG，您可以使用外部資料來源（包括您自己的業務特定資訊）作為提示的一部分，將更多特定於域或最新的資料推送到 LLM 中。
將 RAG 工具新增到 Windows AI Studio 應該有助於生成和測試資料的向量索引和嵌入。 一旦你有了這些，你就可以開始開發搜尋驅動的管道，這將使你的LLM應用程式成為基礎，並使用TypeChat、Prompt Flow和Semantic Kernel等工具限制它們對你自己領域的響應。
但是，就目前而言，此早期預覽版側重於微調現有 AI 模型，使其準備好轉換為 Onnx 並嵌入 WinML 專案。 單獨使用此功能是值得的，因為它是任何自定義機器學習產品的關鍵要求，並且你希望模型在本地硬體上執行，而不是在雲中執行。
若要設定模型優化環境，請先選擇本地資料夾，然後選擇模型。 最初的選擇很小，有五個開源文字生成模型，分別來自 Microsoft、Hugging Face、Mistral AI 和 Meta。 在這裡，Microsoft正在使用Qlora調整方法：量化低階介面卡，這是華盛頓大學開發的一種方法，已經顯示出令人印象深刻的結果。 最初的**描述了一系列模型，這些模型在單個GPU上提供了ChatGPT 24小時的調優，而只有99小時的調優3% 的效能。
如果我們要將生物智慧型帶入我們的計算機和手持裝置，這就是我們需要的方法。 我們不需要大型語言模型的複雜性（或大小）;相反，我們需要在小型語言模型中對自己的資料執行相同的效能。 Qlora 和類似技術是在開源基礎模型之上構建這些自定義 AI 的一種方式。
選擇模型後，單擊“配置專案”開始在 Windows 和 WSL 中設定專案。 在使用該模型之前，您可能需要輸入用於“擁抱你的臉”的訪問令牌或註冊訪問。 Windows AI Studio 提供了一組優化引數，用於優化模型的效能。 對於初始測試，只需接受預設值並等待模型生成即可。 您還可以選擇使用其他資料集來改進優化。
生成模型後，系統將提示你重啟 Windows AI Studio 工作區中的 Visual Studio 視窗。 這會將你從 Windows 切換到 WSL，準備好使用安裝過程中安裝的工具。 作為工作區初始設定的一部分，Windows AI Studio 將安裝提示流擴充套件。
開啟模型工作區後，可以使用 Visual Studio 終端啟動 Conda 環境以優化模型。 您現在可以使用 Qlora 在預設內容或您自己的資料集上執行 Olive。 這可能需要一些時間，因此請準備好等待。 即使在相對高階的顯示卡上，調整也可能需要幾個小時。
調整過程完成後，您可以使用簡單的 Gradio Web 介面來測試經過訓練的模型，然後再將其打包並在應用程式中使用。 這是乙個有趣的小工具，值得在調整之前和之後執行，這樣你就可以看到這個過程如何影響互動。
重要的是要記住，這是乙個很早發布的複雜工具。 Microsoft 在簡化 AI 模型和調優工具方面做了很多工作，但你仍然需要知道你想要從你正在構建的語言模型中得到什麼。 作為車削過程的一部分，您可以調整許多變數，了解每個變數控制的內容以及它們如何影響最終模型是值得的。
目前，Windows AI Studio 很可能是 AI 專家的工具。 然而，它顯示出很大的希望。 隨著它的發展和更多功能的新增，它很容易成為 Windows 開發工作流的重要組成部分，尤其是當 AI 加速器成為下一代電腦的常見元件時。