作為一家軟體公司，如何擁有自己的AI模型

想象一下這樣的場景，公司的程式設計師將專案上的需求匯入到AI程式設計助手中，AI程式設計助手會快速生成對應的**，包括前端**、後端**，以及用於操作資料庫的SQL語句，前端**是公司的打包元件，後端**也是公司的公共類庫， SQL語句中的表是公司的資料庫。這樣一來，程式設計師只需要整理這些**就能正常執行，以前需要乙個月才能完成的工作負載，現在只需幾個小時就可以完成，而且這種生產力會**啊！

因此，軟體公司應該率先構建自己的大模型，那麼如何構建它們呢？

1、先找乙個已有的開源模型，從頭開始訓練乙個，太貴了，市面上一些開源模型現在都可以用。

2、訓練乙個大模型，將公司的資料準備成乙個資料集，用於大模型的訓練，訓練後進行評估。

3、部署大模型，根據自己大模型的資料規模，需要相應的硬體設施。

重點是 GPU。 以7B大模型為例，推理的視訊記憶體需求為14 GB。 如果要微調，至少需要 140GB 的視訊記憶體。 如果是13B大模型，推理的視訊記憶體要求為26GB，保守點為32GB。 如果要微調，至少需要 260GB 的視訊記憶體。 如果是70B大機型，只能推斷，需要140GB的視訊記憶體，微調8卡A100 H100是不夠的。