華爾街上一篇文章提到，山姆·奧特曼計畫籌集7萬億美元來建立乙個晶元帝國。 7萬億美元，基本上相當於全球GDP的10%。 訊息一出，**一片譁然。
雖然山姆·奧特曼很有可能拿不到錢，但來自《星界十號法典》的人氣評論員斯科特·亞歷山卓認為，這不僅是對未來人工智慧規模條件的反思，也是對人工智慧迭代形式（安全還是跨越）的反思。
基本邏輯：GPT-1 的訓練成本約為零。 GPT-2 售價 40,000 美元。 GPT-3 耗資 400 萬美元。 GPT-4 耗資 1 億美元。 GPT-5 的細節仍然是個秘密，粗略估計為 25 億美元。
因此，如果每個 GPT 版本的成本是前乙個版本的 25 到 100 倍。 這裡假設平均值是 30 倍。 這意味著 GPT-6 將耗資 750 億美元，GPT-7 將耗資 2 萬億美元。 （條件是。"gpt-6 "它比 GPT-5 領先整整一代，與 GPT-4 和 GPT-3 一樣大。 ）
分解 GPT 的成本，訓練 AI 需要：
計算（即計算能力、硬體、晶元）、功率（為計算提供動力）、訓練資料、計算以浮點運算 （FLOPS） 來衡量。 GPT-3 訓練需要 10 23 次浮點運算，GPT-4 可能需要 10 25 次浮點運算。
世界上所有的計算機都有大約 10 21 個浮點秒的容量，因此它們可以在 10 秒內在 4 秒內訓練 GPT-4，也就是兩個小時。 OpenAI 花了 6 個月的時間，這表明 OpenAI 使用的計算機數量約為全球所有計算機的 1 2000 臺。
如果保持 30 倍的乘數係數，GPT-5 將使用世界上所有計算機的 1 70 臺，GPT-6 將使用現有計算機的 1 2 臺，GPT-7 將使用現有計算機總數的 15 倍。 全球計算能力正在迅速增長——訊息人士稱每 1在5年內翻一番，這意味著每五年增長乙個數量級。 如果我們假設兩代 GPT 之間有 5 年的差距，那麼 GPT-6 實際上只需要世界上計算機數量的 1 10，而 GPT-7 需要 1 3。 世界上還有很多計算機 1 3.
當所有其他人工智慧公司也想要計算機時，OpenAI 無法獲得世界上 1 3 臺計算機。 因此，晶元製造的規模必須大幅擴大。
GPT-4 訓練消耗約 50 GWh。 使用 30 倍的乘數係數，預計 GPT-1500 需要 5 GWh，GPT-6 需要 45000 GWh，GPT-7 需要 130 萬 GWh。
假設訓練執行持續 6 個月，即 4320 小時。 這意味著 GPT-6 將需要 10 吉瓦（1000 億吉瓦時）——大約是世界上最大的發電廠三峽大壩容量的一半。 GPT-7 將需要 15 個三峽大壩電源。 這"不僅是全球生產的總電力，還有可以購買的電力"。這需要電源靠近資料中心。 最好的選擇是將北溪管道連線到資料中心，或者使用聚變反應堆發電。
山姆·奧特曼（Sam Altman）正在研究核聚變發電，但這似乎只是乙個巧合。 至少從 2016 年開始，他就對核聚變感興趣）。
AI 需要讀取的文字、影象或其他資料，以了解其域的工作原理。 GPT-3 使用 3000 億個代幣。 GPT-4 使用 13 萬億個代幣（另一種說法是 6 萬億個代幣）。 看起來 30 倍乘數因子仍然有效，但從理論上講，訓練資料的擴充套件應該是計算量的平方根 - 所以你應該假設 55 倍膨脹係數。 這意味著 GPT-5 將需要近 50 萬億個代幣，GPT-6 將需要數萬億個代幣，GPT-7 將需要數萬億個代幣。
但是世界上沒有那麼多文字。 如果你把所有出版的書籍、Facebook訊息、推文、簡訊和電子郵件加起來，也許還有數萬億。 如果 AI 學會理解所有影象、**和電影，它可能會獲得更多。 但似乎達不到一百萬億，更別說萬億了。
除非 AI 可以用更少的訓練資料學習一些東西。 這就像人類的大腦不需要閱讀世界上所有的單詞來學習東西。 但這目前是不可能的。
更有前途的是合成資料，人工智慧為自己生成資料。 例如，你可以用合成資料訓練乙個西洋棋人工智慧，讓它與自己對弈一百萬次。 您可以訓練數學 AI 隨機生成證明步驟，並最終偶然發現正確的步驟，自動檢測正確的證明，然後對該步驟進行訓練。 你可以訓練玩遊戲的AI，讓它做出隨機動作，然後看看哪乙個得分最高。
一般來說，如果你不知道如何建立好的資料，但知道如何在資料存在時識別它，那麼可以使用合成資料（例如，西洋棋 AI 贏得了與自己的比賽，數學 AI 獲得了正確的證明，遊戲 AI 獲得了良好的分數）。 但是，目前無法識別書面文字。
此外，演算法進步意味著："人工智慧的突破"，通常每五年左右需要幾個數量級才能取得進展。
因此，GPT-5 可能需要全球 1% 的計算機、來自小型發電廠的能源以及大量的訓練資料。
GPT-6 將需要全球 10% 的計算機、來自大型發電廠的能源以及比可用資料更多的訓練資料。 這可能是乙個城鎮規模的資料中心，連線到大量太陽能電池板或核反應堆。
GPT-7 可能需要世界上所有的計算機、乙個超過任何現有發電廠的巨型發電廠，以及比現有更多的訓練資料。
構建 GPT-8 目前是不可能的。 即使解決了合成資料和核聚變發電的問題，接管了整個半導體行業，也是不可能的。 唯一的可能性是 GPT-7 可以幫助為更便宜的製造成本提供資金或大幅提高全球經濟增長。
所有關於 GPT 5 及更高版本的說法都是關於現有趨勢的**，很可能是錯誤的，而且只有幾個數量級的估計。 GPT-6 的成本可能達到 750 億美元或更多。 OpenAI負擔不起。 Microsoft或谷歌也將消耗公司一半的資源。
如果 GPT-5 失敗了，或者它只是乙個漸進式的改進，那麼沒有人願意再在 GPT-6 上花費 750 億美元了。
但如果 GPT-5 接近人類水平，甚至掀起工業革命級別的變革，那麼花費 750 億美元製造下乙個 GPT-6 是有道理的。
GPT-5 不一定足以為 GPT-6 規劃做出重大貢獻。 但如果能實現GPT-6或其相關晶元製造和發電成本降低10%，就算是成功了。
然後迭代的結果變成指數過程 r。 如果指數大於 1，則 GPT 將呈指數增長。 如果索引小於 1，則逐漸消失。
也就是說，如果每一代人工智慧都足夠令人興奮，可以激發更多的投資，或者降低下一代人工智慧的成本，那麼這兩個因素的結合就可以在正反饋迴圈中創造下一代人工智慧（r > 1）。
但是，如果每一代人工智慧都不夠令人興奮，不足以激發創造下一代人工智慧或幫助下一代人工智慧降低成本所需的大量投資，那麼在某個階段，沒有人願意為更先進的人工智慧提供資金，當前的人工智慧熱潮將消退（r < 1）。
當然，這並不意味著人工智慧會消失——人們可能會創造出令人驚嘆的人工智慧藝術、機械人，甚至是女朋友機器。 只是大型模型的智慧型化將不再增長得那麼快。
當山姆·奧特曼（Sam Altman）要求7萬億美元時，亞歷山卓認為他想以一種集中、快速和高效的方式完成這一過程。 建立自己的晶元工廠和發電廠，為他的下乙個大模型做好準備。
如果他沒有得到7萬億美元。 這個過程也會發生，但更慢、更分散、更分散。
亞歷山卓傾向於第二種情況：從安全的角度來看，我們需要更多的時間來為這種顛覆性技術做準備。
山姆·奧特曼（Sam Altman）之前分享過這個職位！ 他希望人工智慧的發展盡可能循序漸進，而不是突飛猛進。 而保持漸進方法的方法之一是最大限度地提高現有晶元可以構建的人工智慧水平，然後人工智慧將以與晶元數量相當的速度（在最壞的情況下）發展。
但籌碼的7萬億美元飛躍**！ 這似乎與循序漸進的立場背道而馳。
如果OpenAI所謂的安全是建立在盡快擴大人工智慧規模的前提之上的，這怎麼能放心呢？
本文是斯科特·亞歷山卓（Scott Alexander）撰寫的文章“山姆·奧特曼想要7萬億美元”的翻譯，由Astral Codex Ten撰寫