2024年初，去年大幅上漲的科技股大幅下跌，但AI浪潮的領頭羊英偉達仍有不減的勢頭。
沒有一家晶元公司不看不起英偉達的地位，隨著AI產業的蛋糕越來越大，硬體賽道也是肉眼可見的。 許多初創公司正試圖從Nvidia GPU預算中分一杯羹。
*總結了目前處於競爭前沿的 12 家公司。 這些初創企業的平均歷史只有5年，最高融資額為7年2億美元，他們都是英偉達的有力挑戰者。 
成立時間：2024年
應用：培訓
Cerebras 以製造巨型晶元而聞名。 由 Gary Lauterbach 和 Andrew Feldman 共同創立。 兩人還共同創立了Seammicro，這是一家專注於超高密度計算機伺服器的公司，該公司於2024年被AMD出售，銷量高達357億美元**收購。
Cerebras的主要產品是可用於AI訓練的超級計算機晶元和系統，專為超級計算任務而構建，此類晶元的尺寸約為普通GPU的56倍。
Cerebras的客戶集中在國防、學術實驗室和其他機構。 旗艦CS-2超級計算系統已部署在美國能源部阿貢國家實驗室、匹茲堡超級計算中心、愛丁堡大學超級計算中心等地。
然而，儘管Cerebras已經獲得了高達7億美元的融資，但由於英偉達GPU和CUDA生態系統的主導地位，Cerebras在獲得商業客戶方面面臨著艱鉅的挑戰。
今年1月，該公司宣布將與美國領先的醫療機構梅奧診所合作，使用Cerebras的計算晶元和軟體，基於數十年的匿名醫療記錄和資料開發專有的人工智慧模型。
據報道，一些模型將能夠讀取和寫入文字，例如為新患者總結病歷中最重要的部分。 其他模型可以分析複雜的藥物**或分析基因組資料。
Cerebras首席執行官安德魯·費爾德曼（Andrew Feldman）表示，這是一筆為期多年的“數百萬美元”交易。
成立時間：2024年
應用： Inference
d-matrix 成立於 2019 年，正在開發用於執行機器學習模型的專用晶元和軟體，該公司的晶元可以結合處理和記憶體，這通常是晶元上獨立且不同的元件。
D-Matrix 的晶元產生的熱量更少，因此需要的冷卻更少，使其比主流 GPU 和 CPU 晶元更具成本效益。 據該公司CEO介紹，很多公司都希望使用大模型來設計AI應用，成本非常重要。
D-Matrix 選擇專注於推理，即執行 AI 模型，而不是訓練。 該公司認為，隨著時間的推移，模型會變得更大，執行成本會越來越高。 該公司已經有客戶測試其晶元和軟體，並計畫在24年上半年將其投入商業使用。
成立時間：2023 年
應用： Inference
EHED於去年6月由兩名哈佛大學輟學生G**in Uberti和Chris Zhu創立，計畫生產一款名為SOHU的AI推理加速晶元，其推理效能將是H100的10倍。 該公司成立後不久的估值為 3400 萬美元。
據介紹，在製造工藝上，搜狐採用革命性的方法，將Transformer架構直接雕刻到晶元的核心中。 因此，效能可以達到前所未有的高度，搜狐在模擬中執行大型模型的速度比傳統 GPU 快 140 倍。 搜狐還支援通過樹搜尋進行更好的編碼，並行比較數百個響應的能力，以及多播推測解碼以實時生成新內容。
根據 Etched 的部落格，這種架構將允許萬億引數模型以無與倫比的效率執行。 該系統只有乙個核心，可以容納乙個完全開源的軟體堆疊，可擴充套件到 100t 引數模型。
成立時間：2024年
應用：推理和訓練
Extropic 是這些初創公司中最神秘的一家。 公司創始人來自谷歌旗下的“登月工廠”部門“X”，專注於前沿技術探索。 據報道，Extropic專注於量子計算，並計畫開發一款專門設計用於執行大型模型的晶元，但目前還沒有關於具體產品曝光的細節。
去年年底，該公司剛剛完成了1410萬美元的種子輪融資。
根據該公司的新聞稿，隨著生成式人工智慧的興起以及世界對可擴充套件、具有成本效益和高效計算的需求急劇增加，Extropic 希望使計算機能夠利用熵作為一種資產，通過程式設計學習，並以前所未有的效率執行，根據該公司的新聞稿
Extropic 的計算正規化建立在熱力學原理之上，旨在將生成式 AI 與世界的基礎物理學無縫整合。 我們的目標是最終將生成式人工智慧嵌入到物理過程中在空間、時間和能量方面突破物理定律規定的效率極限成立時間：2024年應用： Inference
Graphcore成立於2024年，總部位於英國布里斯托。 公司主要產品為智慧型處理單元（LPU），專注於大模型推理。
公司產品最大的特點是極快的生成速度，可以保證流暢的終端體驗。 在消費類AIGC應用中，使用者對速度有較高的要求，開源模型Meta Llama 2 70B的Groq LPU每秒可以生成300個單詞，7分鐘可以生成與莎士比亞《哈姆雷特》相同數量的單詞，比普通人的打字速度快75倍。
GroQ 的聯合創始人兼首席執行官 Jonathan Ross 認為，隨著使用這些產品的客戶數量的增加，執行模型的成本也在增加，推理成本正在成為在其產品中使用 AI 的公司面臨的乙個問題。 與 NVIDIA GPU 相比，GroQ LPU 集群將為大型模型推理提供更高的吞吐量、更低的延遲和更低的成本。
此外，由於HBM3和CONOS封裝的容量，目前NVIDIA GPU的產能無法完全滿足客戶需求，而Groq LPU的獨特之處在於它不依賴三星或海力士的HBM，也不依賴台積電的CODOS封裝技術，因此不會像NVIDIA那樣面臨產能瓶頸。
成立時間：2024年
應用：訓練和推理
LightMatter使用雷射發出的光在晶元和伺服器群之間傳輸資料，由麻省理工學院的學生使用學校的專利技術創立。
該公司聯合創始人兼首席執行官尼古拉斯·哈里斯（Nicholas Harris）表示，與英偉達（Nvidia）、AMD和英特爾（Intel）等通過電纜傳輸資料的晶元製造商相比LightMatter的產品可以降低資料中心的能源成本約80%。
成立時間：2024年
應用：未公布
MATX由前谷歌員工創立，CEO萊納·波普（Reiner Pope）是谷歌Pathways模型的開發者之一，首席技術官邁克·岡特（Mike Gunter）是谷歌TPU的開發者之一。
MATX正在為文字應用開發LLM專用晶元。 該公司表示，其自主開發的晶元比英偉達的GPU硬體執行得更快，成本更低，並且可以支援各種人工智慧應用，包括影象生成。
Mattx表示，它得到了幾家風險投資公司的支援，但沒有透露具體的資金，並表示它得到了“知名大型模型開發商的大力支援”，但沒有透露具體公司。
成立時間：2024年
應用： Inference今年，我開始涉足培訓
Modular 專注於構建用於訓練和執行大型模型的開發平台和編碼語言，使用者可以在其中使用各種 AI 工具，包括 Google 的開源軟體 TensorFlow 和 Meta 的開源軟體 PyTorch。
公司認為人工智慧的發展現在受到過於複雜和分散的技術基礎設施的阻礙，而Modulal的使命是消除大規模構建和維護人工智慧系統的複雜性。
構建和執行AI應用程式需要大量的計算能力，為了控制成本，公司可能會使用不同型別的AI晶元，但這些晶元的軟體往往彼此不相容。 特別是，英偉達用於編寫機器學習應用程式的 CUDA 軟體僅在自己的晶元上執行，這基本上將開發人員鎖定在他們的 GPU 中。 CUDA對使用者非常粘性，有報道稱，一家計算機視覺初創公司花了兩年時間才轉向非英偉達晶元。
Modular希望通過開發CUDA的替代品來改變這種狀況，解決不同晶元的軟體相容性問題，使非NVIDIA晶元的使用更加容易。
成立時間：2024年
應用：推理和微調
傳統 GPU 的訓練和推理過程會產生高昂的成本，部分原因是這些晶元在從記憶體和處理元件傳輸資料時會產生熱量，因此 GPU 需要持續冷卻，從而增加了資料中心的電力成本。
Rain AI 的 NPU 晶元可以模仿人類的生物大腦，結合記憶體和處理能力，不僅在計算速度和能效方面表現出色，還可以根據周圍環境實時定製或微調 AI 模型。 但是，該公司尚未生產成品。
據**了解，2024年簽署的乙份意向書顯示，OpenAI計畫斥資5100萬美元購買Rain AI NPU晶元，用於GPT模型的訓練和部署。
成立時間：2024年
應用： Inference
sima.AI專注於為邊緣計算裝置開發硬體和軟體，用於飛機、無人機、汽車和醫療裝置等場景，而不是資料中心。
該公司的創始人克里希納·蘭加薩伊（Krishna Rangasayee）在晶元製造商賽靈思（Xilinx）工作了近二十年。 此前，在接受**採訪時，他表示，由於各種原因，許多行業無法使用基於雲的AI服務，SIMA表示人工智慧將專注於服務於那些去中心化的邊緣計算裝置。
例如，自動駕駛汽車需要即時做出決策，只有內建的人工智慧才能滿足其苛刻的延遲要求。 在醫療保健等行業，公司可能不希望將敏感資料傳送到雲端，而是將其儲存在裝置上。
2024年6月，SIMAAI表示，它已經開始大規模生產其第一代邊緣AI晶元。 該公司表示，它正在與製造業、汽車和航空等領域的50多家客戶合作。
成立時間：2024年
應用：訓練和推理
Tenstorrent 由三名前 AMD 員工創立，總部位於加拿大多倫多。
TensTorrent 以異構和小晶元設計的形式開發 RISC-V 和 AI 晶元。 目前，已經開發了基於12nm工藝的Grayskull和Wormhole兩款晶元，FP8算力高達328Tflops。 該公司的目標是將**推到 1 5 到 1 10 個效能相似的 GPU。
2021 年，Tenstorrent 還推出了 DevCloud，它允許 AI 開發人員無需購買硬體即可執行大型模型。
然而，近年來，或許感受到了英偉達等硬體廠商的壓力，Tenstorrent已將重點轉移到技術許可和服務上。
成立時間：2024年
應用：訓練和推理
Tiny Corp 由自動駕駛初創公司 Comma AI 的創始人兼前首席執行官 George Hotz 創立，其產品將使用名為 Tinygrad 的開源深度學習工具構建，據說該工具可以幫助開發人員更快地訓練和執行大型語言模型。
Hotz 認為，Tinygrad 可以成為 PyTorch 的“有力競爭者”，PyTorch 是源自 Meta 的深度學習產品。 但目前，他尚未透露有關該產品的具體細節。