中國大型模型產業的五大現實問題

Mondo 教育 更新 2024-02-19

文字 |劉奕琴,**金融十一

2023年科技領域最熱門的話題是AI模型。 這股熱潮由美國創業公司OpenAI引領,在ChatGPT發布後的幾個月裡,中國企業紛紛密集發布自己的大模型,整個2023年,中國企業發布的大模型數量已超過130個。

OpenAI實現技術突破的能力與技術創新領域的許多公司相似。 有足夠多的優秀人才,海量的資金支援,多年的持續投入,堅定的目標。 在ChatGPT發布前的很長一段時間裡,業界和投資界大多不看好OpenAI,但它並沒有動搖公司的發展方向。 2023年,幾乎所有人都認同大模型的方向,大家都認為OpenAI已經把結果拿出來了,其他公司要做的就是盡快跟進,繼續優化,確保未來能夠參與進來。

一些人將過去缺乏對大型模型的大規模投資歸咎於不確定的結果。 現在已經確定,算力、資料、人才可以加大投入,中國企業擅長工程優化,做出可以應用的大型模型產品指日可待。

但事實真的如此嗎? 對於OpenAI來說,大模型一直是乙個明確的方向,OpenAI的大部分資金都花在了算力上,當時NVIDIA的A100(AI專用晶元)**遠低於今天。 第三方資料機構 SemiAnalysis 估計,OpenAI 使用約 3,617 臺 HGX A100 伺服器,其中包括近 30,000 個 NVIDIA GPU。 光有GPU是不夠的,投資人Microsoft幫助OpenAI構建了乙個大規模的定製算力集群,可以進一步提高這些GPU的效率。 在資料方面,OpenAI持續投入到資料採集、資料標註、資料清洗、資料整理、資料優化等各個環節。 OpenAI團隊的大部分人來自頂級科研機構或科技巨頭。

也就是說,憑藉著這樣的實力和投入,OpenAI還是花了八年多的時間才打造出突破性產品GPT4,並且出現了“幻覺”(即回答非問題、胡說八道等)。

為什麼在短短幾個月內,一家中國公司就能夠製造出聲稱可以與GPT4相媲美的大型模型? 這是誰的幻覺?

2023年下半年,一些大模型被指出是“殼”,直接應用國外開源大模型,在一些測試大模型能力的榜單上排名靠前,多項指標接近GPT4。 多位業內人士告訴《財經》記者,榜單表現越好,殼牌佔比越高,稍有調整就會變差。

“殼牌”只是中國大模式產業現狀的冰山一角,它體現了產業發展的五個問題,這些問題是相互因果關係的,每個問題都無法獨立解決。 如今,大型模型的熱度已經大幅下降,2024年,中國大型模型行業的問題將進一步暴露出來。 但在興奮和問題之下,大型模型在行業中發揮了作用。

2023 年 11 月,阿里巴巴前技術副總裁兼 AI 科學家賈陽青發文稱,國內某大廠商製造的大模型使用了 Meta 的開源模型 Llama,但對幾個變數的名稱進行了修改。 賈陽青說,因為改名,他們需要做很多工作來適應。

此前,有國外開發者表示,李開復創立的“零千物”使用了駱駝,只是改名了兩個張量,因此業界質疑零千物是“殼”。 隨後,李開復和零一一切回應,表示訓練過程中使用了開源架構,出發點是全面測試模型並進行對比實驗,這樣他們就可以快速起步,但他們發布的yi-34b和yi-6b模型是從0開始訓練的, 並做了大量原創的優化和突破性工作。

2023年12月,**報道稱,在位元組跳動秘密開發的大型模型專案中,呼叫了OpenAI的API(Application Programming Interface),並將ChatGPT輸出的資料用於模型訓練。 而這是OpenAI的使用協議中明確禁止的行為。

隨後,OpenAI 暫停了 Byte 的賬戶,並表示將進一步調查,如果屬實,將要求更改或終止該賬戶。

Byte 對此的回應是,在 2023 年初,在技術團隊大規模模型探索的前期,一些工程師會將 GPT 的 API 服務應用到小模型的實驗專案研究中。 該模型僅用於測試,沒有上線計畫,也從未在外部使用。 在該公司於 2023 年 4 月引入 GPT API 呼叫規範檢查後,這種做法已停止。 此外,Byte Big Model 團隊提出了明確的內部要求,即 GPT 模型生成的資料不得新增到 Byte Big Model 的訓練資料集中,並且對工程師團隊進行了培訓,以便在使用 GPT 時遵守服務條款。

目前,國產大型車型主要分為三大類:一、原有大模型; 二是國外開源模型的外殼; 三是組裝大模型,即把過去的小模型放在一起,變成引數大的“大模型”。

其中,原創大模型的數量最少,製作原創大模型需要強大的技術積累,而且必須有持續的高投入,風險很大,因為一旦模型不夠強大,這些大規模的投資就會被浪費掉。 大模型的價值需要商業化,證明當市場上有足夠好的基礎大模型時,其他公司應該探索新的價值點,比如大模型在不同領域的應用,或者中間層,比如幫助大模型訓練、資料處理、計算服務等。

不過,目前的情況是,大部分參與者都在“滾動”所謂的“原裝大模型”,擔心風險太高,所以有大量的大模型被炮擊組裝。 不管是直接使用開源模型,還是組裝模型,只要符合相關規範,都沒有問題。 到了商業化階段,客戶不太在意是不是原創,只要有用就行,甚至很多客戶會因為成本較低而更願意選擇非原創技術。

問題在於,就算是組裝去殼,大家也要不斷強調“原創性”,而為了證明“原創性”,需要進行調整和修改,這樣會影響大模型的迭代能力,陷入內耗。

大模型的基礎之一就是海量算力,而它是高階計算能力,所以大模型也被稱為暴力美學。 英偉達的A100此前被認為是最適合訓練大型模型的,最近英偉達推出了一款更先進的計算晶元H100,但尚未在中國市場銷售。

英偉達一位長期合作夥伴告訴《財經》記者,2023年A100價格將上漲約1倍,據他了解,2023年將密集購買A100的中國企業主要是有自身業務需求的大型廠商,包括阿里巴巴、騰訊、位元組跳動等,創業公司寥寥無幾。 一些知名的大型模型創業公司會主動要求與他建立戰略合作關係,以此向外界證明自己在投資算力,“不給錢的那種”。

2023年,將密集購買A100的中國企業主要是自身業務需求的大型廠商,創業公司寥寥無幾。 圖IC

儘管美國有“出口管制規則”,但中國企業獲得英偉達的算力並非不可能,而且有很多方式可供選擇。 除了直接購買外,還可以通過NVIDIA在中國的合作夥伴購買。 GPU本身非常昂貴,購買後的部署、操作、除錯、使用都是成本。 此前,業內流傳著一種說法,國內很多科研機構連A100的電費都付不起。

由 8 個 A100 組成的 DGX 伺服器的最大功率為 65kw,即執行一小時需要6個5kWh,同時配備約等數量的散熱裝置。 按工業平均每千瓦時耗電量計算,0按63元計算,一台伺服器一天(24小時)的電費約為200元。 如果是1000臺伺服器,一天的電費大約是20萬元。

因此,除了大型製造商外,初創公司很難大規模購買和部署GPU。

也可以租用GPU資源,A100算力服務可以直接租用阿里雲、騰訊雲、亞馬遜AWS等雲服務平台。 在過去的一年裡,租金也上漲了不少。

然而,現實情況是,許多大型模型公司並不想在算力方面進行大規模投資。 多位關注AI的投資人告訴《財經》記者,一旦創業公司開始布局算力,就會出現兩個“問題”,一是這次投資沒有上限,沒有終點,沒人知道會燒到什麼地步。 OpenAI 今天仍然會宕機,因為計算能力跟不上。 其次,公司將成為重資產公司,這將對公司未來的估值產生不利影響,並將直接影響投資者的回報。

2023年,很多中國投資人會直接告訴大型模型創業者,先招一些名牌大學有背景的人,搶抓開發會,發布大型模型產品,再做下一輪融資,不要買算力。 創業公司在繁榮時期獲得了大量融資,招募了高薪人才,發布了備受矚目的產品,並推高了估值。 一旦風過頭,就需要繼續融資或上市,然後通過之前籌集的資金,用於低價甚至虧本競標專案,或者直接投資國外鞏固收益。

這就可能陷入惡性迴圈:如果不願意承擔算力高投入的風險,就很難在大模型領域取得突破,也很難與那些真正在這個方向上大規模投資的巨頭競爭。

資料和算力是大模型的基礎,在資料方面,中國的大模型行業面臨著與算力相同的問題:是否值得大規模投資?

在國內,一般的資料採集門檻很低,過去爬蟲工具主要用來採集資料,但現在可以直接使用開源資料集。 中國大模型以中國資料為主,業界普遍認為中國網際網絡資料質量低下。 一位人工智慧公司創始人將其描述為谷歌搜尋或YouTube,當他需要在網際網絡上搜尋專業資訊時。 在國產**或APP上,不是專業資訊不足,而是廣告內容太多,找到專業內容需要更長的時間。

openai用來訓練大模型的中文資料也和中國網際網絡平台一樣,只是在提公升資料質量上做了大量的額外工作,這不是普通的資料標註工作能做到的,需要專業的團隊對資料進行清理和整理。

此前,有AI創業者表示,在中國很難找到相對標準化的資料服務商,其中大部分都是定製服務,最重要的服務非常昂貴。

這有點類似於是否大規模投資算力的邏輯,這對很多公司來說似乎並不是什麼好交易,尤其是創業公司。 如果有大規模的投入,一旦最終模型效果不理想,也是“浪費”,不如使用開源資料訓練,直接開發專案。

此外,中國市場缺乏有效的資料保護一家大廠的人工智慧負責人說,“在中國,你能得到的資料,別人也能得到”,“如果你花很多錢做高質量的資料,別人就能用非常低的成本得到,反之亦然。 ”

包括資料處理在內的大模型中間環節,將是2024年比較明確的新發展方向。 不管是什麼樣的模型,在具體應用場景實現的時候,一定要用專業的資料進行優化除錯,對資料處理的要求更高,還需要參與模型除錯和工程優化。

但是,如果其中乙個環節成為投資者眼中的“新出口”,那就是另一回事了。

以上三個問題都指向乙個共同的方向:資本短視。

雖然OpenAI已經開闢了一條清晰的道路,但對於絕大多數公司來說,從零開始製作乙個成熟的大模型所需的成本和時間並不短多少。

對於大多數投資者來說,每項投資的目的都很明確:退出並賺錢。 OpenAI火了,估值一直在攀公升,未來還會繼續增長。 2023 年 4 月,該公司估值約為 280 億美元,而到 2023 年 12 月,根據美國的乙份報告**,OpenAI 的最新一輪估值可能超過 1000 億美元。 這在投資者眼中是乙個非常確定的訊號,如果對中國大型模式初創企業進行正確的投資,也可以在短時間內實現估值的提公升。

中國投資者的耐心只有三到五年,這是由資本運作模式決定的。 從LP籌集資金的投資者需要在一定時間內退出並獲得可觀的回報。 投資者可以通過併購、上市或將股份出售給新投資者進行後續融資等方式退出。

前期融資可以靠渠道和講故事,但在中後期甚至上市階段,必須具備一定規模的商業化能力。 投資者發現,拖得越久,專案上市或合併的難度就越大,因為AI領域的主要商業模式是做B端定製專案,這決定了創業公司很難賺到高增長的收益。 投資者只能趁著風還在,迅速推動公司完成多輪融資,提高估值,然後甚至把股票折價在**手中,也是價效比高的。

這也是為什麼2023年,大型模特相關的發布會層出不窮,各種大型模特榜單會綻放出不同的排名,這些都是有助於融資的“故事”。 類似的路徑早在幾年前就已經出現在AI行業,那個階段的代表企業就是AI四虎。 2023年大規模的模範創業,就是為了在一年內加快完成過去三年已經完成的路。

但目光短淺絕不是投資者的單方面問題。 在當今的商業環境中,大多數人都在尋找短期的、明確的結果,十年甚至五年後的未來似乎是不確定的。

2023年,我國大型模型產業將從大尺寸模型引數的競爭中迅速進入商業化階段。 在2024年1月的CES(消費電子展)上,兩位知名AI科學家李飛菲和吳恩達都表示,未來AI商業化將大幅發展,並將滲透到更多行業。

目前看來,大型機型主要有兩個應用方向:一是通過大模型技術為C端使用者提供新的工具,如GPT4付費版、文心大模型重構的庫、新的AI編輯工具、文生圖工具等。 然而,C端支付短期內難以大規模增長,對大規模模型工具有剛性需求的人相對較少。

乙個更有前途的商業化方向是B端服務。 在中國市場,做B端軟體服務一直是“大難”的生意。 多位投資人和業內人士紛紛提到,中國市場最大的B端客戶是**和國有企業,大模型作為先進的生產力工具,將對減少人力產生直接影響。 在**和國有企業中,減少人力在許多情況下會成為阻力。

如果你滿足於下乙個最好的東西,選擇中小型B型客戶,那麼在2024年可能會很困難。 一位AI模型創業者表示,他最近問了很多企業客戶,得到的回答是:“大模型能做什麼? 它能幫助我裁員還是能幫助我賺錢? ”

時至今日,即使是最先進的大型模型,也仍然存在“錯覺”的問題,這在C端應用中是可以容忍的,但在一些專業的B端場景中,出現“幻覺”就意味著很難真正落地。 過去比較AI,比如人臉識別,如果識別錯了,人工輔助和調整的成本很低,但大模型擅長“嚴肅地說廢話”,讓人摸不著頭腦。

但這個大模型已經在實踐中被使用。 不少業內人士提到,由於大模型的出現,很多過去無法解決的問題有了新的解決方法,效率有了明顯的提公升。 比如上面提到的拼接大模型,過去很少嘗試,但現在很多AI公司已經開始在不同的場景下把多個小模型放在一起,這樣在解決大多數類似問題的時候,就不需要單獨訓練模型了,可以直接呼叫使用。

此外,在一些擁有大型業務的公司中,也使用了大型模型。 與上一輪AI視覺技術驅動的AI演算法發展類似,這些AI演算法正在內容推薦、電商、打車、送餐等領域迅速發揮重要作用。 現在,騰訊的遊戲業務、阿里巴巴的電子商務業務、位元組的內容業務都使用了大模型。

2024年,AI大模型發展將出現幾個相對確定的趨勢:一是融資積極性下降,2023年完成多輪數億融資的企業數量將大幅減少,大型模式創業需要尋找新的出路。 目前看來,大廠商更有能力做大模型基礎設施的工作,創業公司可以考慮調整方向,填補基礎大模型和應用之間的空白。

其次,大模型的應用將繼續深化,但這將主要集中在數位化程度高、業務量非常大的領域。 在C端,大型模式也將進一步普及,但對於中國企業來說,不能只依靠C端使用者付費,C端應用場景將加入其他變現模式,主要是廣告。

第三,國內算力將得到進一步重視,獲得關注並不意味著短期內會有重大進展,這是乙個漫長的過程。 在國內算力能力提公升的同時,將有更多投機、造勢、圈錢的機會。

風口將刺激行業快速擴張,泡沫將誕生,機會越大,泡沫越大。 只有拋開泡沫,才能看到產業發展的新機遇。

相關問題答案

    心智模型 理解問題的四個層次

    心智模型是乙個強大的工具,可以幫助我們理解和解決複雜的問題。在這篇文章中,我們將 心智模型的四個層次,並用具體的例子說明如何應用這些層次來解決問題。第 級 經驗技能。經驗技能是基於我們過去的經驗和知識的最基本的心智模型。當我們面臨乙個新問題時,我們通常會嘗試使用我們已經知道的方法來解決它。例如,如果...

    中國的醫療存在什麼問題?醫生和患者的真實感受

    中國的醫療存在什麼問題?醫生和患者的真實感受 中國的醫療被毀了 醫生很難說話,但病人知道!中國醫療體系的現狀如何?這個問題就像乙個巨大的黑洞,侵蝕著人們的信心和期待,我們必須反思。在這個幅員遼闊的國家,我們無法迴避醫療保健系統的重要性。然而,不幸的是,乙個曾經被譽為奇蹟的行業現在充斥著許多令人痛心的...

    醜陋到要“破產”的五款老國產產品,都是正品,卻有真本事!

    醜陋到要 破產 的五款老國產產品,都是正品,卻有真本事!的好壞直接影響到乙個人的外表,所以愛美的女性非常重視護膚工作,在選擇護膚品時,主要以國際品牌為主。這主要是因為 很多人認為大品牌的精美包裝一定有很好的效果,而 醜死 的國產產品,一看就很便宜,千萬不要用。其實這只是人們的主觀推測,其實大家購買大...

    那英被捕了?她消失了五個月,真的惹上了大麻煩

    這兩天,一連串關於那英的傳聞越來越離譜。起初,在湖南衛視播出的 生命之聲 節目中,有發現那英的鏡頭被剪掉了。那英和其他兄妹們圍著顧建芬拍了一張 照。但節目組只 丟掉了那英,留下了剩下的幾個人。在春晚那英與王菲合作舞台 遇見九十八 中,只剩下王菲的單鏡頭。那英莫名其妙地被打斷了。節目組刻意迴避那英的做...

    那英被捕了?她消失了五個月,真的惹上了大麻煩

    這幾天,關於那英的各種八卦聽起來越來越離譜。最初,在湖南衛視的 生命之聲 節目中,有觀眾注意到那英的鏡頭是經過剪輯的。那英和其他兄妹們圍著顧建芬,一起合影留念。不過,節目組決定裁掉那英,只保留剩下的成員。那英和王菲在春晚的舞台 遇見九十八 上播出時,只播放了王菲的乙個鏡頭。那英不知為何,突然被打斷了...