視覺中國。
文字 |徠泰SORA的辯論仍在繼續。 有人認為SORA會是通向AGI（Artificial General Intelligence）的快車道，也有人認為SORA開闢了一條結合Transformer架構和擴散模型的新技術路線，也有人認為SORA與AGI關係不大，是產品中的乙個重要里程碑，但在技術上並不比ChatGPT更重要。
無論SORA的出現意味著什麼，大型模型的爭奪還遠未結束。 如果說OpenAI佔據了當今閉源大模型生態的一極，那麼Meta無疑是開源大模型的另一極。
Meta 的駱駝（羊駝）可以說是從一開始就最強大的開源模型之一。 去年 7 月，Meta 發布了更強的 Llama 2，最重要的是開源許可證已經從只研究轉向免費和商業化，雖然也在 shell 中創造了大量的大模型，但毫無疑問，它一舉改變了大模型的格局。
然而，AI 世界日新月異，之前法國開源新秀 Mistral 挑出了 Llama 2（2 月推出了閉源大模型 Mistral Large，僅次於 GPT-4），然後 Google 發布了 GEMMA 開源大模型來碾壓 Llama 2。
現在是 Llama 3 的時候了。
今年 1 月，Meta 首席執行官馬克·扎克伯格（以下簡稱小扎“小扎”）在 Instagram 上宣布 ** Meta AI 已開始訓練 Llama 3。 根據 The Information 的最新披露，Meta 計畫在今年 7 月正式發布 LLAMA 3。
小扎官宣**，圖片來自Instagram
考慮到 Meta 花了三個月的時間訓練第一代 Llama，花了大約六個月的時間訓練 Llama 2，如果下一代車型遵循類似的時間表，它也應該在 2024 年 7 月的某個時候發布。
不僅如此，根據相關報道和Meta官方透露的資訊，預計在四個月後發布的Llama 3野心更大，恐怕會再次以開源的身份改變大模型的世界。
至少就目前而言，算力仍是大模型迭代的關鍵因素之一，就連OpenAI也要時不時地解釋一下自己的算力儲備。
在Instagram**中，小柵表示，預計到2024年底，Meta將擁有35萬台Nvidia H100（官方售價為3.）。50,000 美元，實際上仍然處於溢價狀態），如果包括其他計算資源，它將達到近 600,000 h100：
目前，可能只有Microsoft和谷歌擁有可比的算力儲備。
小彥這句話的含義其實很明顯：Meta 有足夠的 AI 計算資源來支援 Llama 3 的大規模預訓練和生成式 AI 的技術研究。
引數的確切大小目前還不得而知，但可以預料的是，之前的版本會繼續多引數尺度，有傳言稱最大版本將超過1400億個引數，直接挑戰GPT-4等領先的大模型。
該資訊還援引內部訊息人士的話指出，LLAMA 3 不僅放鬆了安全圍欄，而且在處理有爭議的問題時提供了比 GPT-4、Gemini 和 LLAMA 2 更好的答案。 Meta 顯然希望至少提供有關查詢的上下文，而不是忽略或拒絕回答使用者的問題。
為了做到這一點，除了要求 Llama 3 從技術上改進大型模型的錯覺問題外，可能還需要改進上下文長度。 在 Llama 2 上，Meta 將上下文長度增加了一倍，允許模型在推理（與 AI 聊天的過程）期間記住兩倍的令牌上下文。
另一方面，大型模型廠商普遍轉向多模態大型模型（如Gemini和GPT-4V）的研究，即除了文字之外，還支援和理解影象和音訊，並且可以同時生成文字、聲音和音訊。 Meta 可能也不例外。
雖然小鉑只確認駱駝3會像駱駝2一樣包含**生成功能，但他並沒有明確提及其他多模態功能，但他還是在官宣中談到了人工智慧與元宇宙相結合的想法**。
眼鏡是 AI 看到所見所聞的理想形式，Xiaozha 指出，在談論 Meta X Ray-Ban 眼鏡時，它總是可以提供幫助。 」在關於獨立AI終端AI Pin的報告中，雷科技還深入探討了可穿戴裝置在AI視覺和聽覺領域的巨大潛力。
換句話說，Meta 的方向一定是讓 AI 模型同時具備自然語言理解、視覺和聽覺能力。 可以推斷，對駱駝3甚至後續幾代駱駝的多模態支援可以說是該主題的正確含義。
總體來看，可以合理預期，即使LLAMA 3的規模保持在70億到700億引數的範圍內，仍然會帶來顯著的效能提公升，LLAMA 3也會帶來更多的想象。
更重要的是，Meta 也有對 AGI 的追求。
越來越明顯的是，下一代服務需要構建全面的通用智慧型。 小扎明確指出了 Meta 構建 AGI 的長期目標，即打造最好的 AI 助手、創作者 AI、企業 AI 等等——這需要 AI 各個領域的進步，從推理到規劃，從編碼到記憶和其他認知能力。 」
當然，這並不意味著 Llama 3 將實現（甚至嘗試實現）AGI。 但毫無疑問，Meta 有意以他們認為最終可能導致 AGI 的方式進行研發。
平心而論，無論 LLAMA 3 是否開源，都將對整個 AI 行業產生巨大影響。
作為業界使用最廣泛的開源模型，LLAMA 2 及其上下游作為重要核心，已經開始有意識地構建生態系統。 去年 12 月，為了對抗以 OpenAI 和谷歌為代表的閉源陣營，Meta 聯合甲骨文、英特爾、AMD、IBM、索尼、戴爾等 57 家全球科技公司和研究機構組成了 AI 聯盟。
AI 聯盟成員，圖 IBM
該聯盟有六大目標，其中之一是構建開源模型生態系統，包括從研究、評估、硬體、安全、公眾參與的一整套流程。
雖然小吏沒有明確說明Llama 3是否開源，但Llama 3很有可能繼續開源。
在宣布《駱駝3》正在接受訓練後，小扎在接受The Verge採訪時表示： 我傾向於認為，這裡更大的挑戰之一是，如果你構建了一些真正有價值的東西，那麼它最終會非常專注。 然而，如果你讓它更加開放，那麼你可以解決由於機會和價值不平等而可能出現的一大群問題。 」
如果說小形的回應更像是一種態度的表達，那麼Meta的首席AI科學家Yann Lecun的回應則更切中要害。 在接受《連線》採訪時，Yann Lecun指出：
當你有乙個開放的平台，許多人可以做出貢獻時，進步就會變得更快。 您最終會得到乙個更安全、效能更好的系統。 （同時）想象乙個未來，我們與數字世界的所有互動都由人工智慧系統主導。 你不希望人工智慧系統被美國西海岸的少數幾家公司控制。 也許美國人不會在乎，也許美國**不會在乎。 但我現在告訴你，在歐洲，他們不會喜歡它。總而言之，開源可以吸引更多的廠商進行微調，吸引更多的開發者構建應用，吸引更多的使用者使用，帶動生態的快速發展。 尤其是當 Meta 佔據開源大模型的頂級生態位時，除了最先進的閉源大模型外，使用者可能會對其他所有模型失去興趣，Meta 更容易在 OpenAI 的生態之外培育出龐大的開發生態，甚至超越 OpenAI：就像當時的Android一樣。
此外，監管問題是不可避免的。 鑑於人工智慧的顛覆性，當人工智慧過程不完全由一家公司主導，而是由全球公司和開發商構建時，它也更有可能被監管機構接受。
願景是美好的，但現實並非如此。 問題是，Meta 是否還能重回開源寶座，甚至超越 GPT-4？
圖 X（以前稱為 Twitter）。
時局變了，當《駱駝3》發布時，Meta可能面臨著完全不同的局面。 谷歌的Gmoma碾壓和Mistral的黑馬姿態都證明了Meta的開源寶座並不穩定。 尤其是谷歌，雖然每次都被OpenAI碾壓，但沒有人敢真正忽視谷歌的金錢、技術和號召力。
當然，在《駱駝3》發布之前，這些問題不會得到更明確的答案。 在那之前，一切皆有可能。