作者:王瑾。
2月21日,谷歌正式發布開源大模型GEMMA。
這是自谷歌上乙個大型模型Gemini 1以來的很短的時間距離5的發布還有不到一周的時間,大型機型的競爭正在加劇。
2月15日,OpenAI發布了SORA文生**的能力SORA,再次震驚了整個行業。
當時,就連在文盛領域惹事生非的Runway、Pika等公司的創始人也不得不低頭。
SORA在全球的“病毒式”傳播,再次證明了奧特曼OpenAI的天才營銷能力,也讓雙子座1.,比SORA早了兩個小時才發布5. 未能在最佳傳播時間獲得應有的全球關注。
不管是奧特曼有意為之還是意外,巨頭之間的競爭已經到了白熱化的地步,谷歌需要再拿出一張底牌來重新獲得市場的關注。
顯然,昨天的GEMMA是谷歌的另一張底牌,但這一次谷歌的目標是開源模式。
谷歌此次發布的GEMMA包含GEMMA 2B和GEMMA 7B兩款“小”型號,由於引數大小分別為20億和70億,並不大,谷歌將這兩款型號歸類為一系列輕量級開放型號。
值得一提的是,GEMMA採用了與谷歌主力大機Gemini相同的技術架構,也是裝置端大機,可以直接委託給膝上型電腦和台式機。
在此之前,谷歌在 2023 年 12 月首次發布 Gemini 大機型時,谷歌 CEO 桑達爾·皮查伊 (Sundar Pichai) 一口氣宣布了 Ultra、Pro 和 Nano 三個版本,並表示,“這是第一批進入 Gemini 時代的機型,也是谷歌 Deepmind 成立之初的願景。 ”
其中,Gemini Nano 引數尺度為 18b 和 325b,被 Google 用作端側模型。
事實上,谷歌在 2023 年初發布的 Pixel 8 Pro 因其顯著的 AI 功能而被視為具有劃時代意義的智慧型手機,而在 AI 手機潮流中站穩腳跟的谷歌今年將 Gemini Nano 放在三星 Galaxy S24 中,幫助三星進入“Galaxy AI 時代”。
Zhiding.com 認為,在手機廠商、PC廠商和晶元廠商齊心協力推動端端AI的這一年裡,谷歌發布的2B和7B開源大模GEMMA更重要的功效有望體現在端端AI領域。
從開源的角度來看,Google Gemma 並不是第乙個大型開源模型。
早在 2023 年 7 月,Meta 就發布了免費商用的大模型 Llama 2,而這一動作其實是 Meta 和 Microsoft 合作的傑作,擁有 7B、13B、70B 三個引數級版本的 Llama 2,當時被視為 OpenAI ChatGPT 的替代產品。
當 Meta 開源 LLAMA 2 時,Yann Lecun 公開感慨地表示,LLAMA 2 的開源和商業化將極大地改變大模型的市場格局。
從國內來看,阿里是開源模式的又一推動者。
2023年8月,阿里雲開源通益千問7B模型,成為國內首家推廣大模型開源的企業,隨後阿里雲陸續開源了14b、72b、18B引數尺度的大模型,最大引數尺度的72B版本,甚至超過了駱駝2。
科技巨頭之所以願意開源大模型,就是為了借助開源加速技術的發展。
這自然是谷歌開源 gemma 的主要目的。
因此,在 Google GEMMA 開源的時候,Google 也宣布了 GEMMA 對一系列開發工具和系統的支援,以及跨裝置的相容性,具體如下:
多框架工具:GEMMA 提供 Keras 30. 原生 PyTorch、Jax 和 Hugging Face Transformer 框架的參考實現;
跨裝置相容性:GEMMA機型可在膝上型電腦、台式機、物聯網、移動裝置、雲端等多種主流裝置型別上執行;
硬體平台支援:Google 已與 NVIDIA 合作,使用 NVIDIA GPU 優化 GEMMA 模型;
基於 Google Cloud 的優化:Vertex AI 提供廣泛的 MLOPS 工具集,其中包含一系列微調選項和一鍵部署功能,並具有內建推理優化功能。
基於此,谷歌終於在 Meta 發布新版 LLAMA 之前推出了一款開源模型,谷歌官方甚至將該模型在關鍵基準集上的表現與 LLAMA 2 進行了對比,得出的結論是 GEMMA 7B 的表現優於 LLAMA 2 7B 和 13B 版本。
不過,出門問問創始人李志飛指出,“時機有點晚了”,“開源還不夠”,“我覺得這個開源還是被動防禦”。
他還提到,谷歌在AI領域經常早起追趕晚,從這個SORA借鑑的VIT、VIVIT、N**IT、馬等核心元件技術都是谷歌團隊以前的**。
當然,無論是“攻”還是“防守”,對於GEMMA來說,最重要的是展示谷歌在AI領域的開源態度。
未來2024年,大型車型的競爭也將加劇。