作者:Fumiko。
編輯:肖迪.
谷歌,在 2024 年達到新的高度。
世界上最強大的開源模型,GEMMA重新點燃了這場戰鬥。
短短12天,三大動作接連發布,谷歌AI更新迭代速度出乎意料。
當地時間2月21日,谷歌毫無徵兆地發布了被譽為“全球最強大最輕量級”的新一代開源系列模型Gemma,瞬間掀起了AI開源大戰。
根據官方介紹,GEMMA模型採用與Gemini相同的技術,共有20億個引數和70億個引數,每個引數分為預訓練和指令微調兩個版本。
其中,20億引數版本可以直接在膝上型電腦上執行,70億引數版本在語言理解、推理、數學等一系列標準測試中擊敗了主流開源模型LLAMA-2和MISTRAL,一度登頂Hugging Face開源大模型排行榜,成為全球最強開源大模型。
可以看出,除了瞄準山姆奧特曼的GPT-5之外,谷歌並不打算放過扎克伯格的LLAMA-2,相繼推出的Gemini和GEMMA都是標桿產品。
與 Gemini 的 Family Bucket 路線不同,Gemma 是輕量級、高效能的,除了膝上型電腦之外,還可以在台式機、物聯網裝置、移動裝置和雲上執行。
除了模型本身之外,Google 還提供了一套工具來幫助開發人員確保負責任地使用 GEMMA 模型,並幫助開發人員使用 GEMMA 構建更安全的 AI 應用程式。
據谷歌首席執行官桑達爾·皮查伊(Sundar Pichai)稱,GEMMA將從現在開始在全球範圍內推出,使用者可以在Kaggle和Hugging Face等平台上試用**。 據X平台的一位使用者介紹,GEMMA不僅速度快,而且輸出穩定。
值得注意的是,谷歌現在已經與英偉達達成了戰略合作夥伴關係,使用英偉達的Tensorrt-LLM優化GEMMA。 同時,英偉達剛剛發布的聊天機械人 Chat with RTX 也將很快增加對 GEMMA 的支援。
來自亞洲的31人首次出席了會議。
與Gemini的發布一樣,谷歌也發布了GEMMA的技術報告。
根據該報告,GEMMA資料主要來自線上文件、數學和英語資料。 與 Gemini 不同,這些模型不是多模態的,也沒有針對多語言任務進行訓練。 谷歌保證相容性,它會拆分數字但不會刪除多餘的空格,這可能意味著它更容易擴充套件到其他語言。
然而,GEMMA 並不是完全“開源”的,雖然 GEMMA 模型在效能、安全性和負責任的開發方面取得了突飛猛進的進步,但 Google 承認“此版本是不可逆的”,並且開放模型造成的危害尚未明確定義。
因此,谷歌仍然可以為該模型的使用建立條款和所有權條款,並將進一步研究並建立乙個可靠且安全的模型,該模型應可靠且按預期執行。
此外,根據技術**,谷歌GEMMA開源模式涉及的研發人員數量高達57人。 其中,核心貢獻者14人,參與者35人,產品經理2人,專案經理1人,執行發起人5人。
根據開發者的名字,參與GEMMA模型開發的57名開發者中,有一半以上可能來自亞洲,或者與中國人或有華人血統的人有關係。
例如,谷歌GEMMA團隊的侯樂博士是谷歌FLAN-T5技術的作者。 在加入 Google 之前,侯先生在紐約州立大學石溪分校攻讀博士學位,專注於高解像度影象的分析,包括衛星影象和醫學影象。 加入谷歌後,侯先生的研究重點是NLP,包括高效的語言模型訓練、指令微調和提示工程,他的核心能力是通過更好的微調和提示工程來提高最先進語言模型的推理能力。
另一位中國人耿彥,也是AI領域的神級人物。 他畢業於浙江大學,獲得電腦科學學位,隨後在卡內基梅隆大學獲得計算機視覺碩士學位。 耿彥曾就職於商湯科技、亞馬遜,專注於人工智慧機器演算法技術,在谷歌參與開發用於人臉追蹤的Google FaceMesh AI模型,在Google Camera**、移動支付等多個場景中發揮了巨大作用。
截至目前,開發人員可以在 Kaggle 中免費使用 GEMMA,首次使用 Google Cloud 的使用者將獲得 300 美元的積分,並可以申請高達 500,000 美元的 Google Cloud 積分來使用這些模型。
此外,Google 的 Google One AI Premium 正在將 Gemini 整合到 Google Gmail、Docs、Sheets、Slides 和 Meet 中,以提供 AI 增強功能,例如寫作、校對和影象生成。 作為帳戶付費產品,前兩個月免費,之後每月 19 美元99 美元。
世界四面楚歌,谷歌的野心暴露無遺。
可以說,谷歌成為AI行業之王的野心已經暴露無遺。
2 月 9 日,谷歌宣布其最強大的機型 Gemini Ultra 免費使用,對 OpenAI 發起了沉重打擊。 2月16日,谷歌發布了一款大型模型核彈雙子座1號5. 將上下文視窗長度擴充套件到 100 萬個代幣,以挑戰 OpenAI 尚未發布的 GPT-5。 隨後在2月21日,谷歌發布了GEMMA Crazy Sniper Mate,一舉登上了開源大模型的鐵王座,給生成式AI的應用開發者帶來了好訊息,也代表閉源給OpenAI上了一課。
OpenAI 首席執行官 Sam Altman 曾私下表示,與谷歌相比,OpenAI 在算力上處於劣勢。 無論是在算力、演算法還是資料方面,谷歌都有明顯的技術領先優勢。
而這一次,谷歌確實有拳打腳踢 Meta 的風格。 尤其是這兩年,頭部科技公司一直在追我,而且打得極為激烈。 過去,有代表OpenAI推出的閉源GPT-4 Turbo模型,然後Meta大力攻擊開源權重模型,留給谷歌的不多。
據 Google Developer X 副總裁兼總經理、Google 開發者關係負責人 Jeanine Banks 介紹,GEMMA 模型就像是 Google 開源 AI 開發技術歷史的延續,從 Tensorflow 等工具開始,經過 Palm2 和 Alphafold 的演進,最後形成 GEMMA。
目前,擺在GEMMA面前的競爭對手並不缺乏,包括Meta的開源大型語言模型Llama 2,Mistral AI的7B模型,Deci的DeciM和Microsoft的Phi-2,以及類似的小型生成式AI模型,旨在執行在組織自己的硬體上。 可以說,窒息的谷歌正在四面楚歌。
接下來,就看剛剛從神壇上掉下來的Meta將如何接手。