繼 2 月 16 日發布 Gemini 1 之後5. OpenAI 的 GPT-4 之後的正面很硬。 當地時間2月21日，谷歌推出新一代開源模型“Gemma”，直接指代Meta的開源模型Llama 2。
谷歌表示，GEMMA是“最先進”的輕量級開放模型系列，超過了Mistral 7B和Llama 2，成為迄今為止同類語言模型中最強大的語言模型。
據谷歌官網稱，GEMMA在拉丁語中意為“寶石”，以它命名的開放模型系列GEMMA是由谷歌DeepMind等團隊開發的，使用與建立雙子座模型相同的研究和技術。
目前，GEMMA系列有“GEMMA 2B”和“GEMMA 7B”兩種尺度可供選擇，即20億個引數和70億個引數，以滿足開發者的不同需求。
在效能方面，它在多項測試中都領先於 LLAMA 2，包括 MMLU、BBH、MATH 等。
其中，GEMMA 7B在MMLU（Massive Multitasking Language Understanding）中獲得了64分。3%。就其大小而言，最初最強的Mistral 7b得分為625%，Meta 的 Llama-2 7b 和 13b 為 452% 和 548%，這與傑瑪相去甚遠。
在使用方面，開發人員可以根據自己的資料對 GEMMA 模型進行微調，並在框架、工具和硬體之間對其進行優化。 首先，谷歌通過了原生的keras 30 相容所有主要框架（Jax、Pytorch 和 TensorFlow），並為 GEMMA 提供了用於推理和監督微調 （SFT） 的工具鏈。
同時，GEMMA 支援多個 AI 硬體平台，包括 NVIDIA GPU 和 Google Cloud TPU，這使得 GEMMA 模型可以在所有型別的裝置上執行，包括膝上型電腦、台式機、物聯網、移動裝置和雲。
然而，與閉源模型相比，開源模型的安全性也是很多人關心的問題。
為此，Google 使用自動化技術從訓練集中過濾掉某些個人資訊和其他敏感資料。 此外，人類反饋 （RLHF） 被用於廣泛的微調和強化學習，以使指令調整模型與負責任的行為保持一致。 還評估了GEMMA模型的風險狀況。
GEMMA 的推出恰逢 Google 新推出的 Responsible Generative AI Toolkit，以幫助開發人員和研究人員優先構建安全和負責任的 AI 應用程式。
谷歌表示，作為乙個開放的產品，GEMMA允許所有組織，無論規模大小，都以商業上負責任的方式使用它，並符合安全標準。
此外，谷歌副總裁兼總經理兼開發者關係主管珍妮·班克斯（Jeanine Banks）也強調，GEMMA與Meta的開源不同，Meta的開源有許可條款，阻止其大型科技競爭對手使用其LLAMA 2開源模式，而谷歌GEMMA則沒有這樣的商業限制。 這波谷歌確實在得分！
事實上，在人工智慧領域，如果說Meta是大模型開源的鼻祖，那麼谷歌可以說是人工智慧領域的開源鼻祖。 無論是 OpenAI 還是 Meta，谷歌的競爭對手，還是任何生成式 AI 公司，他們都離不開 Transformer 框架的影響。
Transformer 框架在 Google 2017 年的“Attention is All You Need”** 中首次被提及。 作者：Vaswani，谷歌的人工智慧研究員，等人。
在 Google 發布之前，OpenAI 的技術路線圖主要集中在卷積神經網路 （CNN） 和遞迴神經網路 （RNN） 上。 由於 Transformer 架構的提出，有助於解決 RNN 在長距離依賴問題中的困境。
原件中變形金剛模型主要部件的插圖。
Transformer 模型在機器翻譯、文字摘要、問答等任務中取得了顯著的成績，並迅速成為自然語言處理領域的標準模型。 當今的大多數大型語言模型，包括 GPT-2、GPT-3、GPT-4、Claude、BERT、XLNet、Roberta 和 ChatGPT，都展示了 Transformer 執行各種自然語言處理 （NLP） 相關任務的能力。
另一方面，谷歌在人工智慧領域的實力此前一直被低估，可以說甚至比OpenAI、Meta等競爭對手擁有更大的先發優勢。
但自 2022 年 ChatGPT 發布以來，OpenAI 代表了世界上最先進的生成式大模型。 谷歌作為先驅，在這個領域幾乎“消失”了。
為了應對ChatGPT的挑戰，谷歌於2023年3月緊急推出了Bard。 2023年12月，Gemini多模態大模型發布。 與此同時，谷歌也面臨諸多質疑，甚至被指責在發布會上呈現假片段。
面對外部打擊，谷歌並沒有就此止步。 2024 年 2 月，谷歌將發布 Gemini Ultra 免費版和 Gimini 15. GEMMA開源三大舉措。 可以看出，谷歌一直在用實際行動證明自己。
近日，OpenAI再次推出顛覆性產品Sora，將多模態人工智慧領域提上日程。 這對谷歌來說壓力很大，但並不可怕。
早在去年年底，谷歌就推出了第一代模型視訊詩人。 據谷歌稱，該模型可以“零鏡頭生成”，不僅支援常見的文生和土生，還支援編輯、風格化、擴充套件和配樂。 從谷歌提供的輸出**效果來看，VideoPoet與之前的AI**大模型相比，確實有了質的飛躍。 未來，它可能會與OpenAI競爭。
目前，在開源大模型領域，隨著谷歌的強勢進軍，已經形成了三足的局面：Meta、歐洲Mistral AI和谷歌。 在閉源大模型領域，谷歌在OpenAI和Microsoft領導的陣營中佔據了一席之地。
再過不到兩個月的2024年，“大模型之戰”就已經開始，可以預見，2024年大模型領域的競爭將進一步公升溫。
但就國內市場而言，沒有誰能獨自掌控，我們還需要拭目以待，看看是否會有一匹黑馬如雨後春筍般湧現。 當然，我們也期待這樣一匹黑馬的出現。