士兵們速度很快。 在大模的戰場上，谷歌總是落後一步，因此一再被嘲笑“早起晚補”。 但昨天，谷歌大舉出動，發布了一款開放模型 Gemma，聲稱它是輕量級中“最先進”的開放模型系列，超越了原來最強的 Mistral 7B。
這款帶有拉丁語“寶石”意味的模型的推出，在此時非常有意義。 首先，根據谷歌的官方網站，GEMMA使用了與建立雙子座模型相同的研究和技術。 但相較於封閉的雙子座，GEMMA的開啟無疑會吸引更多的人; 其次，有訊息稱 Meta 可能會在不久的將來發布其 LLAMA 開源模型系列的最新版本。
那麼GEMMA究竟表現如何呢？ 它在多大程度上是“開放”的？ 對開源模型的未來發展有何啟示？ 讓我們一一介紹一下。
目前，GEMMA開放模型分為“GEMMA 2B”和“GEMMA 7B”兩個版本，即20億個引數和70億個引數，以滿足開發者的不同需求。 這兩個版本都提供了預訓練模型和指令調優變體。
使用者現在可以訪問 Kaggle、Colab 和 Google Cloud，還可以選擇使用多個框架（例如 Hugging Face Transformers）推斷和微調 GEMMA。
此外，首次使用 Google Cloud 的使用者可以獲得 300 美元的信用額度。 研究人員還可以申請高達 500,000 美元的 Google Cloud 積分，以加速他們的專案。
那麼，GEMMA 模型能否像開源模型 Llama2、Mistral 等一樣原生執行？ 開發團隊成員也對這個問題做出了肯定的回答。
除了支援 Python 神經網路框架和 GGML 作為選項外，我們還提供了 C++ 實現的獨立版本，您可以在 ** 中執行並在本地執行。 ”
為了更好地支援開發者創新，谷歌還提供了乙個與該模型配套的“負責任的生成式人工智慧工具包”。 該工具包包含關鍵工具，可指導和支援開發人員使用 GEMMA 構建更安全的 AI 應用程式。
根據谷歌的官方部落格，其他一些需要關注的關鍵細節包括：
通過原生 keras 3 的 GEMMA0，為所有主要框架（Jax、PyTorch 和 TensorFlow）中的推理和監督微調 （SFT） 提供工具鏈。
該版本還包括即用型 Colab 和 Kaggle 膝上型電腦，以及與 Hugging Face、MaxText、NVIDIA Nemo、Tensorrt-LLM 等流行工具的整合。
預訓練和指令優化的 GEMMA 模型可在各種平台上執行，從膝上型電腦和工作站到 Google Cloud，並且可以輕鬆部署在 Vertex AI 和 Google Kubernetes Engine （GKE） 上。
針對 NVIDIA GPU 和 Google Cloud TPU 進行了優化，可實現行業領先的效能。
使用條款允許所有組織，無論規模大小，都能夠負責任地使用和分發業務。
總體而言，GEMMA 的發布速度與 Gemini 1 接近5。後者的上下文視窗擴充套件到 100 萬個代幣。 在短短一周內，Gemini Ultra 10、gemini 1.5 Pro和GEMMA首次亮相，如此快速的發布週期不禁讓人更加關注谷歌的技術進步和產品策略。
谷歌聲稱 GEMMA 具有“其規模中最先進的效能”，並且“GEMMA 在關鍵基準測試中明顯優於更大的模型”。 這種說法的依據是，GEMMA在多個基準測試中的表現都優於LLAMA 2。
資料來源：谷歌部落格。
如上圖所示，GEMMA 在包括 MMLU、Hellaswag 和 Humaneval 在內的重要評估標準上取得了比 Llama 2 更好的成績。
深度學習框架 Keras 的作者、谷歌的 AI 研究員 Fran Ois Chollet 在 X 上發布了更詳細的比較圖表。
來源：以MMLU（Massive Multitasking Language Understanding）為例，如圖所示，GEMMA 7B不僅超越了Llama 7B和LLAMA 13B，還擊敗了人氣炸雞Mistral 7B。
此外，在乙份專門的技術報告中，GEMMA 7B評估了與可比規模的開放模型相比，在語言理解和生成效能方面的不同能力。 標準學術基準測試根據各自的能力類別分為問答、推理、數學科學和編碼四組，並計算相應分數的平均值。
資料來源：Google 技術報告。
可以看出，在數學和編碼兩組中，GEMMA 7B具有明顯的優勢; 在推理方面，GEMMA 7B以微弱優勢獲勝; 在Q&A方面，GEMMA 7B略遜於LLAMA 13B。
谷歌的官方部落格文章將 Gemma 在效能方面的表現歸因於以下事實：“GEMMA 模型與 Gemini 共享技術和基礎設施元件，Gemini 是我們今天使用的最大、最強大的 AI 模型。 與其他開放式型號相比，這使得 GEMMA 2B 和 7B 在其尺寸上實現了一流的效能。 GEMMA 能夠直接在開發人員的膝上型電腦或台式計算機上執行。 值得注意的是，GEMMA在關鍵基準上的表現明顯優於大型模型，同時遵守我們對安全和負責任輸出的嚴格標準。 ”
GEMMA的發布引起了很多討論。 開發人員普遍擔心 GEMMA 是一種開放模式，似乎沒有真正意義上的“開源”許可。
儘管被稱為“開源”，但 GEMMA 模型的權重實際上是在與開源定義不匹配的許可下發布的。 它與原始碼可用軟體有更多的共同點，因此它應該被稱為“權重可用模型”。 這意味著使用者可以訪問和使用模型的加權檔案，但它們可能會受到限制，並且不符合傳統開源許可證下的自由分發和修改原則。 ”
那麼，這種開放模式的“開放性”究竟指的是什麼，開放程度如何呢？
眾所周知，mistral 模型的權重是基於 Apache 2 的0 個許可證，這意味著它們遵循開源原則。 但 Meta 主導的 MLAMA 2 模式的權重是通過使用非常有針對性的許可的專有許可來釋放的：如果月活躍使用者數超過 7 億，公司必須向 Meta 申請許可，而 Meta 將對此類許可施加嚴格的限制，這意味著亞馬遜等大公司， 蘋果、谷歌和位元組跳動受到限制。
從《駱駝2》中吸取了教訓，所以很多人質疑寶石的開放性。 谷歌在這方面的措辭是：“使用條款允許所有組織，無論規模大小，都為企業負責任地使用和分發。 ”
有人猜測，這是谷歌為避免重蹈覆轍而採取的謹慎做法，受到 LLAMA 2 許可證中此類限制性條款的影響。
顯然，在人工智慧領域，對“開放性”的理解和實踐存在重大分歧。 有些專案聲稱是“開源”的，但實際上對使用者施加了特定的限制。 這可能是出於智財權保護、市場競爭策略和避免技術濫用等考慮，但也引發了關於如何定義和實現真正的開放和共享的討論。
有趣的是，谷歌發布 GEMMA 的同時，其開源部落格上發表了一篇題為“在雙子座時代負責任地構建開放模型”的文章。 如文章所述，開源許可證賦予使用者完全的創作自主權。 這是開發人員和終端使用者能夠訪問技術的有力保證。 但在惡意行為者手中，缺乏限制可能會增加風險。
在這種背景下，“真正的開放性和透明度，特別是在訓練**、資料集以及不受限制地訪問和使用模型資源方面，仍然是人工智慧社群需要努力的目標。
谷歌將 GEMMA 模型作為“開放模型”發布意味著什麼？ “開放模型可以免費訪問模型權重，但使用條款、重新分發和變體所有權因模型的具體使用條款而異，這些條款可能不是基於開源許可證。 ”
GEMMA 模型的使用條款使個人開發人員、研究人員和商業使用者可以免費訪問和重新分發。 使用者還可以自由建立和發布模型變體。 在使用 GEMMA 模型時，開發人員同意避免有害使用，這反映了我們致力於負責任地開發 AI，同時增加對這項技術的訪問。 ”
谷歌表示，“開源”的定義對於計算和創新來說是無價的。 然而，現有的開源概念並不總是直接應用於人工智慧系統，這就提出了乙個問題，即開源許可證如何與人工智慧一起使用。 “重要的是，我們要促進開放性原則，使我們在人工智慧方面所經歷的偉大事情成為可能，同時澄清開源人工智慧的概念，並解決衍生作品和作者歸屬等概念。 ”