智東西
作者 李水青
編輯 云鵬

智東西8月15日消息，今天，谷歌推出史上最小Gemma 3開源模型，一個擁有2.7億個參數(shù)的輕量級模型，底層設(shè)計以特定任務微調(diào)為目標，具備強大的指令跟蹤和文本能力。

在指令執(zhí)行能力測試中，如IFeval基準測試所示，Gemma 3 270M超越了尺寸更大的Qwen2.5 0.5B Instruct，與Llama 3.2 1B能力比肩。

Gemma 3 270M在一些特定任務上能達到甚至超越大模型的能力。該模型的尺寸和性能使其非常適合離線、基于網(wǎng)頁的創(chuàng)意任務。比如谷歌公布了一個案例，其用Gemma 3 270M驅(qū)動一款使用Transformers.js的睡前故事生成器網(wǎng)頁應用，通過簡單的勾選就可以生成精彩的睡前故事。

Gemma 3 270M的核心能力如下：

1、輕量而強大的架構(gòu)。該模型共有2.7億個參數(shù)，由于詞匯量龐大，嵌入?yún)?shù)有1.7億個，Transformer模塊參數(shù)有1億個。得益于256k個token的龐大詞匯量，該模型能夠處理特定和稀有的token，使其成為可在特定領(lǐng)域和語言中進一步微調(diào)的優(yōu)質(zhì)基礎(chǔ)模型。

2、極致能效。 該模型的一大優(yōu)勢在于低功耗，其在Pixel 9 Pro SoC上進行的內(nèi)部測試表明，INT4量化模型在25次對話中僅消耗0.75%的電量，使其成為谷歌最節(jié)能的Gemma模型。

3、指令遵循。該模型同步發(fā)布了指令微調(diào)版本與預訓練檢查點（checkpoint）。雖然該模型并非為復雜的對話用例而設(shè)計，但其基礎(chǔ)指令遵循能力出色，可 “開箱即用” 地響應通用指令。

4、可用于生產(chǎn)的量化。模型提供量化感知訓練（Quantization-Aware Trained, QAT）檢查點，支持以INT4精度運行，且性能損失極小，這對于在資源受限設(shè)備（如手機、邊緣設(shè)備）上部署至關(guān)重要。

換句話說，如果用戶有一個高容量、定義明確的任務，在成本上需要精打細算，又需要快速迭代和部署，或是有保護隱私的需求，他都適合選擇Gemma 3 270M。

Hugging Face地址：
https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

結(jié)語：輕量化模型釋放端側(cè)智能

此前，谷歌Gemma開源模型加速迭代：先是適用于單云和桌面加速器的Gemma 3和Gemma 3 QAT發(fā)布，隨后是將強大實時多模態(tài)AI直接引入邊緣設(shè)備的Gemma 3n推出，本次Gemma 3 270M的推出填補了輕量模型版塊。

輕量化模型正在打破參數(shù)迷信。大模型領(lǐng)域長期存在 “參數(shù)規(guī)模決定性能” 的固有認知，Gemma 3 270M展現(xiàn)出小模型遵循指令的能力以及微調(diào)后的威力。從輕量而強大的模型入手，用戶可以構(gòu)建精簡、快速且運行成本顯著降低的生產(chǎn)系統(tǒng)。