今年 Google I/O 大会上，科技巨头 Google 正式发布最新一代开放语言模型——Gemma 2.预计 6 月推出，其品质表现超越两倍大模型，引起业界关注。
Gemma 是 Google 开发的一系列开放 (但非开源) 模型， 类似 Meta 的 Llama 和初创公司 Mistral AI 的开放模型。 此前， 标准的 Gemma 模型只有 20 亿和 70 亿参数版本。 而这次亮相的Gemma 2则一举突破了270亿参数，无疑是一大进步。
Gemma 2 提供了90亿 (9B) 和 270 亿 (27B) 两种规模的模型版本。 27B 模型训练了 13 万亿 tokens，9B 版本用了 8 万亿 tokens， 两者都有 8192 的上下文窗口， 可在 Google AI Studio 中使用。 此外，Google还将于近期推出26亿参数(2.6B)的小型版本，甚至可以在手机本地运行。
这款新模型在各项性能指标上都表现出色。 在语言模型竞技场LMSYSChatbot Arena的测试中，270亿参数的Gemma 2指令微调模型击败了拥有700亿参数的Llama 3.并超越了许多其他大型开源模型。 仅9B版本就已成为15B以下参数模型中的佼佼者。
Google 表示，Gemma 2 在架构设计上做了多项重要改进， 包括局部 - 全局注意力机制、分组查询注意力等， 并采用了知识蒸馏而非下一个 token 预测的方式来帮助小模型的训练。
值得一提的是，Gemma 2 27B模型可在单个英伟达A100或H100GPU上高效运行全精度推理，大幅降低了部署成本。 同时， 该模型也支持主流 AI 框架如 Hugging Face Transformers， 并将在 Google 云平台 Vertex AI 上提供部署支持， 方便开发者使用。
Google Labs 副总裁 Josh Woodward 透露， 之前标准的 Gemma 模型在各种可用服务上已经下载超过数百万次。 而新一代的 Gemma 2 不仅在参数规模上大幅提升， 在模型性能方面也突破了天际， 甚至可与两倍以上参数的大型模型相提并论。
未来，Google 表示将继续优化 Gemma 2 在事实性、对抗性鲁棒性和推理一致性等方面的性能。 开发者和研究人员可通过 Kaggle、Colab 和 Vertex AI 获取 Gemma 2. 学术研究人员也可申请相关计划获取支持。
