谷歌开源模型，又上新了。
今天凌晨，谷歌正式官宣了Gemma 3n，原生支持文本、图像和音视频等多种模态。
在大模型竞技场中，Gemma 3n 取得了 1303 分，成为了第一个超过 1300 分的 10B 以下模型。
Gemma 3n 一共有 5B（E2B）和 8B（E4B）两种型号，但通过架构创新，其 VRAM 占用与 2B 和 4B 相当，最低只要 2GB。
有网友表示，Gemma 3n 能够用低内存占用实现这样的表现，对端侧设备意义重大。
同时谷歌也公开了 Gemma 3n 的一些技术细节，接下来就一起来了解。
套娃式 Transformer 架构
在 Gemma 3n 的两种型号—— E2B 和 E4B 中，谷歌提出了"有效参数"的概念，这里的" E "指的就是 effective（有效的）。
Gemma 3n 的核心是MatFormer （Matryoshka Transformer） 架构 ，这是一种专为弹性推理而构建的嵌套式 Transformer 结构。
它的结构就如同它的名字一样，像俄罗斯套娃（Matryoshka）——一个较大的模型当中，包含了自身更小、功能齐全的版本。
MatFormer 将"俄罗斯套娃表征学习"的概念从单纯的嵌入扩展到所有 Transformer 组件。
在这种结构下，MatFormer 在训练 E4B 模型时，可以同时优化 E2B 子模型。
为了根据特定硬件限制进行更精细的控制，谷歌还提出了Mix-n-Match方法，通过调整每层的前馈网络隐藏层维度（从 8192 到 16384）并选择性地跳过某些层，可以实现对 E4B 模型参数的切片，从而在 E2B 和 E4B 之间创建一系列自定义尺寸的模型。
针对这一功能，谷歌还会发布工具 MatFormer Lab，用于检索最佳的模型配置。
专为端侧设备设计
Gemma 3n 的 E2B 和 E4B 两个型号的原始参数量，分别是 5B 和 8B，但消耗与 2B 和 4B 相当。这种低内存消耗设计，目的就是能够更好地适配端侧设备。
为此，Gemma 3n 模型采用了逐层嵌入（PLE）技术，可显著提高模型质量，而不会增加内存占用。
PLE 允许很大一部分参数（与每层相关的嵌入）在 CPU 上加载并高效计算，这样就只有核心 Transformer 权重需要存储在加速器内存（VRAM）中。
此外，为了缩短首个 Token 生成时间，以便更好处理长序列输入，Gemma 3n 引入了KV 缓存共享。
具体来说，Gemma 3n 优化了模型预填充的处理方式，将来自局部和全局注意力机制的中间层的 Key 和 Value 直接与所有顶层共享，与 Gemma 3-4B 相比，预填充性能提升了 2 倍。
原生支持多模态
Gemma 3n 原生支持图像、音视频等多种输入模态。
语音部分，Gemma 3n 采用基于 USM 的高级音频编码器，USM 会将每 160 毫秒的音频转化成一个 Token，然后将其作为语言模型的输入进行集成。
它支持自动语音识别（ASR）和自动语音翻译（AST），可以直接在设备上实现高质量的语音 - 文本转录，还可将口语翻译成另一种语言的文本。
Gemma 3n 的音频编码器在发布时已支持处理 30 秒的音频片段，但底层音频编码器是一个流式编码器，能够通过额外的长音频训练处理任意长度的音频。
视觉方面，Gemma 3n 则采用了全新的高效视觉编码器MobileNet-V5-300M。
它支持在端侧处理 256x256、512x512 和 768x768 像素的分辨率，在 Google Pixel 上的处理速度达到了每秒 60 帧，并且在各种图像和视频理解任务中表现出色。
MobileNet-V5 以 MobileNet-V4 为基础，但架构显著扩大，并采用混合深度金字塔模型，比最大的 MobileNet-V4 变体大 10 倍，同时还引入了一种新颖的多尺度融合 VLM 适配器。
针对 MobileNet-V5 背后的技术细节，谷歌后续还会发布技术报告，介绍模型架构、数据扩展策略以及背后的数据蒸馏技术。
参考链接：
https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
HuggingFace：
https://huggingface.co/collections/google/gemma-3n-685065323f5984ef315c93f4
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 量子位 AI 主题策划正在征集中！欢迎参与专题365 行 AI 落地方案，一千零一个 AI 应用，或与我们分享你在寻找的 AI 产品，或发现的AI 新动向。
� � 也欢迎你加入量子位每日 AI 交流群，一起来畅聊 AI 吧～
一键关注 � � 点亮星标
科技前沿进展每日见
千层金配资-温州股票配资一览表最新版-正规炒股在线配资网-线上股票配资炒股提示：文章来自网络，不代表本站观点。
