2024.07.31 Google released Gemma 2 2B

• https://developers.googleblog.com/en/smaller-safer-more-transparent-advancing-responsible-ai-with-gemma/

• https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f

TL;DR:

• 🤖 2B params, base model & finetune model

• 🪟 8K context window

• 🏆 Scores better than GPT-3.5, Phi-3 Small and Mixtral-8x7B-it on LMSYS

Smaller, Safer, More Transparent

• 6月，Google发布的Gemma2模型包括9B，27B两个规模，当时没有开放2B规模的模型

• 与前几天发布的llama3类似，本次Gemma 2除了新的2B模型，还发布了用于安全喝性能的 ShieldGemma & Gemma Scope

  • ShieldGemma是一套基于Gemma 2构建的安全内容分类器模型，用于过滤AI模型的输入和输出并确保用户安全。

  • Gemma Scope-一种新的模型可解释性工具，可提供对我们模型内部工作原理的无与伦比的洞察力。

Experience Next-Gen Performance, Now On-Device

• 这种轻量级模型通过蒸馏从更大的模型中学习产生了更好的结果。

卓越的性能

在同尺寸开源模型中表现出一流的性能

灵活且经济高效的部署

Gemma 2可以在广泛的硬件上高效运行------从边缘设备和笔记本电脑到顶点人工智能和谷歌库伯内特斯引擎（GKE）的强大云部署。

为了进一步提高其速度，它通过NVIDIA TensorRT-LLM库进行了优化，并作为NVIDIA NIM提供。

这种优化针对各种部署，包括数据中心、云、本地工作站、个人电脑和边缘设备------使用NVIDIA RTX、NVIDIA GeForce RTXGPU或NVIDIA Jetson用于边缘人工智能的模块。

此外，Gemma 22B与Keras、JAX、拥抱脸、NVIDIA NeMo、Ollama、Garma. cpp以及即将推出的MediaPipe无缝集成，以实现简化开发。

开放和可访问

足够小，可以在谷歌Colab的T4图形处理器的免费层上运行，使实验和开发比以往任何时候都更容易。

ShieldGemma：使用最先进的安全分类器保护用户

ShieldGemma，旨在检测和减轻人工智能模型输入和输出中的有害内容。

ShieldGemma专门针对四个关键危害领域：

• Hate speech 仇恨言论

• Harassment 骚扰

• Sexually explicit content 性显性内容

• Dangerous content 危险内容

Gemma Scope：使用开放稀疏自动编码器阐明AI决策

Gemma Scope为研究人员和开发人员提供了前所未有的Gemma 2模型决策过程的透明度。Gemma Scope就像一台强大的显微镜，使用稀疏自动编码器（SAE）放大模型中的特定点，并使其内部工作更易于解释。

Demo

ollama run gemma2:2b

使用usloth量化后的版本加上MLX可以在iPhone 15pro 上流畅运行，预计安卓手机很快可以体验Apple的 device AI能力

Use MLX Finetune

• https://gist.github.com/applecool/097d9f600177e83a5c1b93f3c826199b