Apresentamos o Gemma 3 270M: o modelo compacto para a IA hipereficiente

Os últimos meses foram empolgantes para a família de modelos abertos Gemma. Introduzimos o Gemma 3 e o Gemma 3 QAT, oferecendo desempenho de última geração para aceleradores de nuvem única e para computadores. Em seguida, anunciamos o lançamento total do Gemma 3n, uma arquitetura que prioriza os dispositivos móveis e traz a IA multimodal avançada e em tempo real diretamente para dispositivos de borda. Nossa meta sempre foi oferecer ferramentas úteis aos desenvolvedores para a criação com a IA, e continuamos a nos surpreender com o vibrante Gemmaverse que vocês estão ajudando a criar. Celebramos juntos quando os downloads ultrapassaram os 200 milhões na semana passada.

Hoje, estamos adicionando uma nova ferramenta altamente especializada ao kit do Gemma 3: o Gemma 3 270M, um modelo compacto de 270 milhões de parâmetros projetado desde o início para ajustes específicos de tarefas com recursos robustos de acompanhamento de instruções e estruturação de texto já treinados.

Principais recursos do Gemma 3 270M

• Arquitetura compacta e capaz: nosso novo modelo tem um total de 270 milhões de parâmetros: 170 milhões de parâmetros de incorporação devido a um grande tamanho de vocabulário e 100 milhões para nossos blocos de transformadores. Graças ao grande vocabulário de 256 mil tokens, o modelo pode lidar com tokens específicos e raros, o que faz dele um modelo de base robusto para ser ajustado em domínios e idiomas específicos.

• Eficiência energética extrema: uma das principais vantagens do Gemma 3 270M é o seu baixo consumo de energia. Testes internos em um Pixel 9 Pro SoC mostram que o modelo quantizado por INT4 consumiu apenas 0,75% da bateria para 25 conversas, o que faz dele nosso modelo Gemma mais eficiente em termos de energia.

• Acompanhamento de instruções: um modelo ajustado para instruções é lançado juntamente com um ponto de verificação pré-treinado. Embora não seja projetado para casos de uso de conversação complexos, esse é um modelo robusto que segue instruções gerais imediatamente.

• Quantização pronta para produção: estão disponíveis pontos de verificação de treinamento com reconhecimento de quantização (QAT, na sigla em inglês) que permitem executar os modelos com precisão INT4 com o mínimo de degradação de desempenho, o que é essencial para a implantação em dispositivos com recursos restritos.

A ferramenta certa para a tarefa

Na engenharia, o sucesso é definido pela eficiência, não apenas pela força bruta. Você não usaria uma marreta para pendurar um quadro. O mesmo princípio se aplica à criação com IA.

O Gemma 3 270M incorpora essa filosofia da "ferramenta certa para a tarefa". Ele é um modelo de base de alta qualidade que segue instruções da maneira como é fornecido, e seu verdadeiro poder é desbloqueado por meio do ajuste. Uma vez especializado, ele pode executar tarefas como classificação de textos e extração de dados com acurácia, velocidade e custo-benefício notáveis. Ao começar com um modelo compacto e capaz, você pode criar sistemas de produção que são enxutos, rápidos e muito mais baratos de operar.

Um plano do mundo real para o sucesso

O poder dessa abordagem já entregou resultados incríveis no mundo real. Um exemplo perfeito é o trabalho realizado pela Adaptive ML com a SK Telecom. Frente ao desafio da moderação de conteúdo diferenciada e multilíngue, eles optaram por se especializar. Em vez de usar um modelo massivo e de uso geral, a Adaptive ML ajustou um modelo Gemma 3 4B. Os resultados foram impressionantes: o modelo Gemma especializado não só atingiu, como também superou o desempenho de modelos proprietários muito maiores em sua tarefa específica.

O Gemma 3 270M foi projetado para permitir que os desenvolvedores levem essa abordagem ainda mais longe, desbloqueando uma eficiência ainda maior para tarefas bem definidas. Ele é o ponto de partida perfeito para criar uma frota de modelos pequenos e especializados, cada um destinado à sua própria tarefa.

Mas esse poder de especialização não é apenas para tarefas corporativas; ele também permite aplicações criativas poderosas. Confira, por exemplo, este app da Web para criação de histórias para dormir:

Quando escolher o Gemma 3 270M

O Gemma 3 270M herda a arquitetura avançada e o pré-treinamento robusto da coleção Gemma 3, fornecendo uma base sólida para aplicativos personalizados.

Veja quando ele é a escolha perfeita:

• Você tem uma tarefa de alto volume e bem definida. Ideal para funções como análise de sentimento, extração de entidades, roteamento de consultas, processamento de texto não estruturado para estruturado, escrita criativa e verificações de conformidade.

• Você precisa fazer com que cada milissegundo e microcentavo contem. Reduza ou elimine drasticamente seus custos de inferência em produção e forneça respostas mais rápidas aos usuários. Um modelo 270M ajustado pode ser executado em uma infraestrutura leve e barata ou diretamente no dispositivo.

• Você precisa iterar e implantar rapidamente. O tamanho pequeno do Gemma 3 270M permite experimentos de ajuste rápidos, ajudando você a encontrar a configuração perfeita para seu caso de uso em questão de horas, e não de dias.

• Você precisa garantir a privacidade dos usuários. Como o modelo pode ser executado totalmente no dispositivo, você pode criar aplicativos que lidem com informações confidenciais sem jamais enviar dados para a nuvem.

• Você quer ter uma frota de modelos especializados em tarefas. Crie e implante vários modelos personalizados, cada um deles habilmente treinado para uma tarefa diferente, sem estourar seu orçamento.

Primeiros passos com o ajuste

Queremos tornar o mais fácil possível transformar o Gemma 3 270M em sua própria solução personalizada. Ele foi criado com base na mesma arquitetura que os outros modelos Gemma 3, com receitas e ferramentas para você começar rapidamente. Você pode encontrar nosso guia sobre ajustes completos usando Gemma 3 270M como parte dos documentos do Gemma.

• Faça o download do modelo: obtenha os modelos Gemma 3 270M na Hugging Face, no Ollama, no Kaggle, no LM Studio ou no Docker. Estamos lançando modelos pré-treinados e ajustados por instruções.

• Experimente o modelo: experimente os modelos na Vertex AI ou com ferramentas de inferência populares, como llama.cpp Gemma.cpp, LiteRT, Keras e MLX.

• Comece a fazer ajustes: use suas ferramentas favoritas, incluindo Hugging Face, UnSloth e JAX.

• Implante sua solução: após o ajuste, você pode implantar seu modelo especializado em qualquer lugar, desde o seu próprio ambiente local até o Google Cloud Run.

O Gemmaverse foi criado com base na ideia de que a inovação vem em todos os tamanhos. Com o Gemma 3 270M, estamos capacitando os desenvolvedores a criarem soluções de IA mais inteligentes, rápidas e eficientes. Mal podemos esperar para ver os modelos especializados que você vai criar.