Google lança 'drafters' para acelerar Gemma 4 em até 3 vezes com previsão de tokens futuros
Google anunciou o lançamento de modelos experimentais chamados Multi-Token Prediction (MTP) drafters para sua linha Gemma 4, prometendo acelerar a geração de texto em até três vezes. A tecnologia utiliza decodificação especulativa para prever tokens futuros, otimizando o desempenho em dispositivos locais. Gemma 4, baseada na mesma tecnologia do Gemini, agora opera sob licença Apache 2.0, mais permissiva que versões anteriores.
Tecnologia por trás dos MTP drafters
Os MTP drafters são modelos experimentais que implementam uma forma de decodificação especulativa, uma técnica que permite prever múltiplos tokens futuros simultaneamente. Segundo o Google, essa abordagem reduz o tempo de geração de texto em comparação com métodos tradicionais, onde os tokens são produzidos um a um. A tecnologia é projetada para funcionar em hardware local, como GPUs de consumidores, sem depender de infraestrutura em nuvem.
Gemma 4: desempenho e licença
A linha Gemma 4 é construída com a mesma tecnologia subjacente do Gemini, modelo de IA de ponta do Google, mas foi ajustada para execução local. Enquanto o Gemini é otimizado para chips TPU personalizados do Google, os modelos Gemma 4 podem ser executados em um único acelerador de IA de alta potência ou, após quantização, em GPUs de consumidores. Além disso, o Google alterou a licença para Apache 2.0, removendo restrições presentes em versões anteriores e facilitando o uso por desenvolvedores e pesquisadores.
Limitações e aplicações
Embora os MTP drafters ofereçam ganhos significativos de desempenho, o Google reconhece limitações inerentes ao hardware disponível para a maioria dos usuários. A execução local de modelos de IA ainda enfrenta desafios como capacidade de processamento e memória, especialmente em dispositivos não especializados. No entanto, a tecnologia é vista como um avanço para aplicações que exigem privacidade, como processamento de dados sensíveis sem depender de servidores externos.