Google anuncia 'drafters' que aceleram Gemma 4 em até 3 vezes em dispositivos locais
Google lançou assistentes chamados 'drafters' para otimizar o desempenho do modelo de IA Gemma 4 em hardware de consumidores. A tecnologia permite processar prompts em lotes maiores, reduzindo o uso de memória e aumentando a eficiência computacional. Segundo a empresa, a velocidade de execução pode triplicar.
Tecnologia 'drafters' e funcionamento
Os 'drafters' são modelos assistentes menores que operam em paralelo ao Gemma 4, principal modelo de IA da Google para execução local. Eles preveem seções dos prompts enviados pelo usuário, permitindo que o modelo principal processe as informações em lotes maiores. Essa abordagem otimiza o uso de memória e capacidade computacional, resultando em um desempenho até três vezes mais rápido, conforme divulgado pela empresa.
Gemma 4 e foco em privacidade
O Gemma 4 foi projetado para rodar localmente em dispositivos de consumidores, uma característica que prioriza a privacidade dos dados. No entanto, modelos locais podem consumir muitos recursos e apresentar lentidão. A introdução dos 'drafters' busca resolver esse problema, melhorando a eficiência sem comprometer a execução offline.