Engenharia reversa do chip da Apple roda Gemma 4 26B a 100 tokens/s
Um desenvolvedor explorou o Apple Neural Engine para rodar um modelo de 26B localmente com alto throughput e pouca RAM. Inferência local em hardware de consumo abre caminho para produtos de IA com custo marginal perto de zero e dados sensíveis sem sair do dispositivo, algo valioso sob LGPD.


