ARC-AGI-3 redefine testes de raciocínio em IA com novos desafios

O ARC-AGI-3, lançado pela ARC Prize Foundation, apresenta um teste interativo de raciocínio para IA que humanos resolvem com 100% de eficiência, mas modelos atuais alcançam menos de 1%. O benchmark busca acelerar o desenvolvimento de AGI aberta.

• Lançado com 1.000+ níveis e 150+ ambientes de videogame.
• Modelos IA líderes, como Gemini Pro, tiveram desempenho máximo de 0.37%.
• Competição ARC Prize 2026 oferece US$ 2 milhões em prêmios para agentes open-source.
• Foco em eficiência de ações e adaptação sem instruções prévias.

Resumo do lançamento e contexto

A ARC Prize Foundation anunciou em 25 de março de 2026 o lançamento do ARC-AGI-3, o primeiro benchmark interativo de raciocínio para inteligência artificial que desafia modelos modernos a realizar auto-descoberta de regras e estratégias em ambientes semelhantes a videogames. Com mais de 1.000 níveis distribuídos em 150+ ambientes, a ferramenta exige que agentes de IA explorem e aprendam sem qualquer instrução, testando sua capacidade de adaptação ativa e planejamento a longo prazo.

Enquanto humanos resolvem com eficiência máxima todos os níveis, o atual líder entre modelos de IA, o Google’s Gemini Pro, alcançou apenas 0,37%, evidenciando uma lacuna crítica entre inteligência artificial escalada e inteligência humana real.

Características técnicas e métricas

• Interatividade: Ambientes projetados para exigir que agentes explorem, tomem múltiplas ações e descubram regras ocultas sem instruções.
• Action Efficiency: Métrica principal, que contabiliza o número de ações até completar cada tarefa, comparando desempenho com humanos para medir eficiência, não apenas acerto.
• Ambientes exclusivos: Mais de 1.000 níveis, hand-crafted, que impedem memorização e promovem generalização real.
• Prêmios: Até US$ 2 milhões divididos em múltiplas categorias, com foco em soluções open-source conforme regras da ARC Prize 2026.

Resultados e competitividade

Em preview antes do lançamento oficial, a primeira colocada StochasticGoose, usando CNN e reinforcement learning simples, alcançou aproximadamente 12,58% de eficiência em apenas 18 níveis, ainda distante dos humanos. Isso confirma desafios significativos para os modelos atuais, que são ineficientes para explorar e planejar em ambientes de alto horizonte temporal.

Desafios e críticas

• Gap persistente entre humanos e IA: Apesar de avanços, a lacuna permanece, mostrando que escala computacional não basta para resolver problemas de generalização real em IA.
• Requisito de open-source: Premiações são destinadas a projetos transparentes, o que pode afastar grandes corporações com soluções proprietárias da competição oficial.
• Possibilidade de gamificação: Ambientes podem ser otimizados por técnicas como reinforcement learning, mas a real generalização ainda é incerta.
• Impactos para o ecossistema: Provavelmente estimulará transições para agentes híbridos combinando aprendizado por reforço e raciocínio simbólico, tensionando companhias de Big Tech.

Como participar

Pesquisadores e desenvolvedores interessados podem acessar a plataforma oficial em arcprize.org/arc-agi/3 para submeter agentes open-source e acompanhar competições e leaderboards. Submissões vão até 2 de novembro de 2026, com resultados previstos para 4 de dezembro.

Para mais detalhes sobre o funcionamento e análise do benchmark, a organização disponibilizou um vídeo explicativo no YouTube aqui.