Karpathy: Detectores de IA nas escolas falham
-
Maicon Ramos
- 3 minutos de leitura
Navegue por tópicos
Andrej Karpathy, pioneiro em IA, critica detectores de conteúdo gerado por IA em tarefas escolares, chamando-os de inviáveis.
- Precisão cai para 22,1% com manipulações simples.
- 15% de falsos positivos afetam não nativos.
- Proposta: trabalhos presenciais e citação de IA.
- 17 universidades da UE banem uso punitivo.
Andrej Karpathy, ex-diretor de IA da Apple e pioneiro em visão computacional na Tesla, fez um apelo público em 24 de junho de 2025 para que escolas abandonem detectores de IA em trabalhos acadêmicos. Segundo ele, essas ferramentas são cientificamente inviáveis e corroem a confiança entre alunos e professores.
O posicionamento ganhou eco no relatório AI Detection and Assessment – An Update for 2025, do National Centre for AI (JISC UK), e no MIT Sloan Educational Technology Report de maio de 2025. Instituições como MIT, University of Kansas (KU) e 17 universidades da UE já adotam diretrizes semelhantes.
Falhas técnicas dos detectores
Ferramentas como Turnitin e GPTZero analisam probabilidades de transição entre palavras, mas falham na prática. Um estudo com 805 amostras mostra precisão de 39,5% antes de ataques adversariais, caindo para 22,1% após manipulações simples, como sinônimos ou erros intencionais. O MIT confirma que Turnitin tem margem de erro de ±15%.
Há viés contra não nativos: sete de oito detectores classificam textos deles como IA em 2-3 vezes mais casos, confundindo gramática perfeita com output de IA.
Dados de uso e falsos positivos
De acordo com Turnitin, 11% dos trabalhos têm pelo menos 20% de IA, mas só 3% são majoritariamente gerados por ela. O MIT registra 15% de falsos positivos em textos humanos.
| Fonte | Métrica | Dado |
|---|---|---|
| Turnitin | % com IA detectada (≥20%) | 11% |
| Turnitin | % majoritariamente IA (≥80%) | 3% |
| CDT Survey | Professores usando detectores | 68% |
| MIT | Falsos positivos | 15% |
Riscos legais e éticos
Nos EUA, processos como Doe v. University of Kansas (2025) alegam discriminação sob o Title VI. Na UE, o European AI Office classifica detectores como alto risco para sanções. No Brasil, o MPF investiga uso em vestibulares.
Proposta de Karpathy
Karpathy defende três pilares, endossados pelo JISC:
- Avaliações presenciais, com IA como ferramenta de apoio.
- Citação explícita do uso de IA.
- Avaliação de processo, com drafts e defesas orais.
Universidades adotantes reduziram acusações falsas em 72%.
O lado B: Críticas e desafios
Apenas 0,04% dos textos são 100% IA sem edição. Detectores sobrecarregam professores, consumindo 2-3 horas por caso e agravando burnout. Alunos técnicos evadem com prompts avançados, enquanto desfavorecidos sofrem mais.
Investimentos em detectores (ex: US$ 500/turma/ano) desviam de treinamentos: só 12% dos professores foram capacitados para IA produtiva.
Como provar uso de IA sem detectores?
Comparação estilística com trabalhos passados, defesas orais e rastreamento de drafts. Políticas de "não punição só por detector" ganham força em MIT, Stanford e Europa. No Brasil, USP e Unicamp consultam adoção.
Maicon Ramos
