Teste de Turing: IAs falham em identificar outras IAs em nova adaptação do experimento
Adaptação do Teste de Turing mostra que chatbots falham em identificar outras IAs, com apenas três acertos em 98 conversas.
Um estudo publicado na revista Computers in Human Behavior Reports mostrou que nem mesmo as inteligências artificiais conseguem identificar com segurança outras IAs. Ao adaptar o Teste de Turing para essa finalidade, os pesquisadores verificaram que os chatbots reconheceram corretamente os participantes artificiais em apenas três de 98 testes.
O Teste de Turing foi proposto pelo matemático britânico Alan Turing em 1950 e avalia se uma máquina consegue conversar de forma semelhante a uma pessoa. Na versão mais conhecida, um avaliador troca mensagens por escrito com um humano e um computador, sem saber qual é qual, e precisa apontar a máquina.
Passar nesse tipo de prova, no entanto, não significa que a máquina tenha inteligência equivalente à humana. O desafio está na capacidade de imitar a comunicação humana, e um bom desempenho nesse quesito não demonstra, por si só, uma compreensão como a de uma pessoa.
Desta vez, a lógica foi invertida: sete modelos de linguagem atuaram como interrogadores, entre eles GPT-4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro e Grok 3. Cada um podia fazer até dez perguntas antes de decidir se estava conversando com uma pessoa ou com outra IA.
Do lado dos entrevistados estavam 20 voluntários humanos e os mesmos sete modelos. Os chatbots foram testados em duas condições: com uma instrução simples para agir como humanos ou com uma personalidade detalhada, que incluía interesses pessoais, respostas naturais e erros ocasionais de digitação.
No total, foram realizados 238 testes com 1.714 perguntas. Nas 98 conversas com participantes artificiais, os avaliadores acertaram a identificação em apenas três casos.
Os modelos também atribuíram às IAs uma probabilidade média de serem humanas de 88%, contra 78% para as pessoas reais. Os pesquisadores ressaltam que esses valores são julgamentos dos modelos, e não taxas de acerto.
Nenhuma IA que recebeu a personalidade detalhada foi identificada. Os poucos sistemas descobertos deram pistas pelo excesso de organização das respostas, e não necessariamente pelo conteúdo em si.
As instruções também mudaram o tamanho das mensagens. Os modelos com personalidade produziram respostas de cerca de 39 palavras, bem próximas das 38 palavras das respostas humanas.
Os próprios autores lembram que o resultado vale apenas para os modelos, instruções e formato de conversa avaliados, e não prova que todo detector de IA falha. Eles sugerem investigar conversas mais longas, outros tipos de informação além do texto e avaliações que combinem humanos e máquinas.
Para o leitor, o recado é que distinguir uma conversa humana de uma artificial está ficando mais difícil, o que torna a verificação de identidade online um desafio cada vez mais relevante.
