Detecção de notícias falsas: sistema da USP diferencia textos escritos por humanos e por IA

Uma ferramenta desenvolvida por pesquisadores do Instituto de Ciências Matemáticas e de Computação (ICMC) da USP, em São Carlos, pode auxiliar na detecção de notícias falsas. O sistema analisa as características da linguagem de um texto, classifica se ele foi escrito por uma pessoa ou produzido por inteligência artificial (IA) e indica os pontos mais relevantes para essa decisão.

Segundo os autores, o sistema foi testado em laboratório e apresentou elevada capacidade de identificar a autoria dos textos. A expectativa é que, no futuro, a técnica seja aplicada em programas de computador específicos para classificar conteúdos em língua portuguesa.

A pesquisa foi descrita em um artigo científico apresentado na 25ª Conferência Internacional sobre Inteligência Artificial (EPIA), realizada em Portugal entre os dias 2 e 4 de setembro.

O trabalho é de mestrado de Pedro Lucas Castro de Andrade, orientado pelo professor Thiago Pardo, do ICMC. Segundo Pardo, o objetivo é verificar se é possível distinguir, por meio computacional, notícias falsas escritas por humanos daquelas geradas por grandes modelos de língua (LLMs) em português brasileiro, um idioma pouco estudado nessa área.

Para o professor, a tarefa ganhou importância com o avanço da IA e seu uso sem controle pela sociedade. Um classificador confiável ajudaria a rastrear a origem de informações falsas que circulam na internet.

A ferramenta faz parte do projeto Synestech.AI, que reúne pesquisadores de várias instituições. O nome combina os termos sinestesia, tecnologia e IA. A sinestesia é um fenômeno perceptivo raro em que a estimulação de um sentido desencadeia uma experiência em outro, e o projeto envolve diferentes tipos de dados e processamentos, como processamento de língua natural, visão computacional e processamento de imagens.

Na primeira etapa, os pesquisadores caracterizaram linguisticamente dois conjuntos de notícias, chamados Fake.br e FakeTrueBR, aos quais foram acrescentadas notícias falsas produzidas pelo Sabiá-3, um LLM especializado em português. Nesses dados, para cada notícia falsa escrita por um humano há uma equivalente gerada por máquina.

A análise acontece em camadas. A lexical e sintática compara vocabulário, complexidade silábica e distribuição de classes gramaticais. A semântica e psicolinguística observa, por exemplo, o uso de verbos e de palavras concretas ou abstratas. Em seguida, o texto é representado numericamente, em embeddings, e um classificador de aprendizado de máquina decide sua origem.

Os classificadores foram avaliados por precisão, revocação e F1. De acordo com Pardo, as abordagens neurais ultrapassam 99% de F1 nos dados utilizados, o que indica alta capacidade de identificar a origem das notícias. A análise linguística também aponta que a complexidade e a variabilidade estrutural dos textos são atributos importantes.

Apesar dos resultados, o método está em fase de prova de conceito e ainda não há software disponível para uso. Os pesquisadores investigam se os resultados se mantêm em outros conjuntos de dados, qual é o efeito de outros LLMs e de estratégias de produção de notícias falsas, além de tentativas de enganar os classificadores. No futuro, a equipe pretende avaliar também informações de imagens, vídeos e áudio.

O projeto de detecção de notícias falsas é conduzido por um time do ICMC, com a colaboração de docentes e de alunos de graduação e pós-graduação. A frente de Processamento de Linguagem Natural do Synestech.AI conta com mais de 80 pesquisadores de instituições como USP, Unesp, UFSCar, UFAL, UFS, UFPA, UFBA e UFSC. Mais informações podem ser obtidas pelo e-mail taspardo@icmc.usp.br.