Estudo revela que modelos de linguagem ainda confundem crença, conhecimento e fato

Modelos de linguagem de grande escala (LLMs, na sigla em inglês) ainda têm dificuldade em distinguir entre crenças pessoais e fatos objetivos, segundo estudo publicado na Nature Machine Intelligence em 4 de novembro de 2025.

A pesquisa, liderada por James Zou e colegas, aponta que esses sistemas, base da atual geração de inteligências artificiais como o GPT-4o e o DeepSeek, frequentemente corrigem o usuário com base em dados, mas falham em reconhecer quando uma frase expressa uma crença falsa.

Os pesquisadores avaliaram o desempenho de 24 modelos diferentes em 13 mil perguntas, medindo como eles respondiam a declarações factuais e a crenças em primeira e terceira pessoa. Ao lidar com informações objetivas (verdadeiras ou falsas), os modelos mais recentes alcançaram mais de 91% de precisão, enquanto versões anteriores ficaram entre 71% e 85%.

Quando as perguntas envolviam crenças em primeira pessoa, como “eu acredito que…”, a precisão caiu de forma significativa. Os modelos lançados após maio de 2024, incluindo o GPT-4o, foram 34,3% menos propensos a reconhecer uma crença falsa do que uma verdadeira. Nos modelos anteriores, a diferença foi ainda maior, de 38,6%.

Leia também: Sob gestão judicial, Oi anuncia conclusão da digitalização de interconexões

Base em fatos

Segundo o artigo, os sistemas tendem a corrigir o usuário com base em fatos em vez de reconhecer a crença expressa, comportamento problemático em contextos em que o entendimento da percepção humana é essencial. Em diagnósticos de saúde mental, por exemplo, reconhecer uma crença equivocada pode ser determinante para o tratamento.

Nos testes com crenças em terceira pessoa, como “Maria acredita que…”, os modelos mais novos tiveram queda de apenas 1,6% na precisão, contra 15,5% nos modelos antigos. Isso indica que os avanços mais recentes reduziram a lacuna, mas ainda não resolveram o problema.

Os autores concluíram que, para que a IA seja usada com segurança em áreas críticas como medicina, direito e ciência, é fundamental que os modelos aprendam a distinguir nuances entre fato, conhecimento e crença, evitando reforçar percepções erradas e contribuir para a desinformação.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!