ChatGPT pode dar conselhos perigosos a adolescentes, aponta estudo

Um novo estudo do Center for Countering Digital Hate (CCDH) alerta para os riscos que adolescentes enfrentam ao interagir com o ChatGPT em situações de vulnerabilidade. A pesquisa identificou que o chatbot da OpenAI, mesmo com mensagens de advertência, forneceu respostas detalhadas sobre consumo de drogas, distúrbios alimentares e até redação de cartas de suicídio.

De acordo com informações da ABC News, a análise, revisada pela Associated Press, envolveu mais de três horas de conversas com pesquisadores que se passaram por adolescentes em sofrimento. Em mais da metade dos 1,2 mil testes realizados, as respostas foram classificadas como perigosas.

O diretor-executivo do CCDH, Imran Ahmed, afirmou que o objetivo era testar os limites do sistema. Segundo ele, a impressão deixada é de que as proteções existentes são frágeis e facilmente burladas.

Mesmo quando o ChatGPT recusava inicialmente fornecer certas informações, bastava mudar a justificativa do pedido, dizendo, por exemplo, que era para um trabalho escolar ou para ajudar um amigo, para o sistema liberar o conteúdo solicitado.

Leia também: Automação acelerada: o que falta para as empresas brasileiras alcançarem o consumidor digital?

Em um dos casos, o sistema detalhou um plano hora a hora de uma festa que incluía o uso de álcool, ecstasy e cocaína. Em outro, forneceu instruções de jejum extremo combinado com supressores de apetite para uma menina que dizia estar insatisfeita com seu corpo.

Além disso, o ChatGPT chegou a compor mensagens de despedida dirigidas aos pais, amigos e irmãos de uma suposta adolescente de 13 anos. Ahmed relatou ter chorado ao ler os textos gerados.

Falha nos filtros e excesso de confiança

Embora o sistema muitas vezes recomende procurar ajuda profissional e forneça contatos de apoio, a facilidade com que os filtros podem ser contornados preocupa os especialistas. De acordo com a Common Sense Media, mais de 70% dos adolescentes já utilizam assistentes de IA como companheiros e conselheiros, sendo que metade faz uso regular.

O próprio CEO da OpenAI, Sam Altman, já reconheceu publicamente a tendência de “dependência emocional” que jovens demonstram em relação ao ChatGPT. Em evento recente, ele relatou casos de adolescentes que compartilham todos os aspectos de suas vidas com o sistema e dizem tomar decisões com base no que a IA recomenda.

Diferença entre buscadores e IA

Ahmed destaca que, ao contrário de uma pesquisa no Google, os chatbots entregam respostas personalizadas, que soam como conselhos íntimos de um amigo confiável. Isso torna o conteúdo mais impactante, e perigoso, especialmente quando o modelo adota uma postura de validação em vez de confronto, característica já identificada em estudos anteriores como “sindemia”.

Outro ponto crítico, segundo a pesquisa, é que o ChatGPT não exige verificação de idade, apesar de declarar que não é indicado para menores de 13 anos. Para abrir uma conta, basta inserir uma data de nascimento compatível. Outras plataformas, como Instagram, vêm investindo em métodos mais robustos de verificação para atender a regulamentações e proteger o público infantojuvenil.

Riscos comerciais e legais

Enquanto o uso de IA cresce, mais de 800 milhões de pessoas já utilizam o ChatGPT, segundo relatório do JPMorgan Chase, crescem também os debates sobre a responsabilidade das empresas em garantir a segurança de usuários jovens.

A Common Sense Media classifica o ChatGPT como de “risco moderado” para adolescentes, considerando que há mais salvaguardas do que em outros sistemas desenhados para parecer companheiros ou parceiros românticos. Ainda assim, o relatório do CCDH mostra que mesmo esses filtros podem ser insuficientes diante de usuários determinados.

Casos extremos já chegaram ao Judiciário. Uma mãe da Flórida processou a empresa Character.AI alegando que o chatbot teria desenvolvido uma relação emocional abusiva com seu filho de 14 anos, culminando em suicídio.

A OpenAI declarou, em resposta ao estudo, que está trabalhando em melhorias para identificar sinais de sofrimento emocional e ajustar o comportamento do chatbot. Porém, não comentou diretamente os resultados da pesquisa.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!