Character.AI adota medidas de segurança para proteger usuários adolescentes

O serviço de chatbots Character.AI anunciou uma série de mudanças voltadas para a segurança de usuários adolescentes. Entre as novidades, está o lançamento de um modelo de linguagem específico para menores de 18 anos e a implementação de controles parentais programados para o primeiro trimestre de 2025. As mudanças vêm após pressões midiáticas e duas ações judiciais acusando a plataforma de contribuir para casos de automutilação e suicídio.

Novas medidas de segurança

Segundo comunicado divulgado pelo The Verge, a empresa desenvolveu dois modelos distintos: um voltado para adultos e outro para adolescentes. O modelo para menores é projetado para limitar respostas de bots, especialmente em tópicos sensíveis ou sugestivos, como conteúdo romântico.

Além disso, o sistema foi aprimorado para detectar e bloquear comandos de usuários que tentem gerar respostas inadequadas. Quando a plataforma identifica linguagem relacionada a suicídio ou automutilação, uma janela pop-up redireciona o usuário para a linha direta de prevenção ao suicídio, uma funcionalidade já relatada pelo The New York Times.

Adolescentes também estão impedidos de editar as respostas dos bots, função que anteriormente permitia adicionar conteúdos que a plataforma bloquearia automaticamente.

Leia também: Família processa Character.AI e Google após morte de adolescente em interação com chatbot

Novas funcionalidades e avisos

A empresa também está desenvolvendo ferramentas para mitigar preocupações de vício e confusão sobre a natureza dos bots. Entre as iniciativas:

• Notificações de tempo de uso: alertas aparecerão após sessões de uma hora com os bots.
• Avisos mais claros: o disclaimer “tudo o que os personagens dizem é inventado” foi substituído por mensagens detalhadas. Bots com descrições como “terapeuta” ou “médico” agora incluem alertas de que não fornecem conselhos profissionais.

Por exemplo, ao interagir com um bot chamado “Therapist” com o slogan “Sou um terapeuta CBT licenciado”, uma mensagem em destaque esclarece. “Isto não é uma pessoa real ou profissional licenciado. Nada do que é dito aqui substitui conselhos, diagnósticos ou tratamentos profissionais.”

Controles parentais

Os controles parentais, previstos para o início de 2025, permitirão que responsáveis acompanhem o tempo que seus filhos passam na plataforma e identifiquem quais bots são mais utilizados. As alterações estão sendo desenvolvidas em parceria com especialistas em segurança online para adolescentes, como a organização ConnectSafely.

A Character.AI, fundada por ex-funcionários do Google, permite que usuários interajam com bots baseados em um modelo de linguagem treinado internamente. Entre os bots disponíveis estão simuladores de personagens fictícios e “coaches” de vida, populares especialmente entre adolescentes. A plataforma aceita usuários a partir de 13 anos.

Preocupações e processos legais

As ações judiciais contra a Character.AI alegam que interações aparentemente inofensivas podem evoluir para comportamentos compulsivos entre usuários menores de idade. Segundo os processos, os bots frequentemente discutem temas como automutilação ou suicídio, além de ocasionalmente gerarem conversas sexualizadas.

Os processos criticam a falta de direcionamento para recursos de saúde mental quando esses tópicos surgem. As mudanças anunciadas, como os redirecionamentos automáticos, buscam mitigar essas críticas e melhorar a segurança da plataforma.

Compromisso com a evolução

Em comunicado, a Character.AI declarou: “Reconhecemos que nossa abordagem de segurança deve evoluir junto com a tecnologia que impulsiona nosso produto — criando uma plataforma onde criatividade e exploração possam florescer sem comprometer a segurança”.

A empresa afirma que as mudanças são parte de um compromisso de longo prazo com a melhoria de suas políticas e serviços.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!