Microsoft reforça segurança de chatbots contra manipulação por usuários

A Microsoft revelou na última quinta-feira (28) uma série de iniciativas voltadas para reforçar a segurança de seus chatbots de inteligência artificial (IA) contra tentativas de manipulação por parte dos usuários. Em meio ao aumento da utilização desses sistemas tanto por consumidores quanto por organizações, a empresa está implementando os novos recursos de segurança no Azure AI Studio.

Uma das principais iniciativas destacadas pela Microsoft é a introdução de “escudos de prompts” no Azure AI Studio, uma ferramenta que permite o desenvolvimento de assistentes de IA personalizados. Esses escudos foram projetados para detectar e bloquear tentativas deliberadas de manipulação, conhecidas como ataques de injeção de prompts, visando garantir que os chatbots ajam de maneira consistente e confiável.

Leia mais: Tânia Cosentino, da Microsoft Brasil: ‘Estamos construindo data centers na velocidade da luz’ 

Além disso, a empresa está implementando medidas para lidar com “injeções de prompts indiretas”, um tipo de ataque no qual hackers inserem instruções maliciosas nos dados usados para treinar os modelos de IA. Essas ações visam proteger os sistemas contra respostas inadequadas ou ações não autorizadas, garantindo a segurança e a privacidade dos usuários.

Sarah Bird, diretora de produto responsável pela IA da Microsoft, enfatiza a importância dessas medidas em meio aos desafios emergentes na interseção entre inteligência artificial e segurança cibernética. Ela destaca o compromisso contínuo da empresa em desenvolver e implementar tecnologias de IA de forma segura e responsável, em colaboração com parceiros estratégicos como a OpenAI.

*Com informações da Bloomberg

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!