Guardrails de IA dificultam trabalho de pesquisadores de cibersegurança e ampliam debate sobre modelos restritos

Os mecanismos de segurança incorporados aos modelos mais avançados de inteligência artificial, criados para impedir que criminosos utilizem a tecnologia em ataques cibernéticos, passaram a gerar críticas entre pesquisadores especializados em segurança ofensiva. Segundo profissionais ouvidos pelo TechCrunch, as restrições implementadas por empresas como OpenAI e Anthropic também acabam limitando atividades legítimas de identificação de vulnerabilidades e testes de proteção de sistemas.

O debate ganhou força após a adoção de controles mais rígidos sobre modelos considerados de fronteira, especialmente depois das restrições impostas pelo governo dos Estados Unidos ao acesso a ferramentas avançadas da Anthropic voltadas para cibersegurança. Desde então, pesquisadores relatam aumento no número de recusas dos modelos para executar tarefas relacionadas à análise de vulnerabilidades, mesmo quando utilizadas em contextos defensivos.

Especialistas entrevistados pela publicação afirmam que as barreiras nem sempre conseguem distinguir atividades maliciosas de pesquisas conduzidas por profissionais autorizados. Como resultado, análises de código, avaliação de falhas e outras tarefas rotineiras de segurança podem ser interrompidas automaticamente pelos sistemas de proteção dos modelos.

Mark Dowd, pesquisador conhecido por atuar na descoberta de vulnerabilidades inéditas utilizadas por governos em operações de inteligência, afirmou ao TechCrunch que considera problemático deixar a definição do que é aceitável em pesquisas de segurança nas mãos de empresas privadas. Segundo ele, as decisões sobre os limites de uso da tecnologia acabam sendo arbitrárias para uma área altamente especializada.

Pesquisadores que atuam em empresas também relatam impactos práticos. Um profissional da indústria de componentes para smartphones, ouvido sob condição de anonimato, afirmou que sua organização não participa do programa especial de acesso da Anthropic e, por isso, encontra dificuldades para utilizar os modelos em pesquisas de vulnerabilidade. De acordo com seu relato, basta que a ferramenta identifique uma atividade relacionada à segurança para interromper a interação.

Leia mais: EUA anunciam nova política de restrição de vistos para envolvidos em crimes cibernéticos

Restrições afetam produtividade e favorecem alternativas abertas

Além das recusas automáticas, especialistas apontam inconsistência no comportamento dos modelos. Chris Thompson, CEO da empresa RemoteThreat e fundador da conferência Offensive AI Con, disse ao TechCrunch que as restrições variam de um dia para outro, inclusive dentro dos programas de acesso privilegiado oferecidos por OpenAI e Anthropic para pesquisadores credenciados.

Segundo Thompson, boa parte do tempo acaba sendo consumida tentando reformular solicitações para contornar recusas indevidas, reduzindo a produtividade das equipes de pesquisa e desviando o foco da análise técnica propriamente dita.

A discussão ocorre em um momento em que cresce a preocupação com o equilíbrio entre segurança e inovação em inteligência artificial. Empresas desenvolvedoras defendem que os guardrails são necessários para evitar que modelos avancem na criação de malware, exploração automatizada de vulnerabilidades ou outras atividades ilícitas.

Por outro lado, pesquisadores argumentam que agentes maliciosos podem recorrer a modelos de código aberto ou desenvolvidos em outros países, enquanto profissionais responsáveis pela defesa acabam enfrentando restrições adicionais. Essa assimetria, segundo eles, pode reduzir a capacidade de organizações identificarem falhas antes que sejam exploradas por criminosos.

O tema ganhou ainda mais visibilidade após o incidente envolvendo a Hugging Face, que relatou dificuldades para utilizar modelos comerciais durante a análise forense de um ataque cibernético porque os sistemas de segurança interpretavam as solicitações como potencialmente ofensivas. A empresa recorreu a um modelo aberto para concluir a investigação, episódio que alimentou críticas sobre a eficácia dos atuais mecanismos de proteção em cenários legítimos de resposta a incidentes.

Apesar das críticas, especialistas não defendem a eliminação completa dos guardrails. O foco da discussão está na criação de mecanismos capazes de diferenciar pesquisadores autorizados de usuários mal-intencionados, permitindo acesso controlado para atividades defensivas sem ampliar significativamente os riscos de uso indevido da tecnologia.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!

• Anthropic
• cibersegurança
• openai
• pesquisas de defesa
• segurança