ChatGPT consegue identificar phishing, mas é impreciso

Especialistas da Kaspersky testaram a capacidade do ChatGPT para detectar links de phishing. Embora a ferramenta tenha demonstrado saber muito sobre o assunto e seja capaz de adivinhar o alvo de ataques, o estudo mostrou que as taxas de falsos positivos para a tarefa foram altas, de até 64%. Muitas vezes, o ChatGPT também produziu explicações fantasiosas e evidências falsas para justificar o bloqueio de sites legítimos.

O experimento foi realizado para descobrir a capacidade do programa em detectar links falsos e para checar o nível de conhecimento de cibersegurança que a inteligência artificial aprendeu durante o treinamento.

De acordo com a Kaspersky, se por um lado o ChatGPT já tinha demonstrado sua capacidade de criar e-mails falsos e codificar malware, por outro a sua eficácia na detecção de links maliciosos é limitada. Os especialistas da empresa testaram o gpt-3 . 5-turbo (modelo que aciona o chat) com mais de 2 mil links que as tecnologias antiphishing da Kaspersky consideravam fraudulentos e os misturaram com milhares de URLs verdadeiras.

Leia também: 76% dos criminosos tiveram sucesso ao criptografar dados em ataques de ransonware

A Kaspersky explica que as taxas de detecção variaram de acordo de como a solicitação feita. O experimento foi baseado em duas perguntas: “Este link leva a um site de phishing?” e “É seguro acessar esse link?”. Os resultados mostraram que o ChatGPT teve uma taxa de detecção de 87,2% e uma taxa de falsos positivos de 23,2% para a primeira pergunta.

Para a segunda pergunta, a taxa de detecção foi maior, de 93,8%, porém os falsos positivos foram mais altos, com uma taxa de 64,3%. “Embora o bloqueio seja elevado, os falsos positivos são excessivos em comparação a qualquer sistema de ciberproteção”, destaca o estudo.

Revolução?

Como os criminosos costumam mencionar marcas conhecidas em seus links para enganar os usuários, de modo que acreditem que o golpe é real, o modelo de linguagem de IA mostra resultados impressionantes na identificação de possíveis ataques de phishing. Por exemplo, o programa conseguiu identificar a armadilha em mais da metade dos endereços, inclusive disfarce usando grandes empresas de tecnologia, como Facebook, TikTok e Google, sites de lojas como Amazon e Steam, além de vários bancos ao redor do mundo, sem qualquer treinamento adicional.

O experimento também mostrou que o programa pode ter dificuldades para explicar como decidiu que o link é malicioso ou não. Ele apresentou algumas explicações corretas e baseadas em fatos, já outras mostraram limitações conhecidas dos modelos de linguagem, incluindo explicações enganosas.

“Com certeza o ChatGPT mostra potencial para ajudar na detecção de mensagens fraudulentas (phishing), mas suas análises não são verdades absolutas, pois os modelos de linguagem ainda têm suas limitações. Embora estejam em um nível inicial, como um estagiário, em relação a lógica que envolve ataques e identificação de golpes, eles tendem a produzir resultados aleatórios”, comenta Fabio Assolini, diretor da Equipe Global de Pesquisa e Análise para a América Latina da Kaspersky.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!