A batalha dos antivírus – confrontando 9 soluções de mercado!

Análise dos produtos – estressando os antivírus

1) SPYCAR

Este é um teste “comportamental”.  São forçadas diversas ações associadas a programas maliciosos como alterações no REGISTRY ou no próprio Browser. No total são 17 ações funestas e prejudiciais como incluir programa em execução automática, modificar o arquivo HOSTS, modificar página inicial do navegador, etc. a qual todos os antivírus foram submetidos. O índice de sucesso do teste SPYCAR foi contabilizado na forma percentual.

Este teste dá uma boa ideia como o programa se comporta frente a malwares desconhecidos uma vez que as ações testadas todas são associadas a comportamentos indesejáveis.

Para alguns dos programas testados, após um ou dois acessos ao site do SPYCAR (http://www.spycar.org/Spycar.html), logo após identificada a primeira ameaça, catalogou o site como inseguro e não mais deixou acessar os programas de teste. Com algum trabalho de configurações conseguimos testar todas as 17 opções de todos os produtos e neste teste todos os produtos foram capazes de reconhecer ameaças e bloquear os programas. Empate!

2) Tempo de carga do Windows (tempo de boot)

Antivírus e programas de segurança consomem recursos. Mas isso não pode afetar demais o comportamento do PC. Para os nove antivírus testados (mais o PC sem proteção alguma) foram medidos os tempos de carga do Windows, desde o momento que aparece a mensagem “Iniciando o Windows” até aparecerem os ícones da área de trabalho (com login automático).

Sem antivírus a tarefa foi efetuada em 26.6 segundos. Os programas que menos impactaram o desempenho foram NORTON, ESET e MCAFEE que obtiveram tempos muito próximos. Os programas que mais afetaram a carga do Windows foram BITDEFENDER, FSECURE, KASPERSKY e PANDA. Convém notar que apesar de haver diferenças entre cada antivírus, as diferenças não ultrapassaram 48% enquanto no passado já vimos programas trazerem penalidade de desempenho de mais de 100%. Todos evoluíram, com alguns tendo mais competência.

3) Tempo de cópia de arquivos

O que mais se faz em um PC hoje em dia é copiar arquivos. Fotos, documentos, músicas, vídeos… Um antivírus não pode impactar demais este tipo de operação. Por isso em nosso teste usamos uma pasta padrão (igual para todos) de 10 Gbytes gravada num drive separado (D: ) e copiamos para outra pasta no disco de boot (C: ). Os tempos estão registrados no gráfico abaixo. O teste do tempo de carga do Windows e tempo de cópia de uma pasta permitem entender quanto esforço extra o PC precisa fazer para realizar suas tarefas com o antivírus protegendo a máquina nos bastidores.

O PC sem proteção efetuou a cópia em 927 segundos. O PC protegido com o ESET foi o mais rápido com 1084 segundos, diferença pequena, seguido por BITDEFDENDER e PANDA. Os que realizaram a operação mais lentamente foram MICROSOFT, MCAFEE e NORTON e TRENDMICRO com valores entre 1870 e 1980 segundos, aproximadamente o dobro do tempo da situação sem proteção. Outros produtos ficaram em posição intermediária.

4) Dupla varredura de disco de dados de usuário

Este teste mede a eficácia do processo de varredura, procurando arquivos potencialmente perigosos. A pasta padrão de 10 Gbytes com arquivos diversos, em um segundo disco rígido (D:) foi vasculhada e o tempo necessário para a tarefa assinalado para cada produto. Uma segunda varredura foi feita porque quase todos os produtos testados contam com algum algoritmo de otimização. Afinal vasculhar sempre os mesmos arquivos (já verificados) toma muito tempo. Alguns produtos usam “lista de confiança” (e cada um dá o seu próprio nome para isso), que são arquivos já verificados e chancelados como confiáveis pela comunidade de usuários e pelo fabricante da solução. Assim conseguem reduzir bastante o esforço desta operação (desde que o arquivo não tenha sido alterado, pois neste caso este é verificado de novo). Arquivos de dados do usuário são menos sujeitos a estas otimizações, pois são arquivos muitas vezes exclusivos e únicos. Mesmo assim vários produtos fizeram bonito agilizando o esforço para esta tarefa.

Os produtos NORTON, MCAFEE, ESET e FSECURE foram o melhores na primeira varredura. Curiosamente o KASPERSKY foi mais lento até que o MICROSOFT nesta primeira operação. Mas na segunda varredura quase tudo mudou. NORTON continuou mais rápido seguido de perto pelo KASPERSKY e MCAFEE. O mais lento na segunda verificação foi (sem surpresas) o MICROSOFT que não tem algoritmo sofisticado de otimização, seguido do PANDA, TRENDMICRO.

5) Dupla varredura de disco de dados de boot (contendo o Windows)

Este faz a varredura do disco de boot do sistema (C:). Coincidentemente durante o teste tanto a partição de dados como a partição de boot tinham cerca de 10 Gbytes. Assim seriam esperados tempos parecidos na primeira varredura, mas não na segunda. Isto porque a quantidade de arquivos “conhecidos” na partição com Windows deveria ser maior. A segunda varredura também ajuda a avaliar a eficácia dos algoritmos de otimização de cada produto.

Neste caso, olhando arquivos conhecidos do Windows 7 os produtos mais rápidos na primeira varredura foram ESET, NORTON, FSECURE e MCAFEE. Os mais lentos foram PANDA, MICROSOFT, KASPERSKY e TRENDMICRO. Cabe ressaltar que o drive de boot era quase idêntico para todos os produtos, pois os PCs virtuais foram criados a partir de uma mesma matriz (VM já existente só com Windows). A diferença ficou apenas por conta do próprio produto de segurança instalado em cada PC virtual. Na segunda varredura mudou um pouco a ordem dos mais rápidos: NORTON, FSECURE, ESET e MCAFEE. Os mais lentos foram PANDA, MICROSOFT e TRENDMICRO. Vejam que o ESET não estava entre os mais rápidos no teste de varredura no drive de dados foi dos mais rápidos quando os arquivos são “conhecidos” (Windows).  NORTON e FSECURE estiveram nos dois casos entre os mais rápidos.

6) Ataque total de vírus e malwares sobre os produtos

Este foi o teste mais “selvagem” e provavelmente o mais importante. Durante muitas semanas foram colecionados inúmeros e-mails contendo mensagens com conteúdo claramente pernicioso, usando engenharia social, querendo induzir o incauto usuário a clicar nos links perigosos ou abrir anexos e infectar seu PC. Foram 100 potenciais riscos que deveriam ser bloqueados pelos programas e cada um deles teve sua taxa de sucesso registrada.

Testar a eficácia dos produtos frente aos malwares existentes revelou-se problemático. Afinal são perto de 2 milhões de programas maliciosos catalogados (com certeza mais que isso na hora que ler este texto). Seria impossível testar cada programa frente a todos eles. Assim foi feita uma avaliação baseada em uma amostra (as referidas 100 ameaças coletadas). Mas estas ameaças não puderam ser testadas sempre em todos os produtos. Isto porque os sites que hospedam phishing ou malwares têm vida efêmera. Foi comum durante o teste uma página ou  site ser usado para testar um dos produtos não estar mais no ar ao testar outros produtos. Isso nos obrigou a refazer o teste muitas vezes até que todos os produtos pudessem ser submetidos às mesmas ameaças e pudéssemos ter a mesma base de comparação.

Cada ameaça testada poderia ser considerada como SUCESSO (se o bloqueio foi imediatamente eficaz), FALHA SEVERA (se a ameaça foi ignorada completamente) ou caso de FALHA LEVE ou moderada. Esta é configurada por diversas situações. Por exemplo, o programa da MICROSOFT várias vezes não bloqueou a ameaça, deixou o computador ser infectado, mas logo depois acusou o programa malicioso e sugeriu removê-lo (mas não o impediu de entrar no PC).  Outra situação de FALHA LEVE é o caso de alguns arquivos JPG infectados. Na verdade não eram imagens e sim programas executáveis renomeados para JPG que dependendo do programa usado ou se o Windows tem ou não atualizações de segurança instaladas, acaba por executar o programa dentro do JPG. Pouquíssimos programas perceberam este tipo de infecção e limparam o JPG imediatamente. Em sua grande maioria os programas deixaram o download ser feito e somente em uma varredura posterior limparam esta ameaça. Assim o resultado deste teste é um gráfico no qual cada produto tem seu número de FALHAS SEVERAS e FALHAS LEVES apontadas.

Como se vê o produto com menor número de falhas foi o FSECURE com apenas 4 falhas leves e nenhuma severa, seguido por TRENDMICRO, NORTON, MCAFEE, KASPERSKY. Os que tiveram menor eficácia foram ESET, MICROSOFT, PANDA e BITDEFENDER. Era esperado que MICROSOFT tivesse uma taxa menor de sucessos, afinal a empresa ainda não toda expertise no assunto e o produto é gratuito. Mas ESET nesta relação foi uma surpresa, pois como é baseado na consagrada solução NOD32, esperava-se maior taxa de sucesso nas detecções. Por outro lado ESET foi o produto entre os mais rápidos em vários testes, teria isso atrapalhado de alguma forma?

Observe que em um universo de 100 ameaças, os produtos que registraram menos falhas obtiveram 4 problemas, enquanto o que teve mais falhas obteve 8. A diferença é pequena e deve ser relativizada. Muito provavelmente em uma ou duas semanas, testando com outro lote de malwares os resultados poderiam ser diferentes. Por isso foi citado na introdução deste texto que os resultados são uma “fotografia de um momento”. E basta uma nova atualização das “vacinas” (definições de vírus) ou dos mecanismos dos produtos (também por download) que este cenário pode mudar bastante.