Por que os testes de antivírus dão resultados tão diferentes?

Testes de desempenho de antivírus são divulgados com regularidade em diversos canais de comunicação. Não é de se estranhar, tendo em vista a importância de proteger os computadores e outros dispositivos contra ameaças num mundo cada vez mais conectado.

No entanto, o leitor mais atento deve ter percebido que os resultados costumam variar bastante de teste para teste e deve se perguntar o porquê de tanta diferença. O motivo é a complexidade que envolve esse tipo de teste, que se deve, principalmente, a dois motivos: a dificuldade de se obter uma boa amostra de malwares e os diferentes mecanismos de detecção utilizados pelos antivírus modernos.

Vamos começar analisando o problema das amostras. Surgem mais de 100 mil novas ameaças todos os dias. Para o teste ter valor é necessário que a amostra utilizada atenda a algumas condições:

a) Deve ser de tamanho suficiente para ter significância estatística. Assim, um número razoável para um bom teste de vírus deveria ser da ordem de algumas centenas de milhares de malwares.
b) A coleção de malwares deve abranger os incontáveis tipos diferentes de ameaças, de forma a representar o imenso universo destes malwares encontrados na internet.
c) Os elementos da amostra devem ter relevância, ou seja, precisam ser ameaças realmente presentes na vida real e cotidiana dos usuários.
d) Deve conter uma quantidade razoável de arquivos que não são realmente ameaças, mas que possam ser facilmente confundidas com malwares, para medir a quantidade de falsos positivos reportados por uma determinada solução de antivírus.

Já podemos perceber que não é tão simples assim obter uma amostra de qualidade, que atenda a todas as condições mencionadas. E para realizar um teste, é necessário que o investigador saiba identificar perfeitamente quais são os elementos que são efetivamente vírus e os que apenas parecem ser uma ameaça.

Mas não basta apenas ter uma boa amostra e que ela seja bem identificada. Os antivírus atuais, além da detecção por assinatura (base de dados de vírus conhecidos), utilizam outras técnicas como heurística, análise comportamental, detecção na nuvem e várias outras camadas de proteção que não são utilizadas nos testes estáticos (simples varreduras de arquivos).

Assim, uma avaliação efetiva tem de ser feita de forma dinâmica, ou seja, com o programa em execução. Isso implica que cada uma das centenas de milhares de elementos da amostra deve ser executado para cada uma das versões de antivírus testado. Além disso, a máquina tem de ser zerada – para que tenhamos a certeza de que o teste não está sendo feito numa máquina já contaminada – entre cada execução.

Agora que explicamos a complexidade de avaliar programas antivírus fica a dúvida: "Então os testes de antivírus não são válidos?".  A resposta é simples, existem testes muito sérios e feitos com profissionalismo que podem ser usados para ter uma noção da eficácia de uma solução antivírus. No entanto, devido à complexidade e ao fato de se trabalhar com amostras, é de esperar que hajam flutuações estatísticas, o que significa, na prática, que pequenas diferenças de um ou dois pontos percentuais não necessariamente podem necessariamente  garantir que uma solução é melhor do que a outra.

Cabe lembrar ainda que os resultados dos testes mais sérios e profissionais costumam apresentar a metodologia utilizada, ou seja, explicam em que condições o teste foi feito e apresentam informações sobre a amostra utilizada, tornando o processo mais transparente e confiável.