Comparativas y certificaciones antivirus: la necesidad de un nuevo modelo

La propia evolución de los antivirus y del malware han dejado obsoleto este modelo.

Hoy día un gusano de propagación masiva es capaz de infectar miles de sistemas en apenas unas horas. ¿Qué sentido tiene evaluar si un mes más tarde, en el mejor de los casos, los antivirus lo detectan?

Sin embargo, el principal indicador de las comparativas y certificaciones actuales se basan en este tipo de estudios.

Al factor tiempo hay que sumar la calidad de las muestras que forman parte de las colecciones utilizadas en las comparativas. Salvo los tests basados en colecciones ITW (de especímenes con especial incidencia reportado por usuarios reales), la mayoría de las comparativas y algunas certificaciones incluyen las llamadas colecciones ZOO, que no son representativas de las muestras reales que afectan a los usuarios y por tanto pueden ofrecer resultados parciales y de poco valor práctico. De hecho, en estas colecciones ZOO podremos encontrar muestras que no pueden ser consideradas malware.

También existen discrepancias entre los propios desarrolladores antivirus en determinar que tipo de malware debe ser detectado por los antivirus y, por tanto, deben ser tenido en cuenta en las evaluaciones. Mientras que algunos productos son más “clásicos” y se centran en virus, gusanos, troyanos y backdoors, la mayoría están evolucionando e incluyen adware, spyware, dialers, exploits, o herramientas de hacking, entre otros grupos de la gran familia que conforma hoy día el malware.

Otro problema intrínseco de las evaluaciones actuales tiene que ver con el estudio puntual en el tiempo de las soluciones. Una vez al mes, en el mejor de los casos, los antivirus pasan los tests. ¿Qué ocurre entre evaluación y evaluación? ¿Qué respuesta tuvo el día que apareció el gusano Blaster o Sasser? A los tiempos de reacción también se suman los problemas puntuales, relativamente comunes, que pueden darse tras ciertas actualizaciones, tanto de firmas como del motor. Una comparativa o certificación anual no ofrece garantías sobre el comportamiento a medio ni corto plazo.

Pero no sólo la evolución del malware fuerza la necesidad de modificar el modelo de evaluación, los propios antivirus están sufriendo una transformación, con la incorporación de funcionalidades proactivas que no son evaluadas con las metodologías actuales.

Imaginemos el caso de una solución antivirus que incorpora a la detección clásica basada en firmas una nueva función de monitorización del comportamiento, capaz de detectar nuevas variantes basándose en las acciones que intenta llevar a cabo en el sistema. Tendría que ejecutarse la muestra de malware para poder determinar si la solución antivirus lo detecta basándose en esta función. El problema se agrava si en vez de una muestra puntual tenemos en cuenta que las comparativas y certificaciones actuales pueden basarse en colecciones de más de 50.000 muestras.

¿Cómo pueden dar porcentajes de detección sobre tal número de muestras? ¿Han ejecutado una por una las muestras con cada una de las soluciones antivirus instaladas en el sistema? ¿Han comprobado una por una que realmente son malware?

¿Y si el antivirus incorpora un firewall personal? Las comparativas y certificaciones antivirus tampoco están evaluando como este tipo de protecciones mitigan las posibilidades de infección y propagación de ciertas muestras de malware.

Mi visión particular, basada en la experiencia y autocrítica, es que las comparativas y certificaciones antivirus actuales se encuentran totalmente obsoletas.

La idea del desarrollo inicial de VirusTotal, además de la utilidad manifiesta para los usuarios, en parte perseguía poder ofrecer indicadores inéditos hasta la fecha, tales como los tiempos de respuesta ante amenazas puntuales. Aun siendo un dato muy interesante, que aun no hemos explotado como se merece, hay mucho camino por recorrer. Un ejemplo claro es la necesidad de desarrollar metodologías para evaluar las soluciones proactivas no basadas en análisis de código.

A sabiendas de que simplemente estamos en el camino, en una próxima entrega vamos a publicar una propuesta de indicador basado en los tiempos de respuesta antivirus ante nuevas amenazas, tomando como ejemplo representativo las variantes de Sasser. Invitamos tanto a desarrolladores antivirus, profesionales de la seguridad independientes, y usuarios finales, a discutir el indicador y proponer las modificaciones o cualquier otra sugerencia que tengan a bien realizar.

Sobra decir que, en cualquier caso, nos encontramos ante un indicador concreto, con mayor o menor peso, pero que no puede determinar por si sólo la calidad de un producto, de forma que deberá ser valorado en su justa medida. De poco sirve un antivirus con muy buena respuesta en las actualizaciones, o con un gran porcentaje de detección, si provoca inestabilidad en el sistema, penaliza el rendimiento, es muy complicado de utilizar, o su precio resulta prohibitivo, entre otros muchos factores a tener en cuenta.