Code Review: Bandit vs Semgrep vs SonarQube

Para el desarrollo de software, la seguridad y la calidad del código son aspectos críticos que no deben pasarse por alto. Las auditorías de código son esenciales porque ayudan a identificar vulnerabilidades y errores que podrían llevar a fallos de seguridad o problemas de funcionamiento en las aplicaciones. Estas auditorías permiten a los desarrolladores detectar problemas de manera temprana, garantizando que el software cumpla con los estándares de seguridad y calidad antes de su despliegue.

En este artículo, compararemos tres herramientas populares de auditoría de código: Bandit, Semgrep y SonarQube, destacando sus diferencias y similitudes, y analizando por qué es beneficioso usar más de una de estas herramientas en un proyecto de software. Además, compararemos estas herramientas con el análisis manual de un auditor.

Primero, estas 3 herramientas analizan el código de manera estática. Eso quiere decir que pueden auditar el código sin necesidad de compilar el proyecto previamente. Para analizar de manera estática se suelen tener unas reglas/módulos que tienen unas normas o patrones para identificar las vulnerabilidades, aunque esto puede resultar en muchos falsos positivos (cada código es único, y puede que haya las medidas bien implementadas en otro sitio).

Herramienta diseñada específicamente para encontrar problemas de seguridad en código Python. Analiza los scripts y módulos Python en busca de vulnerabilidades conocidas y algunas malas prácticas.
Características principales	Centrado en la seguridad para Python. Simple de integrar en flujos de trabajo CI/CD. Tiene licencia de Apache License 2.0, por lo que se puede usar con pocas restricciones su código.
Pros	Especializado en Python, lo que le permite realizar análisis más precisos en este lenguaje. Fácil de configurar e integrar.
Contras	Limitado a Python. No ofrece análisis de calidad de código o métricas de mantenimiento (aunque en las auditorías que realizamos no lo necesitamos).

semgrep

Herramienta de análisis de código que soporta múltiples lenguajes de programación. Es altamente configurable y permite a los desarrolladores escribir sus propias reglas para detectar patrones específicos de código.
Características principales	Seguridad y calidad del código. Proporciona un DSL (Domain-Specific Language) para escribir reglas personalizadas.
Pros	Soporta más de 30 lenguajes (Python, JavaScript, Java, etc.). Permite la creación de reglas personalizadas para necesidades específicas. Su versión gratuita es bastante completa. Para auditorías, es muy fácil de usar en proyectos.
Contras	Curva de aprendizaje para la creación de reglas personalizadas. Puede requerir ajustes finos para minimizar falsos positivos. Algunas de sus reglas se debe realizar una suscripción mensual entre 30-40 dólares para tenerlas.

sonarqube

Plataforma de análisis de código estático que se enfoca tanto en la seguridad como en la calidad del código. Ofrece un amplio conjunto de métricas y soporta numerosos lenguajes de programación. También dispone de plugins para IDEs donde marcan recomendaciones en una ventana de reportes.
Características principales	Seguridad, calidad y mantenimiento del código. Interfaz web amigable con dashboards y reportes detallados (en su versión web). Adaptable a muchos tipos de flujo de trabajo (ya sea para auditorías o para desarrolladores).
Pros	Soporte extensivo para múltiples lenguajes. Ofrece una visión holística del estado del código con métricas detalladas y reportes. Aunque posee una versión gratuita, a diferencia de Semgrep ofrece varios planes de subscripción para proyectos o infraestructuras más grandes.
Contras	Puede ser complejo de configurar y administrar. Requiere recursos significativos para análisis en proyectos grandes. Una gran parte de las alertas, suelen ser recomendaciones o buenas prácticas que no conciernen a la seguridad (aunque esto es un punto para los desarrolladores, para las auditorías no ayuda).

analisis-manual-de-codigo

Realizado por un analista implica la revisión detallada del código fuente para identificar vulnerabilidades, errores de lógica y malas prácticas. Este proceso es realizado por expertos en seguridad y desarrollo de software y muchas veces va acompañado del uso de herramientas como las ya mencionadas.
Características principales	Detectar problemas complejos y contextuales que pueden no ser fácilmente identificados por herramientas automáticas como vulnerabilidades de autorización o de lógica de negocio. No requiere configuración técnica, pero depende de la habilidad y experiencia del auditor con ese lenguaje y framework usado.
Pros	Capacidad para entender el contexto y la lógica del negocio, detectando problemas que las herramientas automáticas pasan por alto ya que no se las configura para saber cómo debería ser esta lógica. Flexibilidad para adaptar el análisis a las particularidades del proyecto que permite centrarse en los puntos débiles del lenguaje/framework.
Contras	Proceso lento y laborioso, especialmente para grandes volúmenes de código. Susceptible a errores humanos y a variaciones en la calidad del análisis dependiendo del auditor ya que no se pueden verificar las vulnerabilidades con pruebas de pentesting. A su vez, los precios son elevados debido a que hay un experto en la materia detrás de este trabajo.

Comparación

◾ Automatización vs. Manualidad: Las herramientas automáticas pueden analizar grandes cantidades de código rápidamente, mientras que un análisis manual es más lento y laborioso.
◾ Consistencia: Las herramientas automáticas aplican reglas de manera consistente, mientras que la revisión manual puede variar según el auditor. No obstante, al aplicar unas reglas estrictas, dará a pie muchos falsos positivos.
◾ Contexto y Detalles: Los auditores humanos pueden comprender mejor el contexto y los detalles específicos del proyecto, identificando problemas que las herramientas pueden no detectar. A su vez, un analista difícilmente puede reportar un falso positivo ya que tiene la experiencia de su lado y el poder leer el código probablemente vulnerable.
◾ Cobertura: Las herramientas automáticas pueden proporcionar una cobertura amplia y sistemática, pero pueden no ser tan profundas en el análisis contextual como una auditoría manual.

Como podéis ver, cada una de estas herramientas tiene sus propias fortalezas y debilidades. Bandit es ideal para proyectos enfocados en Python donde la seguridad es una prioridad. Semgrep es una opción flexible y poderosa para equipos que trabajan con múltiples lenguajes y necesitan personalización en sus análisis. SonarQube, por otro lado, ofrece una solución integral para evaluar tanto la seguridad como la calidad del código en un amplio espectro de lenguajes a la vez que una plataforma muy completa.

Tener en cuenta que una revisión manual de un analista se diferencia de estas herramientas al proporcionar una comprensión profunda y contextual del código que, de momento, no puede hacer un programa, descartando todos estos falsos positivos que se hayan podido generar de forma automática.

En resumen, la combinación de múltiples herramientas de auditoría de código junto con análisis manuales no sólo mejora la detección de vulnerabilidades y errores, sino que también asegura que el código cumpla con altos estándares de calidad y seguridad, contribuyendo al éxito y la confiabilidad de los proyectos de software.

Referencias:
https://github.com/PyCQA/bandit
https://semgrep.dev/
https://www.sonarsource.com/