La IA (Inteligencia Artificial) ha pasado de experimentos de laboratorio a sistemas críticos de negocio creando una serie de riesgos asociados como pueden ser el sesgo, seguridad, privacidad, uso indebido, dependencia de terceros, opacidad. Las organizaciones que llevan una gestión controlada de sus riesgos requieren de un marco de referencia para gestionar esos riesgos y demostrar control, responsabilidad y alineación con normativas (IA Act, GDPR, etc.).
El estándar ISO/IEC 42001 nace como el marco internacional para gestionar de forma sistemática la IA, igual que ISO 9001 lo fue para la calidad o ISO 27001 para la seguridad. Al igual que estos estándares, ISO/IEC 42001 adopta el enfoque de mejora continua, basado en el ciclo PHVA (Planificar, Hacer, Verificar, Actuar) — conocido internacionalmente como ciclo PDCA —, lo que permite a las organizaciones no solo implementar controles sobre sus sistemas de IA, sino también revisarlos y perfeccionarlos de manera sistemática y periódica. Este ciclo garantiza que la gestión de la IA no sea un esfuerzo puntual, sino un proceso dinámico que evoluciona junto con la tecnología y los riesgos asociados.
Un SGIA (Sistema de Gestión de Inteligencia Artificial) es un conjunto de políticas, procesos y controles que buscan garantizar que los sistemas de IA sean seguros, éticos, transparentes y alineados con el propósito de negocio.
Es importante tener en cuenta que un SGIA no regula los modelos, sino cómo la organización gestiona la IA en general, es decir el SGIA no dice cómo debe "pensar" el modelo, sino cómo debe "comportarse" la organización al crearlo o usarlo.
La implementación de un SGIA se realiza a través de un enfoque basado en riesgo que se debe aplicar a todo el ciclo de vida del sistema de IA:
El estándar ISO/IEC 42001:2023 sigue el anexo SL (antigua Guía 83 de la ISO) lo que facilita la integración, compatibilidad y armonización entre diversas normas que siguen el mismo anexo como, por ejemplo, ISO 9001, 14001, 27001, 27701, 31000, 37001, 45001. Esto significa que encontraremos los 10 capítulos o secciones que permiten hacer la integración con los otros estándares, estos son: Alcance, Referencias normativas, Términos y definiciones, Contexto de la organización, Liderazgo, Planificación, Apoyo, Operación, Evaluación del desempeño y Mejora.
Veamos algunos aspectos que debemos tener en cuenta a la hora de realizar la implementación en los apartados más importantes.
Lo primero de debemos tener en cuenta al implementar un SGIA es la determinación del alcance, y para esto debemos comenzar por identificar de los puntos donde se usa o implementan productos o servicios que tienen dependencia de IA, bien sea por que el producto o servicio es una IA o por que se use una IA para desarrollarlo o proveerlo. Para esto debemos hacer un inventario y clasificación de IAs con su información relevante como propietario, criticidad, función, tipo, riesgo, estado de documentación, estado del proyecto y cualquier otra información relevante que permita gestionar el conjunto de IAs de la organización.
El siguiente paso es hacer una identificación y documentación de las partes interesadas, es decir todos aquellos que determinan cómo se usa la IA en la organización y todos aquellos que se ven afectados ya sea de manera directa o indirecta por el uso o implementación de esta IA. Entre las partes interesadas debemos incluir como mínimo: proveedores, productores de IA (todo el ciclo de vida), clientes o usuarios, colaboradores, sujetos de la IA (aquellos a quienes se les tratan los datos mediante la IA), autoridades, legisladores y reguladores.
Con estos elementos se procede a documentar el alcance del SGIA, es decir se debe definir de manera clara y precisa los elementos que serán cubiertos por el gobierno del sistema, y con este alcance se establecen los objetivos del sistema.
Liderazgo
En el entorno de la IA es la dirección la que define la visión de cómo será el uso de la IA en la organización y esa visión se debe traducir en las políticas que rigen el comportamiento de los colaboradores para la implementación y uso de la IA.
Además de la visión, la alta dirección debe asegurar que se asignan los recursos necesarios para materializar esa visión y ejerciendo una función de monitoreo a alto nivel de que se estén cumpliendo las premisas del SGIA mediante las revisiones de la dirección.
El camino para llevar la visión de la alta dirección a las tareas operativas pasa por definir una política que deben conocer todas las partes afectadas, y también definir quienes serán los responsables de asegurar que esa política se cumpla a través de la documentación de roles y responsabilidades, como ejemplos de roles con sus responsabilidades a muy alto nivel se podrían definir los siguientes:
▪️DIRECTOR/CEO: Compromiso y dirección estratégica
▪️ CIO/CDO: Liderazgo de gobernanza de datos e IA
▪️ RESPONSABLE DE IA: Coordinación del SGIA, supervisar conformidad
▪️ EQUIPO DE RIESGOS: Identificación y evaluación de riesgos
▪️ EQUIPOS TÉCNICOS: Implementación de controles
▪️ EQUIPOS OPERATIVOS: Ejecución de controles y respuesta a incidentes
▪️ AUDITORÍA INTERNA: Evaluación del cumplimiento
Planificación
La planificación involucra todos los aspectos que debemos tener en cuenta para poder operar un SGIA, esto implica que se deben identificar los riesgos a los que se expone la organización al implementar inteligencia artificial ya sea como mecanismo de apoyo o como elemento fundamental de un producto o servicio.
Para la identificación de riesgos se debe planificar cómo se hará dicho análisis de riesgos que en el caso de inteligencia artificial nos enfrenta a nuevos retos desde el punto de vista de que son riesgos que son nuevos para muchas personas y que por la novedad de la tecnología en los entornos corporativos no se habían visto.
Tras definir el mecanismo para identificar los riesgos, se pasa a definir el mecanismo que se usará para la evaluación, es decir, cómo podemos determinar cuál es el nivel de impacto para la organización en caso de que uno de esos riesgos se materialice, y, directamente asociado con esta evaluación se debe definir el nivel de riesgo aceptable por la organización.
Para todos los riesgos que no son aceptables será necesario establecer una estrategia de tratamiento de los riesgos que en la mayoría de los casos implicará la implementación de controles, por tanto, se debe hacer la planificación de cómo hacer esta implementación.
Una tarea que nos impone el SGIA es la evaluación de impacto de la inteligencia artificial en las personas o entidades que afectan los sistemas que se usan o implementan y asegurar que esto impacta el análisis de riesgos.
Finalmente, como parte de la planeación está la tarea de la definición de los objetivos que permitirán cumplir con lo definido en la visión inicial y la política de seguridad, por tanto, estos objetivos estarán alineados con el negocio.
Apoyo
Los sistemas de gestión requieren recursos para poder funcionar, eso significa que la organización debe surtir todas las necesidades del sistema en todo su ciclo de vida. Además de los recursos financieros y tecnológicos, debemos hablar de los recursos humanos, es aquí donde la organización debe asegurar las competencias y formación en IA, ya que siendo una tecnología relativamente nueva y que está cambiando a una alta velocidad, es necesario asegurar que las personas que la operan en la organización lo hacen de la manera correcta, ética y responsable.
La toma de conciencia, y formación deberá alinearse con las responsabilidades asignadas al personal, pero en todos los casos debemos asegurar que todos conocen la política y que entienden cómo contribuyen al sistema con las respectivas consecuencias o afectaciones que pueden generar si no cumplen con sus responsabilidades.
Durante el ciclo de vida de una IA donde será necesario establecer contacto con diferentes partes, tanto interna como externas, por tanto, es necesario definir con claridad quienes tienen la autoridad y/o responsabilidad de hacerlo, así como las condiciones bajo las cuales sucede esta comunicación.
Para poder asegurar que los procesos son repetibles debemos documentar los procesos, y teniendo en cuenta que estos van a estar cambiando, ya sea porque la organización está haciendo un cambio, o, porque la tecnología ha seguido su proceso natural de evolución, es necesario llevar un estricto control de las versiones de esta documentación de igual manera, los registros que debemos dejar para soportar todas las decisiones y acciones que se han tomado en el sistema deben ser resguardados de modo que nos permitan hacer análisis de nuestros procesos y buscar caminos para mejorarlos, y por otro lado dejar evidencia que permita soportar las decisiones tomadas ante una evaluación interna.
Operación
La fase de operación es donde se materializan todos los controles y procesos definidos en la planificación. Es en esta sección donde el SGIA cobra vida mediante la ejecución sistemática del análisis de riesgos, la implementación de controles técnicos y operativos, y el establecimiento de mecanismos de supervisión continua.
Evaluación y gestión de riesgos
La evaluación de riesgos debe ejecutarse de acuerdo con la metodología definida en la fase de planificación. Esta evaluación debe ser un proceso continuo que acompañe todo el ciclo de vida del sistema de IA, no un evento único realizado al inicio del proyecto.
Los riesgos específicos para evaluar en sistemas de IA incluyen:
▪️ SESGO Y DISCRIMINACIÓN: Riesgo de que el modelo o los datos de entrenamiento generen resultados que favorezcan o penalicen grupos específicos. Esto incluye sesgos demográficos, de género, socioeconómicos o de cualquier otra naturaleza.
▪️ FALTA DE TRANSPARENCIA: La imposibilidad de explicar o justificar las decisiones tomadas por el sistema de IA. Esto es especialmente crítico en contextos donde se afectan derechos de individuos.
▪️ PRIVACIDAD: El riesgo de exposición, pérdida o mal uso de datos personales o sensibles durante las fases de recopilación, entrenamiento, validación u operación.
▪️ SEGURIDAD: Vulnerabilidades del sistema ante ataques adversarios, manipulación de datos de entrada, envenenamiento de modelos o acceso no autorizado.
▪️ DESEMPEÑO: La degradación o variabilidad en la precisión y calidad del modelo cuando se enfrenta a datos no vistos durante el entrenamiento.
▪️ RESPONSABILIDAD: La ambigüedad sobre quién es responsable cuando el sistema comete errores o causa daño.
▪️ ROBUSTEZ: La capacidad del sistema para mantener un desempeño aceptable frente a entradas inesperadas, datos fuera de distribución o cambios contextuales.
▪️ SOBREAJUSTE (OVERFITTING) O INFRAAJUSTE (UNDERFITTING): El balance incorrecto entre complejidad del modelo y calidad de datos.
▪️ DESPLIEGUE DE SISTEMAS INSEGUROS O INJUSTOS: El riesgo operacional de implementar sistemas que no han sido completamente validados.
Para cada riesgo identificado, debe documentarse: la descripción detallada, las causas raíz, la probabilidad e impacto estimados, el nivel de riesgo resultante, los controles existentes y los controles adicionales requeridos.
Planificación operativa del ciclo de vida del sistema de IA
El SGIA debe establecer procedimientos documentados para cada etapa del ciclo de vida del sistema de IA. Estos procedimientos actúan como rieles que aseguran que cada decisión técnica está alineada con los objetivos de gobernanza y cumplimiento normativo.
Diseño y Arquitectura
En la fase de diseño se definen los parámetros fundamentales del sistema de IA:
▪️ Definición clara de objetivos del sistema de IA y métricas de éxito
▪️ Identificación de requisitos funcionales y no funcionales con enfoque en seguridad y equidad
▪️ Selección arquitectónica fundamentada con documentación de alternativas consideradas
▪️ Mapeo de entidades de datos: origen, transformaciones, destino
▪️ Definición de límites del sistema e interfaces con otros sistemas
▪️ Documentación de supuestos técnicos y limitaciones conocidas
▪️ Evaluación de impacto potencial en individuos y grupos afectados
▪️ Planificación de seguridad técnica: autenticación, autorización, encriptación
Gestión de Datos
La calidad de los datos es fundamental para la seguridad y equidad de los sistemas de IA. El SGIA debe establecer estándares rigurosos:
▪️ PROCEDENCIA DE DATOS: Documentación de origen, autorización de uso, licencias y derechos de autor. Trazabilidad completa desde la fuente.
▪️ REPRESENTATIVIDAD: Análisis de sesgos en la composición del conjunto de datos. Evaluación de si los datos representan adecuadamente las poblaciones afectadas.
▪️ LIMPIEZA Y TRANSFORMACIÓN: Procedimientos documentados para tratamiento de datos faltantes, valores atípicos y preparación para entrenamiento.
▪️ GOBERNANZA DE DATOS: Control de versiones, documentación de cambios, auditoría de acceso y almacenamiento seguro.
▪️ CUMPLIMIENTO REGULATORIO: Validación de que el uso de datos cumple con GDPR, CCPA y regulaciones locales. Evaluación de consentimiento.
▪️ ETIQUETADO Y ANOTACIÓN: Procesos de calidad para garantizar que los datos etiquetados son precisos y consistentes.
Desarrollo y Entrenamiento
En el desarrollo se implementa el modelo de IA con múltiples capas de validación:
▪️ Selección fundamentada de algoritmos y marcos tecnológicos según los requisitos
▪️ Implementación de código con estándares de calidad y seguridad documentados
▪️ Validación técnica: evaluación de precisión, exactitud, recall, F1-score según contexto
▪️ Validación ética: análisis de sesgos, fairness metrics, evaluación en grupos demográficos
▪️ Validación legal: revisión de derechos de autor de datos y modelos, restricciones contractuales
▪️ Pruebas de robustez: evaluación ante ejemplos de adversarios y datos fuera de distribución
▪️ Documentación de hiper-parámetros, configuración de entrenamiento y decisiones técnicas
▪️ Control de versiones de modelos y trazabilidad de cambios realizados
Control de proveedores y modelos externos
Muchas organizaciones utilizan modelos pre-entrenados, APIs de terceros o servicios de IA en la nube. El SGIA debe establecer controles rigurosos:
▪️ Evaluación de riesgos de proveedores antes de su integración en sistemas operativos
▪️ Auditoría de los términos de servicio, licencias y restricciones de uso permitido
▪️ Validación de que los modelos/servicios externos cumplen con requisitos de seguridad, privacidad y equidad
▪️ Establecimiento de SLAs (Service Level Agreements) con garantías de disponibilidad y seguridad
▪️ Monitoreo continuo del desempeño de servicios externos y revisión periódica de términos
▪️ Planes de contingencia en caso de indisponibilidad o cambios del proveedor
▪️ Validación de cumplimiento regulatorio de proveedores y procedimientos de datos
Despliegue y monitoreo
El despliegue en producción debe ser controlado y monitorizado continuamente:
▪️ Plan de despliegue documentado con criterios de entrada (gates) que deben cumplirse antes del lanzamiento
▪️ Control de acceso: restricción del acceso al sistema a usuarios autorizados mediante mecanismos de autenticación robustos
▪️ Segregación de ambientes: diferenciación clara entre desarrollo, prueba y producción con controles diferenciados
▪️ Procedimientos de marcha atrás: capacidad de reversión rápida en caso de problemas identificados en producción
▪️ Supervisión continua: monitoreo de métricas de desempeño, drift de datos, anomalías en entradas y salidas
▪️ Alertas automáticas: configuración de umbrales que generan alertas cuando se detectan desviaciones
▪️ Mantenimiento y actualizaciones: procedimientos para aplicar parches de seguridad y mejoras de desempeño
▪️ Auditoría de acceso: registro de quién accede el sistema, cuándo y qué acciones realizan
Supervisión continua y mantenimiento
Una vez en operación, el sistema de IA requiere supervisión constante para detectar degradación, cambios en el contexto operativo o identificación de nuevos riesgos:
▪️MONITOREO DE DESEMPEÑO: Seguimiento continuo de métricas técnicas (precisión, exactitud, latencia) en datos reales operativos.
▪️ DETECCIÓN DE DRIFT: Identificación de cambios en la distribución de datos de entrada (data drift) o en el desempeño del modelo (model drift).
▪️ MONITOREO DE EQUIDAD: Evaluación periódica de si las métricas de equidad se mantienen en diferentes grupos demográficos durante operación.
▪️ ANÁLISIS DE ANOMALÍAS: Detección de comportamientos inusuales en predicciones que puedan indicar ataques o fallos del sistema.
▪️ REENTRENAMIENTO Y ACTUALIZACIÓN: Procedimientos para reentrenamiento del modelo con datos nuevos, validando características de equidad.
▪️ AUDITORÍA DE INCIDENTES: Análisis detallado de incidentes relacionados con IA, documentación de causa raíz e impacto.
▪️ RETROALIMENTACIÓN DE USUARIOS: Mecanismos para capturar retroalimentación de usuarios finales y partes interesadas.
Evaluación del desempeño
La evaluación del desempeño del SGIA es el mecanismo mediante el cual la organización verifica que el sistema está cumpliendo con sus objetivos, que los controles se están implementando efectivamente, y que se está progresando hacia la madurez esperada.
El monitoreo continuo proporciona visibilidad en tiempo real del estado y comportamiento de los sistemas de IA operativos. Ejemplos de mecanismos para llevar a cabo el monitoreo incluyen: cuadros de mandos de monitoreo que proporcionen visibilidad en tiempo real del estado de los sistemas, métricas técnicas (precisión, latencia, disponibilidad, tasa de errores, tasa de rechazos), métricas de negocio (impacto en objetivos organizacionales, ahorro de costos, mejora de eficiencia), métricas de cumplimiento(adherencia a políticas de IA, cumplimiento de regulaciones aplicables), alertas automáticas configuradas para escalación rápida cuando se detectan anomalías o desviaciones, análisis de tendencias que lleven a la identificación de patrones de degradación o mejora a lo largo del tiempo.
Las auditorías internas son evaluaciones independientes de la conformidad del SGIA con sus políticas, procedimientos y requisitos del estándar ISO/IEC 42001, estas deben ser de carácter anual y que cubran todos los componentes del sistema de gestión.
Los indicadores de desempeño deben medir tanto la efectividad del SGIA como el desempeño de los sistemas de IA bajo su gobierno, entre los elementos a medir debemos tener en cuenta temas como cobertura, conformidad, incidentes, equidad, madurez, capacitación.
Las revisiones de la dirección son sesiones donde la dirección examina la efectividad general del SGIA, asignación de recursos, alineación estratégica y necesidad de cambios. Se recomienda realizarlas al menos anualmente.
Mejora
La mejora continua es el ciclo que cierra el SGIA, permitiendo que la organización evolucione su capacidad de gobernanza de IA en respuesta a aprendizajes, cambios en el entorno o nuevas regulaciones. Este proceso debe ser sistemático e integrado en la cultura organizacional. Su implementación es la misma que se hace para otros sistemas de gestión, el punto donde se requiere especial atención es la actualización según cambios en el entorno y regulación ya que la IA está generando muchos cambios en los procesos y en el modo en que las personas interactúan con la IA, lo que ha llevado a que las regulaciones se estén adaptando a estos nuevos cambios de tecnologías, por este motivo es necesario prestar especial atención a dichos cabios para hacer los ajustes correspondientes en el SGIA.
La implementación de sistemas que tratan con datos que en la mayoría de los casos son externos y que tienen clasificaciones especiales como datos personales o protegidos por derechos de autor nos llevan a la necesidad de asegurar un entorno de cumplimiento legal, normativo y contractual que nos enfrenta a diferentes tipos de marcos contra los que debemos alinear el comportamiento de nuestro sistema, estos son algunos ejemplos de regulaciones y estándares que debemos tener en cuenta durante la implementación:
▪️ GDPR: Protección de datos y derechos de individuos
▪️ AI ACT (EU): Requisitos según nivel de riesgo
▪️ CCPA: Privacidad en California
▪️ Normas sectoriales: Finanzas, salud, seguridad pública
▪️ Estándares internacionales: ISO/IEC 27001, ISO/IEC 27701
▪️ Regulaciones locales emergentes
Finalmente, y dado que al trabajar con inteligencia artificial podemos estar manipulando las expectativas de los usuarios, debemos actuar con algunos principios éticos que deben regir las acciones del SGIA. A continuación, se sugieren algunos de estos posibles principios éticos:
▪️ TRANSPARENCIA: Los usuarios saben que interactúan con IA
▪️ EQUIDAD: No hay discriminación basada en características protegidas
▪️ RENDICIÓN DE CUENTAS: Claridad sobre responsabilidades
▪️ PRIVACIDAD: Protección de datos personales
▪️ SEGURIDAD: Robustez frente a ataques y manipulaciones
▪️ BENEFICIO SOCIAL: IA que genera valor sin causar daño
Para implementar un SGIA debemos tomar alguna estrategia que nos permita de llegar manera gradual y estructurada al objetivo de tener un mecanismo de gobierno de la IA que asegure le mejora continua, para esto se sugieren las siguientes fases:
1. Análisis gap y establecimiento del SGIA
2. Documentación del SGIA
3. Soporte a la adecuación del SGIA
4. Evaluación del SGIA – Auditoría interna
5. Preparación para la certificación del SGIA
Un detalle de los objetivos a cubrir en cada una de estas fases se puede encontrar en nuestro servicio de acompañamiento en la implementación de un SGIA.
La inteligencia artificial continúa avanzando a una velocidad sin precedentes. Modelos cada vez más sofisticados, sistemas multimodales, y aplicaciones emergentes plantean desafíos de gobernanza que apenas comenzamos a entender. En este contexto de incertidumbre, un SGIA proporciona:
▪️ MARCO FLEXIBLE: Aunque ISO/IEC 42001 es un estándar, un SGIA bien diseñado permite que las organizaciones adapten procesos y controles a su contexto específico. No es rigidez, sino estructura flexible.
▪️ ANTICIPACIÓN, NO REACTIVIDAD: Un SGIA basado en evaluación continua de riesgos permite a las organizaciones anticiparse a problemas, no solo reaccionar ante incidentes o cambios regulatorios.
Mirando hacia adelante, la pregunta para las organizaciones no es "¿Necesitamos un SGIA?" sino "¿Cuán maduros queremos ser en nuestra gobernanza de IA y en qué horizonte de tiempo?" Comenzar la implementación hoy determina la capacidad de responder a esa pregunta de forma satisfactoria en los años venideros.
Referencias
• UNE-ISO/IEC 42001:2025, Tecnología de la información — Inteligencia artificial — Sistema de gestión.
• ISO/IEC 27001:2022, Information security management systems
• ISO/IEC 27701:2019, Privacy information management – Extension to ISO/IEC 27001 and ISO/IEC 27002
• Regulación (UE) 2024/1689 - AI Act, Artificial Intelligence Act
• GDPR (General Data Protection Regulation 2018)
• California Consumer Privacy Act (CCPA)