👉 Esta actividad te ayuda a cumplir los siguientes controles:
ISO/IEC 42001:2023: A.6.2.6
¿Para qué me sirve esta actividad? 📚
Esta actividad es crucial para garantizar que tus sistemas de inteligencia artificial, una vez que están en funcionamiento, se mantengan saludables, seguros y cumplan su propósito de manera continua y responsable. No basta con crear un buen modelo de IA, es fundamental vigilarlo, cuidarlo y mantenerlo a lo largo del tiempo.
¿Qué tengo que hacer? 🚀
Antes de comenzar, es importante que sepas que el monitoreo de este procedimiento considera los siguientes aspectos:
Rendimiento: Saber en todo momento si tu IA está funcionando como esperas.
Mantenimiento: Tener un plan claro para reparar fallos, realizar actualizaciones y asegurar la continuidad del servicio.
Uso responsable: Verificar que el sistema se utiliza para los fines previstos y cumple con las políticas y regulaciones.
Ahora bien, para comenzar te recomendamos leer nuestro template en su totalidad para así comprender la información que deberás documentar posteriormente. Una vez leído todo el template, debes identificar qué es lo que está alineado a tus operaciones reales y qué no.
A continuación, te explicamos el propósito de las secciones que encontrarás en el template y que deberás trabajar:
Definición de criterios y métricas de monitoreo.
Esta sección se enfoca en definir los indicadores clave que usarás para evaluar periódicamente el rendimiento, la continuidad y el desempeño general de tu sistema de IA.
Puedes considerar no solo métricas técnicas (como la precisión o el tiempo de respuesta), sino también indicadores de negocio, de cumplimiento y de satisfacción de las partes interesadas.
El resultado esperado de este paso es tener una visión clara de qué se va a vigilar y cuáles son los umbrales aceptables.
Implementación del monitoreo técnico.
Una vez definidos los criterios de monitoreo, este paso consiste en poner en marcha las herramientas y procesos para vigilar principalmente los aspectos técnicos, de forma activa.
Aquí es donde se debe definir cómo implementar el monitoreo de errores, el rendimiento general del sistema, los resultados que está proporcionando a los usuarios, la posible "deriva" de los datos o del modelo, etcétera.
Aseguramiento del uso responsable.
Este paso se centra en vigilar el "cómo" se usa el sistema, verificando que se cumplen las leyes y contratos establecidos y aplicables, y que el sistema no se utiliza para fines para los que no fue diseñado, lo que podría generar riesgos imprevistos.
También recomendamos ampliamente implementar evaluación continua de los proveedores de IA para asegurar que siguen alineados con tus estándares éticos y de seguridad.
💡Para más detalle sobre esta evaluación, recuerda que tenemos las siguientes actividades dentro de nuestro plan de acción que abordan estos temas: Procedimiento de Revisión y Contratación de Proveedores y Matriz de Evaluación de Proveedores.
Identificación de amenazas.
La finalidad de este paso es identificar y evaluar activamente las amenazas específicas al uso y/o desarrollo de sistemas de IA que puedan derivar en riesgos de seguridad, privacidad o similares, para asegurar que tus planes (y equipos) de respuesta a incidentes están realmente preparados para afrontarlos.
💡Es muy importante para el cumplimiento normativo dejar registro de este análisis de amenazas y riesgos siguiendo tu Metodología de Gestión de Riesgos.
Gestión de reparaciones y mantenimiento.
¿Qué debes hacer cuando el monitoreo detecta una falla o una anomalía? Justamente este paso debe ser activado / implementado en esos casos.
Consiste básicamente en identificar el "issue", registrarlo, clasificar su gravedad, investigar su causa raíz y aplicar una solución.
Recomendamos además definir tiempos de respuesta esperados (SLA) según la gravedad asignada a la falla o anomalía, para garantizar un seguimiento adecuado y minimizar el impacto en la operación.
Actualizaciones del sistema de IA.
Este paso engloba el proceso de actualización que debe tener un sistema de IA, ya sea para corregir errores, mejorar el rendimiento o añadir nuevas funcionalidades.
Implica planificar la actualización, comunicar los cambios a los usuarios, evaluar los riesgos de la nueva versión y mantener un control de versiones claro para saber siempre qué versión del modelo se está utilizando y los datos asociados.
Comunicación con el usuario.
Como bien ya lo habrás leído en algunos de nuestros artículos, cursos, talleres u otros recursos de aprendizaje, la comunicación y transparencia es esencial en la correcta gestión de sistemas de IA. Por lo que si hubo una reparación de un error, una actualización planificada, modificaciones al modelo, cualquier aspecto similar es fundamental mantener informados a los usuarios.
Aquí debes establecer cómo, cuándo, quién y a través de qué medio de comunicación, se notificarán estos cambios a los usuarios finales para que quede súper claro qué ha sucedido y cómo les afecta.
Provisión de soporte.
Como parte del ciclo de monitoreo, es importante tener disponibles canales de soporte, tanto internos como externos, por los cuáles tus colaboradores y/o usuarios finales puedan acercarse a pedir ayudar.
En este paso del procedimiento debes definir dichos canales y aclarar cómo se gestionarán estas solicitudes o reportes.
Revisión de la efectividad del procedimiento.
Recordando que la mejora continua es un requisito clave normativo y que garantiza el cumplimiento, es importante establecer revisiones periódicas sobre este procedimiento y su implementación (por lo menos una vez al año) para asegurar que sigue cubriendo las necesidades de la organización.
El procedimiento que te proponemos en nuestro template está estructurado con los pasos necesarios para dar cumplimiento a los requisitos normativos. Dentro de él encontrarás también ejemplos y recomendaciones que te servirán para terminar tu procedimiento fácil y rápidamente, pero recuerda que debes ajustar todo lo que consideres pertinente para alinear el documento a tu empresa.
💡 Los pasos a seguir para terminar la actividad dentro de la plataforma son los siguientes:
Una vez que nuestro equipo haya aprobado la actividad, debes subir el documento final en versión PDF (no editable).
Posteriormente, debes subir la evidencia de su aprobación.
Recomendamos que esta evidencia sea a través de una minuta de sesión de comité (en ese caso, debes subir el documento en PDF de la minuta), o con una captura de pantalla de la respuesta explícita de quién o quiénes lo aprobaron.
Esto debe realizarse por algún medio de comunicación interno de la empresa, como Slack, Teams o el correo electrónico organizacional.
Y por último, debes subir la evidencia de su comunicación.
Al igual que la aprobación, la comunicación del documento puede ser por cualquier medio formal interno de la empresa. Para esto, debes subir una captura de pantalla donde se muestre que el documento fue comunicado a todos los colaboradores interesados.
Recomendaciones ✅
No dejes el monitoreo para el final o como si fuera lo último a realizar. Piensa en cómo vas a medir el rendimiento y la salud de tu sistema de IA desde que lo estás diseñando.
No te limites a métricas técnicas. Mide también cómo el sistema de IA está impactando en los objetivos de negocio para los que fue creado.
Tener tiempos de respuesta, tareas y responsabilidades claras ayudará muchísimo a gestionar correctamente las expectativas de los usuarios finales y de la propia organización.
Un sistema puede ser actualizado o reparado, pero si los usuarios no son informados, puede generar confusión y desconfianza. Establece canales de comunicación claros y úsalos.
¡Califica este artículo 👇, esto nos ayudará a mejorar nuestro contenido para ti!
Recuerda que también puedes contactarnos por nuestro chat de soporte y te brindaremos la atención que necesites.