La mayoría de las organizaciones desconocen cuan vulnerables que se han vuelto sus sistemas en la nube. Las deficiencias en la preparación podrían causar graves problemas, ya que tanto la IA generativa y como la basada en agentes crean nuevos puntos de ataque.
Si nos atenemos a las ideas claves del artículo AI Risk Atlas: Taxonomy and Tools for Navigating AI Risks (Atlas de riesgos de la IA: taxonomía y herramientas para navegar por los riesgos de la IA), está claro que el sector se enfrenta a un reto crucial. Los autores proporcionan un marco completo para comprender, clasificar y mitigar los riesgos relacionados con la IA más avanzada de la actualidad. Pero, por mucho que maduren las herramientas y las taxonomías, la mayoría de las empresas se encuentran peligrosamente retrasadas en la forma en que gestionan estas nuevas amenazas en rápida evolución.
El Atlas de riesgos de la IA ofrece un potente marco para categorizar y gestionar los riesgos únicos asociados a la inteligencia artificial, pero hay que remarcar que no es el único sistema disponible. Otros marcos, como el Marco de gestión de riesgos de la IA del NIST, diversas normas ISO sobre gobernanza de la IA y modelos desarrollados por los principales proveedores de nube, también ofrecen una valiosa orientación para comprender las amenazas relacionadas con la IA y estructurar las medidas de protección adecuadas. Cada uno se caracteriza por su propio enfoque, puntos fuertes y alcance, ya se trate de principios generales, directrices específicas del sector o listas de verificación prácticas para el cumplimiento.
En este debate, nos centraremos en el marco del Atlas para desarrollar el hábito de utilizar conocimientos externos y estrategias probadas a la hora de abordar las complejidades de la IA en la nube. Su utilidad radica en la taxonomía organizada de riesgos y sus herramientas prácticas de código abierto que ayudan a las organizaciones a crear un enfoque claro y completo de la seguridad de la IA en la nube. Dado que las empresas se comprometen con estos marcos de una manera profunda, así pueden evitar empezar desde cero y, en su lugar, aprovechar el conocimiento colectivo de las comunidades más amplias de seguridad e IA, avanzando hacia una IA más segura y eficiente.
No estamos prestando atención
Demasiadas organizaciones tratan la IA como un simple complemento más de TI, sin reconocer que ha abierto la puerta a vectores de ataque que simplemente no existían hace cinco años, , especialmente los modelos generativos y las tecnologías basadas en agentes. El Atlas de riesgos de la IA expone este nuevo panorama de amenazas de entradas adversas, ataques basados en prompts, extracción de modelos, envenenamiento de datos e incluso riesgos derivados de confiar demasiado o demasiado poco en los sistemas automatizados.
Tras años centrados en los controles perimetrales y la gestión de accesos, los equipos de seguridad en la nube se enfrentan ahora a adversarios que pueden eludir estas medidas sólo con aprovechar los comportamientos basados en el lenguaje y sensibles al contexto de la IA. Un claro ejemplo es la inyección de comandos: los atacantes manipulan los comandos de lenguaje natural que impulsan los modelos generativos, lo que hace que estos sistemas generen resultados maliciosos o dañinos. El Atlas de riesgos de la IA hace hincapié en que estas vulnerabilidades ya no son teóricas, sino que son ya objeto de ataques en implementaciones de nube del mundo real.
Para complicar aún más las cosas, el volumen y la diversidad de los datos utilizados para entrenar la IA moderna significan que existe un riesgo creciente de envenenamiento de datos o inferencia de pertenencia, en el que los atacantes reconstruyen o exponen información confidencial mediante consultas al modelo. El Atlas destaca en este sentido que las habituales empresas basadas en la nube son especialmente vulnerables, dada la interconexión de los datos en la nube y la facilidad con la que los modelos de IA pueden filtrar involuntariamente información sobre esos datos.
La mayoría de las empresas no están preparadas
El Atlas de riesgos de la IA deja una cosa muy clara: no son suficientes los marcos actuales de las empresas para la evaluación y mitigación de riesgos. Las organizaciones pueden tener inventarios detallados de sus activos en la nube y rutinas de cumplimiento, pero pocos de ellos están diseñados para comprender o sacar a la luz los riesgos propios de la IA, y mucho menos los riesgos compuestos que se introducen cuando los sistemas de IA actúan de forma autónoma.
Además, la gobernanza de la IA suele ser manual, lenta y desconectada del desarrollo cotidiano. De ahí que el Atlas haga hincapié en la necesidad de una taxonomía de riesgos completa y adaptable que vincule las vulnerabilidades técnicas (como la explotación adversaria) con los problemas de proceso (documentación deficiente, modelos no probados, propiedad poco clara, etc.). De no existir esta taxonomía, la reactividad seguirá siendo la norma común de la mayoría de las organizaciones, de ahí que sólo aborden las deficiencias después de un incidente.
El Atlas también señala que, a medida que los atacantes se vuelven más sofisticados en el uso de las propias capacidades de la IA para sondear y explotar las debilidades, no son pocas las ocasiones en que los defensores se ven obligados a adaptar protocolos obsoletos a amenazas que no comprenden del todo. Que exista una explosión de implementaciones de IA generativa, incluso en proyectos de TI paralelos no autorizados, significa una abundancia de puntos ciegos.
No basta con una gestión de riesgos “suficientemente buena”
Si el manual de gestión de riesgos de su organización todavía depende de auditorías anuales o comprobaciones de cumplimiento de plantillas, el Atlas de riesgos de la IA ya le advierte de antemano de que esto no será suficiente. Los sistemas impulsados por la IA evolucionan demasiado rápido para la gobernanza de puntos de control; exigen una vigilancia continua y dinámica. La mayoría de las empresas no están preparadas para supervisar y responder a los riesgos sutiles que plantean la IA generativa y basada en agentes, especialmente en entornos de nube.
Los vectores de ataque basados en comandos, por ejemplo, no suelen aparecer en la supervisión de seguridad tradicional. Sin embargo, de no supervisarse de manera proactiva, pueden causar desde fugas accidentales de datos hasta violaciones directas. Del mismo modo, matices como la dependencia excesiva de los resultados de los modelos de “caja negra” o el hecho de no registrar suficiente documentación sobre los modelos pueden convertir problemas menores en incidentes graves. El Atlas nos recuerda que los factores técnicos, organizativos y humanos son ahora inseparables en el riesgo de la IA.
Si bien la automatización promete ampliar los esfuerzos de cumplimiento, el Atlas hace hincapié en que no puede solucionar problemas que no se definen con claridad o bien no están debidamente regulados. Muchas organizaciones están adoptando la IA antes de haber establecido límites de riesgo claros, lo que crea oportunidades de explotación que solo se agravarán a medida que los sistemas basados en agentes (IA autónoma capaz de tomar medidas y orquestar API en la nube) se vuelvan más frecuentes.
Un nuevo enfoque de la evaluación de riesgos
En consecuencia, las empresas han de responder a partir de las directrices y la taxonomía presentadas en el Atlas de riesgos de la IA:
· Asignando los activos a las nuevas amenazas. Aplique activamente las categorías del Atlas, tales como los ataques adversarios, la inyección rápida y la gobernanza de modelos, a todos los activos de IA en la nube, no sólo a los sistemas oficiales.
· Automatizando con prudencia, pero manteniendo la supervisión. Para ello es necesario emplear herramientas automatizadas, incluidas las herramientas de código abierto Atlas Nexus, pero respaldarlas con revisiones humanas obligatorias, auditorías continuas y equipos rojos independientes.
· Integrando la gobernanza de riesgos en todos los equipos. Eso pasa por crear equipos multifuncionales de respuesta a riesgos que incluyan ingenieros, responsables de riesgos y líderes empresariales para garantizar la alineación de la organización en cuanto al significado real del riesgo de la IA.
· Probando, atacando y documentando. Realice pruebas de estrés sistemáticas a los modelos de IA utilizando técnicas adversarias y escenarios de ataque basados en prompts. Documente rigurosamente tanto el comportamiento del modelo como las estrategias de mitigación.
· Educando e iterando. Eduque a su personal sobre las amenazas específicas de la IA y garantice la mejora continua, no sólo el cumplimiento, utilizando métricas extraídas del Atlas.
En definitiva, se trata de una llamada urgente a la acción. La ventana para solucionar de forma proactiva estas vulnerabilidades se está cerrando muy rápido. El Atlas de riesgos de la IA no es sólo una taxonomía, es una llamada a la acción para que las empresas mejoren radicalmente su preparación y sus defensas. A medida que la IA se convierte en parte integral de las operaciones en la nube, las organizaciones deben garantizar una gestión de riesgos responsable, informada y ágil antes de que las amenazas emergentes de hoy se conviertan en los desastres de mañana.
Fuente: Computerworld