El rápido crecimiento y desarrollo de la inteligencia artificial, sobre todo la de tipo generativo, está llevando al límite la ciberseguridad; en este contexto, los CISO deben actuar para adelantarse a riesgos como la fuga de datos y los ataques de inyección de ‘prompts’ y garantizar el cumplimiento de la regulación.
El rápido ritmo de cambio que experimenta la IA hace difícil balancear los riesgos y beneficios de esta tecnología. Los CISO no deberían esperar para tomar las riendas de esta situación, dado que los riesgos van desde los ataques de inyección de ‘prompts’ hasta la fuga de datos, pasando por otros aspectos relacionados con la gobernanza y el cumplimiento de la regulación. Todos los proyectos de IA presentan estos problemas en cierta medida, pero el rápido crecimiento y despliegue de la llamada ‘IA generativa‘ está poniendo a prueba los límites de los controles existentes, al mismo tiempo que abre nuevas líneas de vulnerabilidad.
Si la investigación de mercado sirve de indicación de hacia dónde se dirige el uso de la IA, los CISO pueden esperar que el 70% de las organizaciones exploren la IA generativa impulsada por el uso de ChatGPT. Casi todos los líderes empresariales afirman que su empresa está priorizando al menos una iniciativa relacionada con los sistemas de IA a corto plazo, según un informe de mayo de PricewaterhouseCoopers.
La razón del auge de la inversión no es sólo defensiva. Goldman Sachs predice que la IA generativa podría aumentar el PIB mundial en un 7%. Según McKinsey, los principales casos de uso de la IA son las operaciones con clientes, marketing y ventas, I+D e ingeniería de software. En software, por ejemplo, una encuesta de la consultora de estrategia global Altman Solon muestra que casi una cuarta parte de las empresas tecnológicas ya utilizan IA para el desarrollo de software, y es probable que otro 66% la adopte en el próximo año.
Según Gartner, el 68% de los ejecutivos cree que los beneficios de la IA generativa superan a los riesgos, frente a sólo un 5% que opina que los riesgos superan a los beneficios. Sin embargo, es posible que los ejecutivos empiecen a cambiar de perspectiva a medida que se profundice en las inversiones, afirma Frances Karamouzis, analista de Gartner, en el informe. «Es probable que las organizaciones se enfrenten a una serie de cuestiones de confianza, riesgo, seguridad, privacidad y ética cuando empiecen a desarrollar e implantar la IA generativa», afirma.
Uno de los riesgos más recientes es el de los ataques de inyección de ‘prompts’, un vector de amenaza totalmente nuevo para las organizaciones. «Es un nuevo vector de ataque, un nuevo vector de compromiso, y los controles de seguridad heredados no son lo suficientemente buenos», afirma Avivah Litan, analista de Gartner. En otros casos, los usuarios de chatbot han sido capaces de ver las indicaciones de otros, dice.
Se han visto muchos casos públicos de «jailbreaking» de ChatGPT y otros grandes modelos lingüísticos engañándolos para que hagan cosas que se supone que no deben hacer, como escribir malware o dar instrucciones para fabricar bombas. Una vez que las empresas empiecen a desplegar sus propias IA generativas, por ejemplo para los servicios de atención al cliente, las «jailbreaks» podrían permitir a los malos actores acceder a las cuentas de otros o realizar otras acciones dañinas.
A principios de este año, OWASP publicó su lista de las diez vulnerabilidades más críticas observadas en los grandes modelos lingüísticos, y las inyecciones de ‘prompts’ ocupaban el primer lugar. Los atacantes también podrían explotar estos modelos para ejecutar código malicioso, acceder a recursos restringidos o envenenar los datos de entrenamiento. Cuando las empresas implantan los modelos por sí mismas, tienen la posibilidad de colocar cortafuegos en torno a las instrucciones, así como capacidad de observación y detección de anomalías en el entorno de las instrucciones. «Puedes ver lo que ocurre y crear controles», afirma Litan.
Este no es necesariamente el caso de los proveedores externos. Incluso si un proveedor tiene controles de seguridad de primera categoría sobre los datos de entrenamiento utilizados inicialmente para crear el modelo, los chatbots necesitarán acceder a los datos operativos para funcionar. «Los controles de protección heredados no son aplicables a los datos que entran en el modelo y a las inyecciones rápidas», dice Litan. «Realmente tiene sentido mantener todo esto en las instalaciones – pero tienes que poner las protecciones en su lugar».
A los empleados les encanta ChatGPT, según una encuesta de Glassdoor realizada a más de 9.000 profesionales estadounidenses que reveló que el 80% se oponía a la prohibición de esta tecnología. Pero ChatGPT y otros grandes modelos lingüísticos similares se entrenan continuamente basándose en sus interacciones con los usuarios. El problema es que si un usuario pide ayuda para editar un documento lleno de secretos de empresa, la IA podría conocer esos secretos y desvelarlos a otros usuarios en el futuro. «Son preocupaciones muy válidas y realistas», afirma Jeff Pollard, analista de Forrester Research.
«Hemos visto a médicos que cogían información de pacientes y la subían a ChatGPT para escribir cartas a los pacientes», dice Chris Hodson, CSO de Cyberhaven. Las plataformas diseñadas específicamente para uso empresarial sí se toman en serio este asunto, afirma Pollard, de Forrester. «No les interesa conservar tus datos porque entienden que es un impedimento para la adopción», afirma.
La forma más segura de desplegar IA generativa es ejecutar modelos privados en su propia infraestructura. Sin embargo, según Altman Solon, ésta no es la opción más popular, ya que sólo la prefiere el 20% de las empresas. Alrededor de un tercio opta por desplegar IA generativa utilizando el propio entorno del proveedor, aprovechando la infraestructura pública. Esta es la opción menos segura, ya que requiere que la organización deposite una gran confianza en el proveedor de IA generativa.
La mayor parte de las empresas, el 48%, están desplegando en entornos de nube de terceros, como nubes privadas virtuales. Por ejemplo, Microsoft ofrece despliegues ChatGPT seguros y aislados para clientes empresariales en su nube Azure. Según Microsoft, más de 1.000 clientes empresariales ya utilizaban ChatGPT y otros modelos de OpenAI en el servicio Azure OpenAI en marzo, y el número aumentó a 4.500 a mediados de mayo. Entre las empresas que utilizan el servicio se encuentran Mercedes-Benz, Johnson & Johnson, AT&T, CarMax, DocuSign, Volvo e Ikea.
El ritmo récord de adopción de la IA generativa está superando con creces la capacidad de las empresas para controlar la tecnología. «Conozco a personas que ahorran grandes cantidades de tiempo cada semana en sus trabajos y nadie en esas organizaciones lo sabe», afirma Gerry Stegmaier, socio especializado en ciberseguridad y aprendizaje automático del bufete de abogados global Reed Smith LLP. «Las empresas están obteniendo mejoras radicales de productividad individual hoy en día a nivel de empleado individual, pero en su mayor parte no son conscientes de las ganancias de productividad por parte de sus empleados».
Según una encuesta de Fishbowl publicada en febrero, el 43% de los profesionales ha utilizado herramientas como ChatGPT, pero casi el 70% de ellos lo hizo sin el conocimiento de su jefe. Esto significa que las empresas pueden estar asumiendo una deuda técnica en forma de riesgo legal y normativo, afirma Stegmaier, una deuda que desconocen y no pueden medir.
Un informe reciente de Netskope, basado en datos de uso y no en encuestas, muestra que el uso de ChatGPT está creciendo un 25% mes a mes, con un 1% de todos los empleados utilizando ChatGPT a diario. Como resultado, alrededor del 10% de las empresas están bloqueando el uso de ChatGPT por parte de los empleados.
La falta de visibilidad de lo que hacen los empleados es sólo la mitad de la batalla. También hay que tener en cuenta las leyes y normativas. «Las grandes empresas necesitan cierta previsibilidad. Y ahora mismo la incertidumbre es inconmensurable», afirma Stegmaier.
Hay incertidumbre sobre la propiedad intelectual y los datos de formación que entran en los modelos, incertidumbre sobre la normativa de privacidad y seguridad de los datos, y cada vez surgen nuevos riesgos legales y de cumplimiento de la normativa. Por ejemplo, en junio, OpenAI fue demandada por difamación e injurias tras afirmar que un locutor de radio había malversado fondos. OpenAI u otras empresas demandadas por lo que sus chatbots dicen a la gente pueden o no ser responsables de lo que dicen los bots. Depende de cómo se apliquen las leyes de responsabilidad del producto. «Si el dinero es lo bastante real, la gente se vuelve creativa en su teoría legal», dice Stegmaier.
Ha habido algunos cambios en cuanto a si el software es un producto o no, y las implicaciones potenciales podrían ser monumentales, según Stegmaier. También existe la posibilidad de nuevas leyes sobre privacidad de datos, como la Ley de Inteligencia Artificial de la UE. Sin embargo, Stegmaier no espera que se aprueben leyes similares en Estados Unidos en un futuro próximo, porque es difícil llegar a un consenso. «La IA es muy atractiva para los consumidores, para las empresas y para los reguladores«, afirma. «Cuando estas tres cosas se juntan, a menudo hay una tendencia a que se produzca una nueva aplicación o una nueva actividad reguladora».
Para mantenerse a la vanguardia, recomienda que las organizaciones aceleren su curva de aprendizaje de IA generativa para que puedan aplicar sus actuales herramientas de mejores prácticas, incluidas la privacidad por diseño, la seguridad por diseño y los principios contra la discriminación. «Con respecto a la IA generativa, ‘correr rápido y romper cosas’ no va a ser una estrategia aceptable a escala, especialmente para las grandes empresas«, afirma Stegmaier.
Por desgracia, dependiendo del modelo de despliegue, las empresas pueden tener poca o ninguna visibilidad de lo que está pasando con la IA generativa, incluso si saben que está ocurriendo. Por ejemplo, si un empleado pide ayuda a ChatGPT para escribir una carta a un cliente, la plataforma necesitará obtener cierta información sobre el cliente, como mínimo, mientras elabora su respuesta. Eso significa que, durante algún tiempo, los datos estarán en los servidores de OpenAI. Además, si el empleado hace que ChatGPT guarde el historial de la conversación, los datos permanecerán en esos servidores indefinidamente.
El problema del movimiento de datos es especialmente importante en Europa y otras jurisdicciones con leyes de residencia de datos, dice Carm Taglienti, ingeniero de Insight Enterprises. «No se sabe muy bien adónde van a parar», afirma. «No sabes qué operaciones se han realizado con los datos que has enviado. Una vez que está fuera de tu control, es una vulnerabilidad». Recomienda que las organizaciones reflexionen seriamente sobre los controles que necesitan tener en su lugar si planean utilizar IA generativa. Un punto de partida es el Marco de Gestión de Riesgos de la IA del NIST, sugiere.
Lo ideal sería que las empresas pensaran en cuestiones de gobernanza antes de elegir una plataforma. Sin embargo, según una encuesta de KPMG, sólo el 6% de las organizaciones cuenta con un equipo dedicado a evaluar el riesgo de la IA generativa y aplicar estrategias de migración de riesgos. Además, sólo el 35% de los ejecutivos afirma que su empresa planea centrarse en mejorar la gobernanza de los sistemas de IA en los próximos 12 meses, y sólo el 32% de los profesionales del riesgo afirma que participa actualmente en la fase de planificación y estrategia de las aplicaciones de IA generativa. Por último, sólo el 5% cuenta con un programa maduro de gobernanza responsable de la IA, aunque el 19% está trabajando en uno y casi la mitad afirma que tiene previsto crearlo.
¿Qué deben hacer primero las empresas? «Mi recomendación es que los CSO comiencen inmediatamente a educar a sus empleados sobre los riesgos potenciales del uso de IA generativa«, dice Curtis Franklin, analista principal de gestión de seguridad empresarial en Omdia. «Es poco probable que puedan detenerla, pero tienen que hacer saber a sus empleados que existen riesgos asociados a ella. Eso es inmediato. Para cuando termine de leer este artículo ya debería estar pensando en cómo hacerlo».
El siguiente paso es formar un comité en el que participen las partes interesadas de las distintas unidades de negocio para estudiar cómo puede utilizarse legítimamente la IA generativa en la organización, y empezar a sopesar estas ventajas frente a los riesgos. «Hay que tener un marco basado en el riesgo para tomar decisiones sobre cómo se va a utilizar y proteger a la organización contra posibles usos indebidos o deficientes», afirma Franklin.
Cookie | Duración | Descripción |
---|---|---|
__cf_bm | 1 hour | This cookie, set by Cloudflare, is used to support Cloudflare Bot Management. |
_GRECAPTCHA | 6 months | Google Recaptcha service sets this cookie to identify bots to protect the website against malicious spam attacks. |
cookielawinfo-checkbox-advertisement | 1 year | Set by the GDPR Cookie Consent plugin, this cookie records the user consent for the cookies in the "Advertisement" category. |
cookielawinfo-checkbox-analytics | 11 months | This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Analytics". |
cookielawinfo-checkbox-functional | 11 months | The cookie is set by GDPR cookie consent to record the user consent for the cookies in the category "Functional". |
cookielawinfo-checkbox-necessary | 11 months | This cookie is set by GDPR Cookie Consent plugin. The cookies is used to store the user consent for the cookies in the category "Necessary". |
cookielawinfo-checkbox-others | 11 months | This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Other. |
cookielawinfo-checkbox-performance | 11 months | This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Performance". |
CookieLawInfoConsent | 1 year | CookieYes sets this cookie to record the default button state of the corresponding category and the status of CCPA. It works only in coordination with the primary cookie. |
csrftoken | 1 year | This cookie is associated with Django web development platform for python. Used to help protect the website against Cross-Site Request Forgery attacks |
opt_out | 1 year | This cookie is used for preventing the installation of third party advertiser or other cookies on the browser. |
PHPSESSID | 24 minutes | This cookie is native to PHP applications. The cookie stores and identifies a user's unique session ID to manage user sessions on the website. The cookie is a session cookie and will be deleted when all the browser windows are closed. |
rc::a | never | This cookie is set by the Google recaptcha service to identify bots to protect the website against malicious spam attacks. |
rc::b | session | This cookie is set by the Google recaptcha service to identify bots to protect the website against malicious spam attacks. |
rc::c | session | This cookie is set by the Google recaptcha service to identify bots to protect the website against malicious spam attacks. |
rc::f | never | This cookie is set by the Google recaptcha service to identify bots to protect the website against malicious spam attacks. |
ts | 1 year 1 month | PayPal sets this cookie to enable secure transactions through PayPal. |
usprivacy | 1 year 1 month | This is a consent cookie set by Dailymotion to store the CCPA consent string (mandatory information about an end-user being or not being a California consumer and exercising or not exercising its statutory right). |
viewed_cookie_policy | 11 months | The cookie is set by the GDPR Cookie Consent plugin and is used to store whether or not user has consented to the use of cookies. It does not store any personal data. |
wordpress_test_cookie | session | WordPress sets this cookie to determine whether cookies are enabled on the users' browsers. |
Cookie | Duración | Descripción |
---|---|---|
cX_G | 1 year 1 month | Cxense sets this cookie for storing the global ID, mapping different ids together into one ID. |
v1st | 1 year 1 month | The v1st cookie is set by TripAdvisor to collect details about how visitors use the website, by displaying user reviews, awards and information received on the TripAdvisor community. |
yt-player-headers-readable | never | The yt-player-headers-readable cookie is used by YouTube to store user preferences related to video playback and interface, enhancing the user's viewing experience. |
yt-remote-cast-available | session | The yt-remote-cast-available cookie is used to store the user's preferences regarding whether casting is available on their YouTube video player. |
yt-remote-cast-installed | session | The yt-remote-cast-installed cookie is used to store the user's video player preferences using embedded YouTube video. |
yt-remote-connected-devices | never | YouTube sets this cookie to store the user's video preferences using embedded YouTube videos. |
yt-remote-device-id | never | YouTube sets this cookie to store the user's video preferences using embedded YouTube videos. |
yt-remote-fast-check-period | session | The yt-remote-fast-check-period cookie is used by YouTube to store the user's video player preferences for embedded YouTube videos. |
yt-remote-session-app | session | The yt-remote-session-app cookie is used by YouTube to store user preferences and information about the interface of the embedded YouTube video player. |
yt-remote-session-name | session | The yt-remote-session-name cookie is used by YouTube to store the user's video player preferences using embedded YouTube video. |
ytidb::LAST_RESULT_ENTRY_KEY | never | The cookie ytidb::LAST_RESULT_ENTRY_KEY is used by YouTube to store the last search result entry that was clicked by the user. This information is used to improve the user experience by providing more relevant search results in the future. |
Cookie | Duración | Descripción |
---|---|---|
_gat | 1 minute | Google Universal Analytics sets this cookie to restrain request rate and thus limit data collection on high-traffic sites. |
dmvk | session | The dmvk cookie is set by Dailymotion to record data of visitor behaviour on the website. |
Cookie | Duración | Descripción |
---|---|---|
_fbp | 3 months | Facebook sets this cookie to display advertisements when either on Facebook or on a digital platform powered by Facebook advertising after visiting the website. |
_ga | 1 year 1 month 4 days | Google Analytics sets this cookie to calculate visitor, session and campaign data and track site usage for the site's analytics report. The cookie stores information anonymously and assigns a randomly generated number to recognise unique visitors. |
_gid | 1 day | Google Analytics sets this cookie to store information on how visitors use a website while also creating an analytics report of the website's performance. Some of the collected data includes the number of visitors, their source, and the pages they visit anonymously. |
cX_P | 1 year 1 month | Cxense sets this cookie for site-specific user sessions - across sessions. |
Cookie | Duración | Descripción |
---|---|---|
guest_id | 1 year 1 month | Twitter sets this cookie to identify and track the website visitor. It registers if a user is signed in to the Twitter platform and collects information about ad preferences. |
test_cookie | 15 minutes | doubleclick.net sets this cookie to determine if the user's browser supports cookies. |
VISITOR_INFO1_LIVE | 6 months | YouTube sets this cookie to measure bandwidth, determining whether the user gets the new or old player interface. |
VISITOR_PRIVACY_METADATA | 6 months | YouTube sets this cookie to store the user's cookie consent state for the current domain. |
YSC | session | Youtube sets this cookie to track the views of embedded videos on Youtube pages. |
yt.innertube::nextId | never | YouTube sets this cookie to register a unique ID to store data on what videos from YouTube the user has seen. |
yt.innertube::requests | never | YouTube sets this cookie to register a unique ID to store data on what videos from YouTube the user has seen. |
Cookie | Duración | Descripción |
---|---|---|
__cflb | 1 day | This cookie is used by Cloudflare for load balancing. |
_awl | 1 year 1 month | No description available. |
_pcid | 1 year 1 month | Description is currently not available. |
_pctx | 1 year 1 month | Description is currently not available. |
gckp | 1 year | This cookie is set by the provider Cxense. This cookie is used for building user profile information across all sites in the Cxense network. |
itsec-hb-login-27e4caa2b0fb20a2dee118de04e9de77 | 1 hour | Description is currently not available. |
ntvSession | session | Description is currently not available. |