Los ‘chatbots’ de IA generativa y los grandes modelos lingüísticos pueden ser un arma de doble filo desde el punto de vista del riesgo, pero con un uso adecuado también pueden mejorar la ciberseguridad de formas clave.
La rápida aparición de ChatGPT de Open AI ha sido una de las historias más importantes del año, con el impacto potencial de los chatbots de IA generativa y los grandes modelos de lenguaje (LLM) en la ciberseguridad como área clave de debate. Se ha hablado mucho de los riesgos para la seguridad que podrían introducir estas nuevas tecnologías, desde la preocupación por compartir información empresarial sensible con algoritmos avanzados de aprendizaje automático hasta la posibilidad de que agentes maliciosos las utilicen para mejorar significativamente los ataques.
Algunos países, estados de EE.UU. y empresas han ordenado prohibir el uso de tecnologías de IA generativa como ChatGPT por motivos de seguridad, protección y privacidad de los datos. Está claro que los riesgos de seguridad que introducen los chatbots de IA generativa y los grandes LLM son considerables. Sin embargo, también pueden mejorar la ciberseguridad de las empresas de múltiples maneras, dando a los equipos de seguridad un impulso muy necesario en la lucha contra la actividad ciberdelictiva.
He aquí 6 formas en que los chatbots de IA generativa y los LLM pueden mejorar la seguridad.
Los modelos generativos de IA pueden utilizarse para mejorar significativamente el escaneo y filtrado de vulnerabilidades de seguridad, según un informe de Cloud Security Alliance (CSA) que explora las implicaciones de ciberseguridad de los LLM. En el documento, la CSA demostró que la API Codex de OpenAI es un eficaz escáner de vulnerabilidades para lenguajes de programación como C, C#, Java y JavaScript. «Podemos anticipar que los LLM, como los de la familia Codex, se convertirán en un componente estándar de los futuros escáneres de vulnerabilidades», se lee en el documento. Por ejemplo, podría desarrollarse un escáner para detectar y marcar patrones de código inseguro en varios lenguajes, ayudando a los desarrolladores a abordar posibles vulnerabilidades antes de que se conviertan en riesgos críticos para la seguridad.
En cuanto al filtrado, los modelos generativos de IA pueden explicar y añadir un contexto valioso a los identificadores de amenazas que, de otro modo, podrían pasar desapercibidos para el personal de seguridad humano. Por ejemplo, TT1059.001 -un identificador de técnica dentro del marco ATT&CK de MITRE- puede ser reportado pero desconocido para algunos profesionales de la ciberseguridad, lo que provoca la necesidad de una explicación concisa. ChatGPT puede reconocer con precisión el código como un identificador MITRE ATT&CK y proporcionar una explicación del problema específico asociado con él, que implica el uso de scripts PowerShell maliciosos, según el documento. También explica la naturaleza de PowerShell y su uso potencial en ataques de ciberseguridad, ofreciendo ejemplos relevantes.
En mayo, OX Security anunció el lanzamiento de OX-GPT, una integración de ChatGPT diseñada para ayudar a los desarrolladores con recomendaciones de corrección de código personalizadas y correcciones de código de cortar y pegar, incluyendo cómo los códigos podrían ser explotados por los hackers, el posible impacto de un ataque y el daño potencial a la organización.
La tecnología Generative AI/LLM puede utilizarse para ayudar a crear reglas y revertir complementos populares basados en marcos de ingeniería inversa como IDA y Ghidra, afirma Matt Fulmer, director de Ingeniería de Ciberinteligencia de Deep Instinct. «Si eres específico en la petición de lo que necesitas y lo comparas con las tácticas ATT&CK de MITRE, puedes tomar el resultado fuera de línea y mejorarlo para usarlo como defensa».
Los LLM también pueden ayudar a comunicarse a través de las aplicaciones, con la capacidad de analizar las API de los archivos ejecutables portátiles (PE) y decirte para qué se pueden utilizar, añade. «Esto puede reducir el tiempo que los investigadores de seguridad pasan buscando a través de archivos PE y analizando la comunicación API dentro de ellos».
Los defensores de la seguridad pueden mejorar la eficacia y agilizar los tiempos de respuesta aprovechando ChatGPT y otros LLM para crear consultas de caza de amenazas, según CSA. Al generar consultas para la investigación de malware y herramientas de detección como YARA, ChatGPT ayuda a identificar y mitigar rápidamente las amenazas potenciales, permitiendo a los defensores centrarse en aspectos críticos de sus esfuerzos de ciberseguridad. Esta capacidad resulta inestimable para mantener una postura de seguridad sólida en un panorama de amenazas en constante evolución. Las reglas pueden adaptarse en función de los requisitos específicos y de las amenazas que una organización desee detectar o vigilar en su entorno.
Los modelos generativos de IA pueden utilizarse para abordar los riesgos de seguridad de la cadena de suministro mediante la identificación de posibles vulnerabilidades de los proveedores. En abril, SecurityScorecard anunció el lanzamiento de una nueva plataforma de calificaciones de seguridad para hacer precisamente esto mediante la integración con el sistema GPT-4 de OpenAI y la búsqueda global en lenguaje natural. Según la empresa, los clientes pueden hacer preguntas abiertas sobre su ecosistema empresarial, incluidos detalles sobre sus proveedores, y obtener rápidamente respuestas para tomar decisiones de gestión de riesgos. Por ejemplo, «encuentre a mis 10 proveedores peor valorados» o «muéstreme cuáles de mis proveedores críticos sufrieron ataques el año pasado», preguntas que, según SecurityScorecard, arrojarán resultados que permitirán a los equipos tomar rápidamente decisiones de gestión de riesgos.
Los LLM no sólo generan texto, sino que también están trabajando para detectar y poner marcas de agua al texto generado por IA, lo que podría convertirse en una función habitual del software de protección del correo electrónico, según CSA. Identificar el texto generado por IA en los ataques puede ayudar a detectar correos electrónicos de phishing y código polimórfico, y es realista suponer que los LLM podrían detectar fácilmente remitentes de direcciones de correo electrónico atípicos o sus dominios correspondientes, además de poder comprobar si los enlaces subyacentes en el texto conducen a sitios web maliciosos conocidos, afirma CSA.
Los LLM como ChatGPT pueden utilizarse tanto para generar como para transferir códigos de seguridad. CSA cita el ejemplo de una campaña de phishing que se ha dirigido con éxito a varios empleados de una empresa, exponiendo potencialmente sus credenciales. Si bien se sabe qué empleados han abierto el correo electrónico de phishing, no está claro si ejecutaron inadvertidamente el código malicioso diseñado para robar sus credenciales.
«Para investigar esto, se puede utilizar una consulta de Microsoft 365 Defender Advanced Hunting para encontrar los 10 eventos de inicio de sesión más recientes realizados por los destinatarios de correo electrónico dentro de los 30 minutos posteriores a la recepción de correos electrónicos maliciosos conocidos. La consulta ayuda a identificar cualquier actividad de inicio de sesión sospechosa que pueda estar relacionada con credenciales comprometidas».
Aquí, ChatGPT puede proporcionar una consulta de caza de Microsoft 365 Defender para comprobar los intentos de inicio de sesión de las cuentas de correo electrónico comprometidas, lo que ayuda a bloquear a los atacantes del sistema y aclara si el usuario necesita cambiar su contraseña. Es un buen ejemplo para reducir el tiempo de actuación durante la respuesta a un incidente cibernético.
Basándose en el mismo ejemplo, podría tener el mismo problema y encontrar la consulta de caza de Microsoft 365 Defender, pero su sistema no funciona con el lenguaje de programación KQL. En lugar de buscar el ejemplo correcto en el lenguaje deseado, puede realizar una transferencia de estilo de lenguaje de programación.
«Este ejemplo ilustra que los modelos Codex subyacentes de ChatGPT pueden tomar un ejemplo de código fuente y generar el ejemplo en otro lenguaje de programación. También simplifica el proceso para el usuario final añadiendo detalles clave a su respuesta proporcionada y la metodología detrás de la nueva creación», dijo CSA.
Al igual que muchos avances modernos, la IA y los LLM pueden equivaler a un arma de doble filo desde una perspectiva de riesgo, por lo que es importante que los líderes se aseguren de que sus equipos estén utilizando las ofertas de forma segura y protegida, insiste Chaim Mazal, CSO de Gigamon. «Los equipos de seguridad y legales deben estar colaborando para encontrar el mejor camino a seguir para que sus organizaciones aprovechen las capacidades de estas tecnologías sin comprometer la propiedad intelectual o la seguridad».
La IA generativa se basa en datos obsoletos y estructurados, así que tómela como punto de partida solo cuando evalúes su uso para seguridad y defensa, dice Fulmer. «Por ejemplo, si se utiliza para alguna de las ventajas mencionadas anteriormente, hay que justificar su salida. Tome la salida fuera de línea y haga que los humanos la hagan mejor, más precisa y más procesable”.
En última instancia, los chatbots/LLM de IA generativa mejorarán la seguridad y las defensas de forma natural con el tiempo, todo se reducirá a las comunicaciones internas y la respuesta. Mazal considera que “la IA/LLM generativa puede ser un medio para implicar a las partes interesadas a la hora de abordar los problemas de seguridad en todos los ámbitos de una forma más rápida y eficiente. Los líderes deben comunicar formas de aprovechar las herramientas para apoyar los objetivos de la organización mientras los educan sobre las amenazas potenciales».
Los chatbots impulsados por IA también necesitan actualizaciones regulares para seguir siendo efectivos contra las amenazas y la supervisión humana es esencial para garantizar que los LLM funcionen correctamente, revela Joshua Kaiser, ejecutivo de Tecnología de IA y CEO de Tovie AI. «Además, los LLM necesitan comprensión contextual para proporcionar respuestas precisas y detectar cualquier problema de seguridad, y deben probarse y evaluarse regularmente para identificar posibles debilidades o vulnerabilidades».
Cookie | Duración | Descripción |
---|---|---|
__cf_bm | 1 hour | This cookie, set by Cloudflare, is used to support Cloudflare Bot Management. |
_GRECAPTCHA | 6 months | Google Recaptcha service sets this cookie to identify bots to protect the website against malicious spam attacks. |
cookielawinfo-checkbox-advertisement | 1 year | Set by the GDPR Cookie Consent plugin, this cookie records the user consent for the cookies in the "Advertisement" category. |
cookielawinfo-checkbox-analytics | 11 months | This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Analytics". |
cookielawinfo-checkbox-functional | 11 months | The cookie is set by GDPR cookie consent to record the user consent for the cookies in the category "Functional". |
cookielawinfo-checkbox-necessary | 11 months | This cookie is set by GDPR Cookie Consent plugin. The cookies is used to store the user consent for the cookies in the category "Necessary". |
cookielawinfo-checkbox-others | 11 months | This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Other. |
cookielawinfo-checkbox-performance | 11 months | This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Performance". |
CookieLawInfoConsent | 1 year | CookieYes sets this cookie to record the default button state of the corresponding category and the status of CCPA. It works only in coordination with the primary cookie. |
csrftoken | 1 year | This cookie is associated with Django web development platform for python. Used to help protect the website against Cross-Site Request Forgery attacks |
opt_out | 1 year | This cookie is used for preventing the installation of third party advertiser or other cookies on the browser. |
PHPSESSID | 24 minutes | This cookie is native to PHP applications. The cookie stores and identifies a user's unique session ID to manage user sessions on the website. The cookie is a session cookie and will be deleted when all the browser windows are closed. |
rc::a | never | This cookie is set by the Google recaptcha service to identify bots to protect the website against malicious spam attacks. |
rc::b | session | This cookie is set by the Google recaptcha service to identify bots to protect the website against malicious spam attacks. |
rc::c | session | This cookie is set by the Google recaptcha service to identify bots to protect the website against malicious spam attacks. |
rc::f | never | This cookie is set by the Google recaptcha service to identify bots to protect the website against malicious spam attacks. |
ts | 1 year 1 month | PayPal sets this cookie to enable secure transactions through PayPal. |
usprivacy | 1 year 1 month | This is a consent cookie set by Dailymotion to store the CCPA consent string (mandatory information about an end-user being or not being a California consumer and exercising or not exercising its statutory right). |
viewed_cookie_policy | 11 months | The cookie is set by the GDPR Cookie Consent plugin and is used to store whether or not user has consented to the use of cookies. It does not store any personal data. |
wordpress_test_cookie | session | WordPress sets this cookie to determine whether cookies are enabled on the users' browsers. |
Cookie | Duración | Descripción |
---|---|---|
cX_G | 1 year 1 month | Cxense sets this cookie for storing the global ID, mapping different ids together into one ID. |
v1st | 1 year 1 month | The v1st cookie is set by TripAdvisor to collect details about how visitors use the website, by displaying user reviews, awards and information received on the TripAdvisor community. |
yt-player-headers-readable | never | The yt-player-headers-readable cookie is used by YouTube to store user preferences related to video playback and interface, enhancing the user's viewing experience. |
yt-remote-cast-available | session | The yt-remote-cast-available cookie is used to store the user's preferences regarding whether casting is available on their YouTube video player. |
yt-remote-cast-installed | session | The yt-remote-cast-installed cookie is used to store the user's video player preferences using embedded YouTube video. |
yt-remote-connected-devices | never | YouTube sets this cookie to store the user's video preferences using embedded YouTube videos. |
yt-remote-device-id | never | YouTube sets this cookie to store the user's video preferences using embedded YouTube videos. |
yt-remote-fast-check-period | session | The yt-remote-fast-check-period cookie is used by YouTube to store the user's video player preferences for embedded YouTube videos. |
yt-remote-session-app | session | The yt-remote-session-app cookie is used by YouTube to store user preferences and information about the interface of the embedded YouTube video player. |
yt-remote-session-name | session | The yt-remote-session-name cookie is used by YouTube to store the user's video player preferences using embedded YouTube video. |
ytidb::LAST_RESULT_ENTRY_KEY | never | The cookie ytidb::LAST_RESULT_ENTRY_KEY is used by YouTube to store the last search result entry that was clicked by the user. This information is used to improve the user experience by providing more relevant search results in the future. |
Cookie | Duración | Descripción |
---|---|---|
_gat | 1 minute | Google Universal Analytics sets this cookie to restrain request rate and thus limit data collection on high-traffic sites. |
dmvk | session | The dmvk cookie is set by Dailymotion to record data of visitor behaviour on the website. |
Cookie | Duración | Descripción |
---|---|---|
_fbp | 3 months | Facebook sets this cookie to display advertisements when either on Facebook or on a digital platform powered by Facebook advertising after visiting the website. |
_ga | 1 year 1 month 4 days | Google Analytics sets this cookie to calculate visitor, session and campaign data and track site usage for the site's analytics report. The cookie stores information anonymously and assigns a randomly generated number to recognise unique visitors. |
_gid | 1 day | Google Analytics sets this cookie to store information on how visitors use a website while also creating an analytics report of the website's performance. Some of the collected data includes the number of visitors, their source, and the pages they visit anonymously. |
cX_P | 1 year 1 month | Cxense sets this cookie for site-specific user sessions - across sessions. |
Cookie | Duración | Descripción |
---|---|---|
guest_id | 1 year 1 month | Twitter sets this cookie to identify and track the website visitor. It registers if a user is signed in to the Twitter platform and collects information about ad preferences. |
test_cookie | 15 minutes | doubleclick.net sets this cookie to determine if the user's browser supports cookies. |
VISITOR_INFO1_LIVE | 6 months | YouTube sets this cookie to measure bandwidth, determining whether the user gets the new or old player interface. |
VISITOR_PRIVACY_METADATA | 6 months | YouTube sets this cookie to store the user's cookie consent state for the current domain. |
YSC | session | Youtube sets this cookie to track the views of embedded videos on Youtube pages. |
yt.innertube::nextId | never | YouTube sets this cookie to register a unique ID to store data on what videos from YouTube the user has seen. |
yt.innertube::requests | never | YouTube sets this cookie to register a unique ID to store data on what videos from YouTube the user has seen. |
Cookie | Duración | Descripción |
---|---|---|
__cflb | 1 day | This cookie is used by Cloudflare for load balancing. |
_awl | 1 year 1 month | No description available. |
_pcid | 1 year 1 month | Description is currently not available. |
_pctx | 1 year 1 month | Description is currently not available. |
gckp | 1 year | This cookie is set by the provider Cxense. This cookie is used for building user profile information across all sites in the Cxense network. |
itsec-hb-login-27e4caa2b0fb20a2dee118de04e9de77 | 1 hour | Description is currently not available. |
ntvSession | session | Description is currently not available. |