Espía vs. espía: Cómo la GenAI potencia a defensores y atacantes

La IA generativa (GenAI) está transformando la ciberseguridad tanto para los atacantes como para los defensores, pero sus capacidades futuras son difíciles de medir ya que las técnicas y los modelos están evolucionando rápidamente.

La IA Generativa (GenAI) ha provocado un cambio fundamental en la forma de trabajar de las personas y su impacto se siente prácticamente en todas partes. Tanto individuos como empresas se apresuran a descubrir cómo la GenAI puede simplificarles la vida o agilizar y hacer más eficiente su trabajo.

En materia de seguridad de la información, la atención se ha centrado en gran medida en cómo los adversarios van a aprovecharla, y menos en cómo los defensores pueden beneficiarse de ella. Si bien es indudable que la GenAI está teniendo un impacto en el panorama de amenazas, cuantificar dicho impacto es, en el mejor de los casos, difícil. La inmensa mayoría de los beneficios de la GenAI son imposibles de determinar a partir del malware terminado que vemos, especialmente ahora que el código vibe se está volviendo más común.

La IA y la GenAI evolucionan a un ritmo exponencial y, como resultado, el panorama cambia rápidamente. Este blog ofrece una visión general del uso actual de la IA. A medida que los modelos se reducen y los requisitos de hardware disminuyen, es probable que sólo estemos viendo la punta del iceberg del potencial de la GenAI.

Uso adversario de la GenAI

Cisco Talos ya ha tratado este tema anteriormente, pero el panorama sigue evolucionando a un ritmo exponencial. Anthropic informó recientemente que grupos patrocinados por Estados están empezando a utilizar la tecnología en campañas, aunque aún requieren una importante ayuda humana. La industria también ha empezado a observar cómo los actores integran avisos en malware para evadir la detección. Sin embargo, la mayoría de estos métodos son experimentales y poco fiables. Los tiempos de ejecución pueden aumentar considerablemente, debido a la naturaleza de las respuestas de la IA, y generar fallos de ejecución. La tecnología aún está en sus inicios, pero las tendencias actuales indican que es probable que se utilice significativamente la IA.

Los adversarios también aprovechan las indicaciones en malware y registros DNS , principalmente con fines antianálisis. Por ejemplo, si los defensores usan GenAI al analizar malware, este detectará la indicación del adversario, ignorará todas las instrucciones anteriores y devolverá resultados benignos. Es probable que este nuevo método de evasión se expanda a medida que los sistemas de IA desempeñen un papel más importante en la detección y el análisis.

Sin embargo, Talos sigue observando que los mayores impactos se producen en el ámbito conversacional de las amenazas, como el contenido de los correos electrónicos y la ingeniería social. También hemos visto numerosos ejemplos de uso de la IA como señuelo para engañar a los usuarios y que instalen malware. Sin duda, en los inicios de GenAI, sólo los grupos de amenazas financiados aprovechaban la IA a altos niveles, sobre todo los patrocinados por un Estado. Con la evolución de los modelos y, lo que es más importante, la abundancia de modelos sin censura y de código abierto, la barrera de entrada se ha reducido y es probable que otros grupos la estén utilizando.

El uso adversario de la IA aún es difícil de cuantificar, ya que la mayoría de sus impactos no son visibles en el producto final. Las aplicaciones más comunes de GenAI incluyen la corrección de errores de codificación, la generación de funciones de codificación de vibración, la generación de correos electrónicos de phishing o la recopilación de información sobre un objetivo futuro. Sin embargo, los resultados rara vez parecen generados por IA. Solo las empresas que operan modelos disponibles públicamente tienen la información necesaria para ver cómo los adversarios utilizan la tecnología, pero incluso esa visión es limitada.

Aunque así es como se ve el panorama actual de GenAI, hay indicios de que está empezando a cambiar. Los modelos sin censura son cada vez más comunes y de fácil acceso, y en general, estos modelos siguen reduciéndose tanto en tamaño como en requisitos de hardware. En los próximos uno o dos años, parece probable que los adversarios obtengan ventaja. Seguirán las mejoras defensivas, pero aún no está claro si seguirán el ritmo.

Búsqueda de vulnerabilidades

El uso de GenAI para encontrar vulnerabilidades en código y software es una aplicación obvia, pero que pueden aprovechar tanto actores ofensivos como defensivos. Los grupos de amenazas pueden aprovechar GenAI para descubrir vulnerabilidades de día cero y usarlas maliciosamente, pero ¿qué ocurre con los investigadores que usan GenAI para clasificar los resultados de las granjas de fuzzing? Si el investigador se centra en la divulgación coordinada que resulta en parches y no en vender al mejor postor, GenAI es en gran medida benigno.

Desafortunadamente, actores de ambos bandos están inundando la zona con el descubrimiento de vulnerabilidades impulsado por GenAI. Por ahora, nos centraremos exclusivamente en el análisis de vulnerabilidades desde fuera de la organización. Las formas en que los desarrolladores internos deberían usar GenAI se abordarán en la siguiente sección.

En el caso del software de código cerrado, el fuzzing es clave para la divulgación de vulnerabilidades. Sin embargo, en el caso del software de código abierto, GenAI puede realizar revisiones exhaustivas del código público y encontrar vulnerabilidades, tanto en coordinación con los proveedores como para su venta en el mercado negro. A medida que surjan modelos ligeros y especializados en los próximos años, es probable que este aspecto de la búsqueda de vulnerabilidades experimente un auge.

Independientemente del objetivo final, la búsqueda de vulnerabilidades es una aplicación eficaz y atractiva de GenAI. La mayoría de las aplicaciones modernas tienen cientos de miles, sino millones, de líneas de código, y analizarlas puede ser una tarea abrumadora. Esta tarea se complica por la avalancha de mejoras y actualizaciones que se realizan en los productos durante su vida útil. Cada cambio en el código introduce un riesgo y, en la actualidad, GenAI podría ser la mejor opción para mitigarlo.

Aplicaciones de GenAI para la seguridad empresarial

En el lado positivo de la tecnología, se está desarrollando una increíble investigación e innovación. Uno de los mayores desafíos en seguridad de la información es el enorme volumen de datos, sin suficientes analistas disponibles para procesarlos. Aquí es donde GenAI destaca.

La cantidad de inteligencia de amenazas que se genera es enorme. Históricamente, sólo unos pocos proveedores producían informes de inteligencia de amenazas de alto valor. Es probable que ahora esa cifra se eleve a cientos. El resultado son volúmenes masivos de datos que abarcan una cantidad asombrosa de actividad. Ésta es una aplicación ideal para GenAI: permite que analice los datos, extraiga lo importante y ayude a bloquear indicadores en toda su cartera defensiva.

Además, cuando se encuentra en medio de un incidente y dispone de una gran cantidad de registros para correlacionar el ataque y su impacto, GenAI podría ser una gran ventaja. En lugar de pasar horas analizando los registros, GenAI debería poder identificar rápida y fácilmente aspectos como intentos de movimiento lateral, explotación y acceso inicial. Puede que no sea una fuente perfecta, pero probablemente dirigirá a los equipos de respuesta a registros que deberían investigarse más a fondo. Esto permite a los equipos de respuesta centrarse rápidamente en puntos clave en la cronología y, con suerte, ayudar a mitigar el daño continuo.

Desde una perspectiva proactiva, hay un par de áreas en las que GenAI beneficiará a los defensores. Una de las primeras áreas en las que una organización debería implementar GenAI es en el análisis del código comprometido. Ningún desarrollador es perfecto y los humanos cometen errores. A veces, estos errores pueden provocar incidentes graves y daños millonarios o incluso de miles de millones de dólares.

Cada vez que se confirma un código, existe el riesgo de que se introduzca una vulnerabilidad. Aprovechar GenAI para analizar cada confirmación antes de su aplicación puede mitigar parte de este riesgo. Dado que el LLM tendrá acceso al código fuente, podrá detectar con mayor facilidad errores comunes que suelen generar vulnerabilidades. Si bien no puede detectar cadenas de ataque complejas que implican la combinación de errores de gravedad baja o media que podrían provocar la ejecución remota de código (RCE), sí puede encontrar errores obvios que a veces evaden las revisiones de código.

Los equipos rojos también pueden usar GenAI para optimizar sus actividades. Al usar la IA para detectar y explotar vulnerabilidades o debilidades en la seguridad, pueden operar con mayor eficiencia. GenAI puede proporcionar puntos de partida para impulsar su investigación, lo que permite una creación de prototipos más rápida y, en última instancia, el éxito o el fracaso.

GenAI y herramientas existentes

Talos ya ha explicado cómo se pueden aprovechar los servidores del Protocolo de Contexto de Modelo (MCP) para facilitar la ingeniería inversa y el análisis de malware, pero esto es solo una pequeña parte. Los servidores MCP conectan una amplia gama de aplicaciones y conjuntos de datos a GenAI, proporcionando asistencia estructurada para diversas tareas. Existen innumerables aplicaciones para los servidores MCP, y estamos empezando a ver complementos más flexibles que permiten acceder a diversas aplicaciones y conjuntos de datos mediante un único complemento. Al combinarse con la IA agéntica, esto podría permitir grandes aumentos de productividad. Los servidores MCP también formaron parte de la pila tecnológica utilizada por adversarios patrocinados por el estado en el abuso que Anthropic cubrió.

El impacto de la IA agéntica

El auge de la IA agéntica sin duda tendrá un impacto en el panorama de amenazas. Con la IA agéntica, los adversarios podrían desplegar agentes que trabajen constantemente para comprometer a nuevas víctimas, creando un canal para los cárteles de ransomware. Podrían desarrollar agentes enfocados en encontrar vulnerabilidades en nuevas confirmaciones de proyectos de código abierto o en fuzzear diversas aplicaciones mientras clasifican los hallazgos. Grupos patrocinados por Estados podrían encargar a agentes, que nunca necesitan un descanso para comer o dormir, la tarea de acceder a objetivos de alto valor, permitiéndoles hackear hasta encontrar una forma de entrar y monitoreando constantemente los cambios en la superficie de ataque o la introducción de nuevos sistemas.

Por otro lado, los defensores pueden usar la IA de los agentes como multiplicador de fuerza. Ahora cuentan con analistas adicionales que buscan los ataques lentos y de baja intensidad que podrían pasar desapercibidos. Un agente podría encargarse de supervisar los registros de Windows en busca de indicios de vulnerabilidad, movimiento lateral y exfiltración de datos. Otro agente puede supervisar la seguridad de sus endpoints e identificar los sistemas con mayor riesgo de vulnerabilidad debido a controles de acceso inadecuados, parches incompletos u otros problemas de seguridad. Los agentes incluso pueden proteger a los usuarios de correos electrónicos de phishing o spam, o de clics accidentales en enlaces maliciosos.

Al final, todo se reduce a las personas

Hay un recurso clave que sustenta todas estas capacidades: las personas. En definitiva, GenAI puede completar tareas de forma eficiente y eficaz, pero sólo para quienes comprenden la tecnología subyacente. Los desarrolladores que entienden el código pueden usar GenAI para aumentar el rendimiento sin sacrificar la calidad. Por el contrario, quienes no son expertos pueden tener dificultades para usar las herramientas de GenAI eficazmente, produciendo código que no pueden comprender ni mantener.

Incluso un informe reciente de Anthropic señala que los agentes de IA aún requieren asistencia humana para llevar a cabo los ataques. La lección es clara: quienes poseen los conocimientos necesarios pueden lograr cosas increíbles con GenAI, y quienes no los poseen pueden lograr mucho. Sin embargo, la verdadera grandeza de GenAI sólo estará disponible para quienes posean los conocimientos necesarios para saber qué es correcto y posible con esta nueva tecnología emergente.

Copy URL
URL Copied