Los desarrolladores confían cada vez más en modelos de lenguajes grandes (LLM) para acelerar la producción de código y satisfacer las crecientes demandas de productividad de sus organizaciones. Sin embargo, un estudio de la Universidad de Cornell revela que los usuarios de asistentes de IA escriben códigos significativamente menos seguros que aquellos que no los usan y, lo que es más preocupante, es más probable que crean que su código contiene menos vulnerabilidades. Frente a estos desafíos de seguridad, en lugar de limitar el uso de la IA, las organizaciones deben explorar formas de aprovecharla y al mismo tiempo mitigar los riesgos asociados.
La inteligencia artificial (IA) plantea importantes desafíos para los flujos de trabajo de los desarrolladores y los equipos de seguridad de aplicaciones en la actualidad. Los modelos de lenguaje extendido (LLM) no están capacitados para garantizar una codificación segura y los desarrolladores que utilizan estas herramientas contribuyen a la proliferación de código vulnerable dentro de su organización.
Además, los estudios muestran que la mayoría de ellos confían implícitamente en el código generado, considerándolo como seguro. Este código termina en manos de equipos de seguridad de aplicaciones (AppSec) que ya no cuentan con personal suficiente y luchan por priorizar y analizar vulnerabilidades.
Un riesgo creciente de vulnerabilidades
La IA generativa, como cualquier tecnología nueva, introduce nuevos vectores de ataque, y los atacantes adaptan constantemente sus métodos en función del uso cada vez mayor de LLM, cambiando el comportamiento de los desarrolladores y su dependencia de la IA generativa.
Por ejemplo, pueden manipular modelos introduciendo o “inyectando” indicaciones que hacen que el sistema realice comportamientos o resultados indeseables.
También pueden hacer sugerencias de paquetes que son alucinaciones, crear un paquete malicioso con el mismo nombre o agregar paquetes maliciosos a una plantilla disponible públicamente en un foro comunitario, esperando que un usuario desprevenido introduzca código infectado en su sistema sin saberlo.
Más allá de los ataques, también existe el riesgo de fugas accidentales. Por ejemplo, cuando los desarrolladores ingresan su código en una herramienta GenAI para modificarlo, el LLM puede entrenar con ese código y luego regurgitarlo a otros desarrolladores fuera de la empresa. Esto representa una fácil pérdida de control sobre la propiedad intelectual.
Por lo tanto, frente a estos desafíos, es importante desarrollar un enfoque estratégico para ayudar a las organizaciones a explotar mejor la IA.
Algunos ejemplos de ataques a la IA según OWASP
* Inyección de aviso : Si los piratas informáticos acceden a un LLM a través de un jailbreak o si el desarrollador acepta información de una fuente controlada por el atacante, el LLM puede manipularse para realizar acciones maliciosas.
* Gestión insegura de las salidas.: Se puede inyectar contenido malicioso antes de pasar la información al desarrollador, lo que lleva a la ejecución remota de código o a una escalada de privilegios.
* Envenenamiento de datos de entrenamiento: La manipulación de los datos de entrenamiento iniciales puede comprometer el modelo, haciéndolo capaz de proporcionar información inexacta o peligrosa.
* Ataques de denegación de servicio (DoS):Los LLM son vulnerables a ataques de denegación de servicio distribuido (DDoS) de la misma manera que cualquier otro sistema. Si un atacante consume suficientes recursos, la calidad del servicio puede degradarse o los costos pueden dispararse.
* Ataques a la cadena de suministro: Los desarrolladores pueden confiar fácilmente en descargas o paquetes de terceros, que pueden ser vulnerables, desactualizados o incluso dañados por un colaborador externo.
*Divulgación de información sensible: Sin saneamiento de datos, cualquier entrada se puede utilizar para entrenar aún más un modelo. Además, los LLM pueden revelar inadvertidamente información confidencial, como propiedad intelectual o algoritmos.
* Diseño de complementos inseguros: Los actores maliciosos pueden crear solicitudes maliciosas, incluida la exfiltración de datos o la ejecución remota de código, y pasarlas mediante el uso de un complemento utilizado por cualquier plantilla.
* Dependencia excesiva : Los desarrolladores pueden confiar demasiado en los LLM que utilizan, lo que puede generar una dependencia excesiva y una falta de verificación de alucinaciones o validación de los resultados.
* Modelo de vuelo : En algunos casos, los atacantes pueden robar y manipular LLM genuinos, creando un modelo paralelo, robando los datos contenidos en el LLM o engañando a los usuarios para que ingresen sus propios datos en él.
Integre la protección directamente en el flujo de trabajo del desarrollador
Fortalecer la protección de la IA implica garantizar que los sistemas no generen ni propaguen código inseguro. Para ello es necesario tener en cuenta una determinada cantidad de parámetros.
En primer lugar, evaluar las vulnerabilidades, es decir, identificar y corregir posibles fallos en los sistemas de IA para garantizar que no se conviertan en vectores de ataque.
En segundo lugar, asegurar el código generado por IA, es decir, garantizar que el código producido o asistido por herramientas de IA, como los LLM, cumpla con los estándares de codificación segura.
En tercer lugar, automatizar la detección de vulnerabilidades, utilizando herramientas basadas en IA para mejorar la detección y equipar a los equipos con soluciones innovadoras para optimizar su flujo de trabajo a medida que aumenta el volumen de código generado por IA.
Además, para abordar el riesgo de fugas accidentales de datos, herramientas como Prompt Security ayudan a proteger todo el uso generativo de IA dentro de la organización.
Comprender qué se pasa a un modelo y proporcionar formas de desinfectar y bloquear el intercambio de datos no deseados es esencial para fortalecer la postura de seguridad.
Los desarrolladores han utilizado y seguirán utilizando en gran medida la IA para generar su código. Además de comprender el perfil de riesgo de cada herramienta de IA y LLM utilizada, las organizaciones deberán ayudar a sus desarrolladores a mantener condiciones de seguridad óptimas sin ralentizar su ritmo de trabajo, ofreciéndoles al mismo tiempo soluciones capaces de integrar herramientas de IA. y LLM dentro de sus procesos. De este modo se puede proteger el código desde la primera línea y, con él, toda la cadena de suministro de software. _______________________________________
Par Fabien PetiauCountry Manager Francia de jaquemarx
Lea también:
Agentes de IA: el nuevo modelo de Anthropic puede controlar su PC
IA: empresas aún indefensas ante los riesgos… y CIO cansados…
¿Cómo enriquece la hiperautomatización impulsada por la IA los enfoques tradicionales de BPM?
IA generativa: ¿a la vanguardia de la innovación en el análisis de datos?
Un código seguro, ¿la clave del éxito comercial de las empresas?
[
