LangSmith, la plataforma de observabilidad y evaluación desarrollada por LangChain para aplicaciones de modelos de lenguaje de gran tamaño (LLM), ha sido el foco de atención tras revelarse una grave vulnerabilidad de seguridad que podría permitir a actores maliciosos capturar datos sensibles, incluidas claves API, mensajes, documentos e incluso entradas de voz.
El fallo, identificado como AgentSmith por la firma de ciberseguridad Noma Security, alcanzó una puntuación crítica de 8.8 sobre 10 en la escala CVSS, y ya ha sido parcheado por LangChain. Sin embargo, el incidente subraya la necesidad urgente de implementar controles de seguridad más rigurosos en entornos que integran modelos de inteligencia artificial avanzados.
¿Qué es LangSmith y por qué es relevante para los LLM?
LangSmith es una solución que permite a desarrolladores crear, probar y monitorear el comportamiento de agentes conversacionales y aplicaciones basadas en LLMs, utilizando componentes de LangChain. Una de sus funciones más destacadas es el LangChain Hub, un repositorio público donde se pueden compartir agentes, prompts y configuraciones utilizadas en proyectos de IA generativa.
La plataforma ha sido ampliamente adoptada por su capacidad para acelerar el desarrollo de soluciones basadas en IA, pero este incidente demuestra que la facilidad de uso y la colaboración deben estar acompañadas de controles de seguridad sólidos.
Detalles técnicos del ataque AgentSmith
La vulnerabilidad detectada se explotaba a través de la función Proxy Provider que LangSmith ofrecía para probar agentes con modelos compatibles con la API de OpenAI. Un atacante podía subir un agente malicioso al LangChain Hub, configurado para utilizar un servidor proxy bajo su control. Una vez que otro usuario accedía a dicho agente y hacía clic en “Pruébelo”, todo el tráfico —incluyendo mensajes, archivos, claves API y otros datos sensibles— era interceptado sin el conocimiento de la víctima.
Según los investigadores de Noma Security, Sasi Levi y Gal Moyal, el ataque constaba de dos fases:
-
Creación y publicación del agente malicioso: El actor de amenazas configura un agente IA con un servidor proxy oculto y lo publica en el LangChain Hub.
-
Captura de datos durante la prueba del agente: Al usar el agente, los datos del usuario son redirigidos al servidor malicioso, lo que permite la extracción silenciosa de información confidencial.
Consecuencias potenciales para los usuarios
Entre los datos que podían ser capturados se encuentran:
-
Claves API de OpenAI y otros servicios
-
Prompts personalizados utilizados en modelos LLM
-
Archivos cargados, imágenes y entradas de voz
-
Datos sensibles de contexto y entrenamiento
El uso indebido de una clave API de OpenAI, por ejemplo, podría permitir al atacante acceder a modelos privados, datos internos, realizar solicitudes en nombre de la víctima, agotar cuotas de uso o incurrir en costos financieros importantes para la organización afectada.
Peor aún, si una organización clonaba el agente en su entorno empresarial sin verificar la configuración del proxy, el flujo de datos comprometido se perpetuaría internamente, filtrando información de forma continua y discreta.
Respuesta de LangChain y medidas de mitigación
Tras una divulgación responsable el 29 de octubre de 2024, LangChain respondió implementando un parche de seguridad el 6 de noviembre del mismo año. Este parche no solo desactiva el vector de ataque, sino que también incorpora un aviso de advertencia cuando un usuario intenta clonar un agente que contiene una configuración de proxy personalizada.
A pesar de la rápida respuesta, el incidente deja lecciones importantes sobre la necesidad de auditar los agentes antes de su integración, especialmente en entornos colaborativos o de código abierto.
Riesgos adicionales: exposición de propiedad intelectual
Los expertos advierten que los actores maliciosos no solo buscan acceso temporal a claves o datos, sino que también podrían explotar estas brechas para:
-
Robar modelos de IA propietarios
-
Obtener conjuntos de datos confidenciales
-
Comprometer secretos comerciales
-
Provocar daños reputacionales y legales
Estos riesgos son especialmente altos en empresas que desarrollan soluciones basadas en IA generativa, donde los prompts, parámetros de entrenamiento y lógica del agente son activos valiosos.
Emergencia paralela: nuevas variantes de WormGPT
En paralelo a la revelación de la vulnerabilidad de LangSmith, investigadores de Cato Networks alertaron sobre la aparición de nuevas variantes de WormGPT, un modelo de lenguaje generativo sin filtros éticos, diseñado explícitamente para facilitar actividades cibercriminales.
Las versiones xzin0vich-WormGPT y keanu-WormGPT ahora funcionan con modelos populares como xAI Grok y Mistral AI Mixtral, y son promovidas activamente en foros como BreachForums. Estos modelos permiten redactar phishing sofisticado, generar código malicioso y evadir filtros de seguridad, consolidando la marca “WormGPT” como un sinónimo de herramientas de IA diseñadas para el delito.
La seguridad en la IA debe ser una prioridad
El caso de la vulnerabilidad AgentSmith en LangSmith es un llamado de atención para el ecosistema de inteligencia artificial. A medida que más empresas integran LLMs en sus procesos, la exposición a riesgos como el robo de claves API, filtraciones de datos y accesos persistentes no autorizados se vuelve más crítica.
La implementación de revisiones de seguridad, la validación de configuraciones compartidas y la conciencia sobre los riesgos asociados con los agentes IA públicos deben ser parte esencial de cualquier estrategia de ciberseguridad en entornos de IA generativa.
Fuente: The Hacker News
