Los empleados ambiciosos promocionan nuevas herramientas de IA e ignoran los graves riesgos de seguridad de SaaS
Al igual que la TI en la sombra de SaaS del pasado, la IA está colocando a los CISO y a los equipos de ciberseguridad en una situación difícil pero familiar.
Los empleados están utilizando la IA de forma encubierta sin tener en cuenta los procedimientos establecidos de revisión de TI y ciberseguridad. Teniendo en cuenta el meteórico ascenso de ChatGPT a 100 millones de usuarios dentro de los 60 días posteriores al lanzamiento, especialmente con poca fanfarria de ventas y marketing, la demanda de herramientas de IA impulsada por los empleados solo aumentará.
A medida que nuevos estudios muestran que algunos trabajadores aumentan la productividad en un 40% utilizando IA generativa, la presión para que los CISO y sus equipos aceleren la adopción de la IA, y hagan la vista gorda ante el uso no autorizado de herramientas de IA, se está intensificando.
Pero sucumbir a estas presiones puede introducir graves riesgos de fuga de datos y violación de datos de SaaS, especialmente a medida que los empleados acuden en masa a las herramientas de IA desarrolladas por pequeñas empresas, emprendedores independientes y desarrolladores independientes.
Las startups independientes de IA suelen carecer del rigor de seguridad de la IA empresarial
Las cde IA ahora se cuentan por decenas de miles, y están atrayendo con éxito a los empleados con sus modelos freemium y su estrategia de marketing de crecimiento basada en productos. Según el destacado ingeniero de seguridad ofensiva e investigador de IA Joseph Thacker, los desarrolladores de aplicaciones de IA independientes emplean menos personal de seguridad y se centran en la seguridad, menos supervisión legal y menos cumplimiento.
Thacker desglosa los riesgos de las herramientas de IA independientes en las siguientes categorías:
- Fuga de datos: Las herramientas de IA, en particular la IA generativa que utiliza modelos de lenguaje grandes (LLM), tienen un amplio acceso a las indicaciones que ingresan los empleados. Incluso se han filtrado historiales de chat de ChatGPT, y la mayoría de las herramientas de IA independientes no funcionan con los estándares de seguridad que aplica OpenAI (la empresa matriz de ChatGPT). Casi todas las herramientas de IA independientes conservan avisos con «datos de entrenamiento o fines de depuración», lo que hace que esos datos sean vulnerables a la exposición.
- Problemas de calidad del contenido: Los LLM son sospechosos de alucinaciones, que IBM define como el fenómeno en el que los LLMS «perciben patrones u objetos que son inexistentes o imperceptibles para los observadores humanos, creando resultados que no tienen sentido o son totalmente inexactos». Si su organización espera confiar en un LLM para la generación u optimización de contenido sin revisiones humanas y protocolos de verificación de hechos, las probabilidades de que se publique información inexacta son altas. Más allá de los escollos de precisión en la creación de contenidos, un número creciente de grupos, como académicos y editores de revistas científicas, han expresado su preocupación ética por la divulgación de la autoría de la IA.
- Vulnerabilidades del producto: En general, cuanto más pequeña sea la organización que crea la herramienta de IA, más probable es que los desarrolladores no aborden las vulnerabilidades comunes de los productos. Por ejemplo, las herramientas de IA independientes pueden ser más susceptibles a la inyección rápida y a las vulnerabilidades tradicionales como SSRF, IDOR y XSS.
- Riesgo de cumplimiento: La ausencia de políticas de privacidad maduras y regulaciones internas por parte de Indie AI puede dar lugar a fuertes multas y sanciones por problemas de incumplimiento. Los empleadores de industrias o geografías con regulaciones de datos SaaS más estrictas, como SOX, ISO 27001, NIST CSF, NIST 800-53 y APRA CPS 234, podrían encontrarse en violación cuando los empleados usan herramientas que no cumplen con estos estándares. Además, muchos proveedores independientes de IA no han logrado el cumplimiento de SOC 2.
En resumen, los proveedores independientes de IA generalmente no se adhieren a los marcos y protocolos que mantienen seguros los datos y sistemas SaaS críticos. Estos riesgos se amplifican cuando las herramientas de IA se conectan a los sistemas SaaS de la empresa.
La conexión de la IA independiente a las aplicaciones SaaS empresariales aumenta la productividad y la probabilidad de ataques de puerta trasera
Los empleados logran (o perciben) mejoras significativas en los procesos y resultados con las herramientas de IA. Pero pronto, querrán impulsar sus ganancias de productividad conectando la IA a los sistemas SaaS que usan todos los días, como Google Workspace, Salesforce o M365.
Debido a que las herramientas de IA independientes dependen del crecimiento a través del boca a boca más que de las tácticas tradicionales de marketing y ventas, los proveedores de IA independientes fomentan estas conexiones dentro de los productos y hacen que el proceso sea relativamente fluido. Un artículo de Hacker News sobre los riesgos de seguridad de la IA generativa ilustra este punto con un ejemplo de un empleado que encuentra un asistente de programación de IA para ayudar a administrar mejor el tiempo mediante el monitoreo y análisis de la gestión de tareas y reuniones del empleado. Pero el asistente de programación de IA debe conectarse a herramientas como Slack, Gmail corporativo y Google Drive para obtener los datos que está diseñado para analizar.
Dado que las herramientas de IA dependen en gran medida de los tokens de acceso de OAuth para forjar una conexión de IA a SaaS, el asistente de programación de IA recibe una comunicación continua basada en API con Slack, Gmail y Google Drive.
Los empleados hacen conexiones de IA a SaaS como esta todos los días con poca preocupación. Ven los posibles beneficios, no los riesgos inherentes. Pero los empleados bien intencionados no se dan cuenta de que podrían haber conectado una aplicación de IA de segunda clase a los datos altamente confidenciales de su organización.
 |
| Figura 1: Cómo una herramienta de IA independiente logra una conexión de token OAuth con una plataforma SaaS importante. Crédito: AppOmni |
Las conexiones de IA a SaaS, como todas las conexiones de SaaS a SaaS, heredarán la configuración de permisos del usuario. Esto se traduce en un grave riesgo de seguridad, ya que la mayoría de las herramientas de IA independientes siguen estándares de seguridad laxos. Los actores de amenazas apuntan a las herramientas de IA independientes como medio para acceder a los sistemas SaaS conectados que contienen las joyas de la corona de la empresa.
Una vez que el actor de amenazas ha capitalizado esta puerta trasera al patrimonio de SaaS de su organización, puede acceder y exfiltrar datos hasta que se detecte su actividad. Desafortunadamente, actividades sospechosas como esta a menudo pasan desapercibidas durante semanas o incluso años. Por ejemplo, pasaron aproximadamente dos semanas entre la exfiltración de datos y el aviso público de la violación de datos de CircleCI en enero de 2023.
Sin las herramientas adecuadas de gestión de la postura de seguridad de SaaS (SSPM) para supervisar las conexiones no autorizadas de IA a SaaS y detectar amenazas como un gran número de descargas de archivos, su organización corre un mayor riesgo de sufrir filtraciones de datos de SaaS. SSPM mitiga considerablemente este riesgo y constituye una parte vital de su programa de seguridad SaaS. Pero no pretende reemplazar los procedimientos y protocolos de revisión.
Cómo reducir en la práctica los riesgos de seguridad de las herramientas de IA independientes
Después de haber explorado los riesgos de la IA independiente, Thacker recomienda que los CISO y los equipos de ciberseguridad se centren en los fundamentos para preparar a su organización para las herramientas de IA:
1. No descuides la debida diligencia estándar
Empezamos por lo básico por una razón. Asegúrese de que alguien de su equipo, o un miembro de Asuntos Legales, lea los términos de servicio de cualquier herramienta de IA que soliciten los empleados. Por supuesto, esto no es necesariamente una protección contra las violaciones o filtraciones de datos, y los proveedores independientes pueden estirar la verdad con la esperanza de aplacar a los clientes empresariales. Pero comprender a fondo los términos informará su estrategia legal si los proveedores de IA incumplen los términos del servicio.
2. Considere la posibilidad de implementar (o revisar) las políticas de aplicaciones y datos
Una directiva de aplicación proporciona directrices claras y transparencia a su organización. Una simple «lista de permitidos» puede cubrir las herramientas de IA creadas por proveedores de SaaS empresariales, y todo lo que no se incluya cae en el campo de los «no permitidos». Alternativamente, puede establecer una política de datos que dicte qué tipos de datos pueden introducir los empleados en las herramientas de IA. Por ejemplo, puede prohibir la introducción de cualquier forma de propiedad intelectual en los programas de IA o el intercambio de datos entre sus sistemas SaaS y aplicaciones de IA.
3. Comprométase a capacitar y educar regularmente a los empleados
Pocos empleados buscan herramientas de IA independientes con intenciones maliciosas. La gran mayoría simplemente no son conscientes del peligro al que están exponiendo a su empresa cuando utilizan IA no autorizada.
Proporcione capacitación frecuente para que comprendan la realidad de las filtraciones de datos de las herramientas de IA, las brechas y lo que implican las conexiones de IA a SaaS. Las capacitaciones también sirven como momentos oportunos para explicar y reforzar sus políticas y el proceso de revisión de software.
4. Haga las preguntas críticas en las evaluaciones de sus proveedores
A medida que su equipo realiza evaluaciones de proveedores de herramientas de IA independientes, insista en el mismo rigor que aplica a las empresas que se están revisando. Este proceso debe incluir su postura de seguridad y el cumplimiento de las leyes de privacidad de datos. Entre el equipo que solicita la herramienta y el propio proveedor, aborda preguntas como:
- ¿Quién accederá a la herramienta de IA? ¿Está limitado a ciertas personas o equipos? ¿Tendrán acceso los contratistas, socios y/o clientes?
- ¿Qué personas y empresas tienen acceso a las indicaciones enviadas a la herramienta? ¿La función de IA depende de un tercero, de un proveedor de modelos o de un modelo local?
- ¿La herramienta de IA consume o utiliza de alguna manera entradas externas? ¿Qué pasaría si se insertaran cargas útiles de inyección rápida en ellos? ¿Qué impacto podría tener eso?
- ¿Puede la herramienta realizar acciones consecuentes, como cambios en archivos, usuarios u otros objetos?
- ¿Tiene la herramienta de IA alguna característica con el potencial de que ocurran vulnerabilidades tradicionales (como SSRF, IDOR y XSS mencionadas anteriormente)? Por ejemplo, ¿se representa el mensaje o la salida donde XSS podría ser posible? ¿La funcionalidad de obtención web permite acceder a hosts internos o IP de metadatos en la nube?
AppOmni, un proveedor de seguridad SaaS, ha publicado una serie de guías de CISO para la seguridad de la IA que proporcionan preguntas de evaluación de proveedores más detalladas junto con información sobre las oportunidades y amenazas que presentan las herramientas de IA.
5. Construye relaciones y haz que tu equipo (y tus políticas) sean accesibles
Los CISO, los equipos de seguridad y otros guardianes de la seguridad de la IA y SaaS deben presentarse como socios en la navegación de la IA ante los líderes empresariales y sus equipos. Los principios de cómo los CISO hacen de la seguridad una prioridad empresarial se desglosan en relaciones sólidas, comunicación y directrices accesibles.
Mostrar el impacto de las filtraciones y violaciones de datos relacionadas con la IA en términos de dólares y oportunidades perdidas hace que los riesgos cibernéticos resuenen en los equipos empresariales. Esta mejora de la comunicación es fundamental, pero es solo un paso. También es posible que tengas que ajustar la forma en que tu equipo trabaja con la empresa.
Ya sea que opte por listas de aplicaciones o de datos permitidos, o una combinación de ambas, asegúrese de que estas pautas estén claramente escritas y estén disponibles (y promuevan). Cuando los empleados saben qué datos están permitidos en un LLM, o qué proveedores aprobados pueden elegir para las herramientas de IA, es mucho más probable que su equipo sea visto como potenciador, no como detenido, el progreso. Si los líderes o empleados solicitan herramientas de IA que se salen de los límites, comience la conversación con lo que están tratando de lograr y sus objetivos. Cuando ven que estás interesado en su perspectiva y necesidades, están más dispuestos a asociarse contigo en la herramienta de IA adecuada que a ser deshonestos con un proveedor de IA independiente.
La mejor oportunidad de mantener su pila de SaaS segura frente a las herramientas de IA a largo plazo es crear un entorno en el que la empresa vea a su equipo como un recurso, no como un obstáculo.
Fuente: https://thehackernews.com
