Un error en Copilot hace que se salte la protección de datos y lea emails confidenciales

Roger Casadejús Pérez
Full stack web developer y SEO + miembro del blueteam en ciberseguridad web

Un error en Copilot hace que se salte la protección de datos y lea emails confidenciales

Introducción al problema de seguridad en Copilot

Microsoft ha reconocido recientemente la existencia de un grave bug en Microsoft 365 Copilot, el cual permitía a este asistente de inteligencia artificial resumir correos electrónicos marcados como confidenciales sin contar con la autorización de los usuarios. Este problema representa una violación directa de las políticas de Data Loss Prevention (DLP), las cuales están diseñadas precisamente para impedir que información sensible llegue a Copilot.

Detalles técnicos del bug CW1226324

El fallo, que ha sido denominado internamente como CW1226324, afectó específicamente a la pestaña «Work» de Copilot Chat. Esta pestaña accedió a los mensajes almacenados en las carpetas de «Elementos enviados» y «Borradores» desde finales de enero de este año hasta que el problema fue detectado. Aunque Microsoft ha asegurado que no ha habido filtraciones de datos hacia la nube ni explotaciones maliciosas, este incidente ha expuesto un riesgo significativo de incumplimiento normativo para las empresas que dependen de DLP para satisfacer requisitos regulatorios, como el Reglamento de Protección de Datos de la Unión Europea.

Origen del problema en el motor de recuperación de Copilot Chat

El origen del problema radica en un error de lógica dentro del motor de recuperación de Copilot Chat, específicamente en la integración de la pestaña «Work». Al iniciar el chat, Copilot consultaba Microsoft Graph y los índices de búsqueda para generar resúmenes contextuales. Sin embargo, el bug provocaba que se ignoraran las etiquetas de «Confidencial», así como las políticas DLP configuradas para bloquear el acceso automático a este tipo de datos.

Reacción de Microsoft y medidas correctivas

Ante la detección del fallo, que tuvo lugar el 21 de enero, Microsoft informó a los administradores de Office mediante un servicio de alertas, señalando que la IA estaba «procesando incorrectamente» correos protegidos. Desde principios de febrero, la compañía comenzó a desplegar un parche para corregir el problema. Sin embargo, este incidente ha puesto en evidencia una nueva falla en la cadena de inteligencia artificial de Microsoft, afectando la confianza en la privacidad de sus servicios empresariales.

Impacto en las comunicaciones internas

Este bug afectaba particularmente a las carpetas de correo de «Elementos enviados» y «Borradores», que suelen contener borradores sin acabar o comunicaciones internas de gran importancia. Por lo tanto, permitió que Copilot accediera y resumiera el contenido de estos mensajes en las respuestas generadas por la inteligencia artificial, incluso cuando las políticas empresariales lo prohibían explícitamente.

Conclusiones sobre el fallo de Copilot

A pesar de que hasta el momento no se ha registrado ninguna fuga de datos hacia servidores externos, el mero hecho de que Copilot generara resúmenes de datos protegidos constituye una violación de cumplimiento normativo. El modelo de lenguaje de Microsoft procesó información que no debería haber estado accesible, revelando un importante fallo en la gestión de datos confidenciales por parte de la inteligencia artificial. Este incidente subraya la necesidad de una revisión exhaustiva y continua de las medidas de seguridad en los sistemas de IA para garantizar la protección de la información sensible.