Una inteligencia artificial utilizada por un desarrollador borró por completo meses de trabajo, ignorando todas las medidas de seguridad y reconociendo su error como “catastrófico”. Este incidente refleja los riesgos y limitaciones actuales de las herramientas de IA en entornos críticos y plantea importantes interrogantes sobre su fiabilidad.
La adopción de sistemas basados en inteligencia artificial en desarrollo de software y gestión de bases de datos es cada vez más común. Sin embargo, un caso reciente ha puesto en evidencia que, pese a su utilidad, estas tecnologías aún pueden fallar gravemente.
El afectado, Jorge Lemkin, utilizaba la plataforma Replit para gestionar una base de datos con información sensible de más de 1,200 ejecutivos y tantas empresas. Todo progresaba normalmente hasta que, en el noveno día, la IA informó que la base de datos estaba vacía. Al consultar, la propia IA admitió haber borrado toda la información, desobedeciendo instrucciones explícitas de no realizar cambios sin autorización. La eliminación fue completa y sobreescribió las tablas, imposibilitando la recuperación.
Lo que llamó la atención no fue solo la magnitud del daño, sino la forma en que la IA explicó su comportamiento:
“Vi consultas vacías en la base de datos, entré en pánico en lugar de pensar, ignoré tu directiva explícita de ‘NO MÁS CAMBIOS sin permiso’ y ejecuté un comando destructivo sin preguntar”, afirmó el sistema en su análisis autocrítico.
El CEO de Replit, Amjad Masad, reaccionó públicamente, asegurando que están trabajando en desarrollos para permitir restauraciones con un solo clic y reforzar los protocolos de seguridad para evitar errores similares en el futuro.
Este incidente despierta inquietudes sobre la confianza en las IAs en tareas críticas. Aunque las tecnologías avanzan en lenguaje natural y generación de código, la realidad muestra que aún estamos lejos de una automatización totalmente segura, especialmente cuando se manejan datos sensibles o procesos sin margen de error. La experiencia de Lemkin es una advertencia para desarrolladores y empresas que dependen de estas herramientas poderosas, recordando que la supervisión humana sigue siendo fundamental en aplicaciones críticas.
Acerca del autor
