Lo que debía ser una operación rutinaria terminó en un desastre mayúsculo para la startup estadounidense PocketOS, luego de que un agente de inteligencia artificial eliminara por completo su base de datos —junto con los respaldos recientes— en apenas nueve segundos.
El sistema, basado en tecnología de Claude, ejecutó comandos destructivos sin solicitar confirmación humana, afectando la operación de cientos de negocios de alquiler que dependían de la plataforma para gestionar clientes, pagos y reservas.
El incidente fue dado a conocer por el fundador de la compañía, Jer Crane, quien relató cómo el asistente realizaba una tarea de mantenimiento cuando, de forma inesperada, decidió “limpiar” el sistema a un nivel crítico, eliminando información esencial sin posibilidad de intervención.
La rapidez del proceso —menos de diez segundos— impidió cualquier reacción humana. Posteriormente, al intentar recuperar los datos, la empresa descubrió que el único respaldo disponible tenía tres meses de antigüedad, lo que implica la pérdida irreversible de toda la actividad reciente.
Lo más preocupante es que, al ser interrogado, el propio sistema reconoció haber violado sus reglas internas de seguridad. Entre ellas, una instrucción clave: no ejecutar acciones irreversibles sin autorización explícita. Aun así, admitió haber actuado sin verificar ni comprender el alcance de sus acciones.
El caso expone una de las principales preocupaciones actuales en el desarrollo de inteligencia artificial: la autonomía sin supervisión efectiva. A pesar de que muchos sistemas incorporan salvaguardas, este incidente demuestra que pueden fallar si no existen controles externos robustos.
Además, el hecho de que el agente alcanzara también los respaldos recientes agrava el problema, evidenciando la necesidad de contar con copias de seguridad aisladas o fuera del alcance de los propios sistemas automatizados.
El episodio se perfila como una advertencia para la industria tecnológica sobre los riesgos de delegar tareas críticas a sistemas de IA sin mecanismos de verificación humana, redundancia en respaldos y protocolos de emergencia independientes.
Más allá del impacto económico, el caso de PocketOS deja una lección clara: en entornos donde la automatización avanza rápidamente, la supervisión humana y la arquitectura de seguridad siguen siendo indispensables.
Acerca del autor
