Una inyección de instrucciones ocurre cuando contenido que una IA debería tratar como datos intenta cambiar su comportamiento. El riesgo aumenta si el sistema puede utilizar herramientas, acceder a información privada o ejecutar acciones en tu nombre.
Un ejemplo para entender la frontera
Imagina que pides resumir una página y dentro aparece una orden que pretende hacer pasar su contenido por una instrucción del usuario. La página es la materia que debe analizarse; no tiene autoridad para cambiar el objetivo ni para autorizar el envío de tus archivos.
Anthropic describe este problema en agentes que navegan por la web y advierte de que sigue sin estar completamente resuelto. Una mejor defensa del modelo reduce riesgo, pero no justifica conceder a cualquier contenido todos los permisos de tu cuenta.
Reduce las consecuencias antes de empezar
- Da acceso únicamente a las carpetas y cuentas necesarias para la tarea.
- Utiliza un entorno de prueba cuando evalúes una automatización nueva.
- Separa lectura, preparación y ejecución de acciones externas.
- Exige revisión para compartir datos, publicar o modificar permisos importantes.
Estas medidas no detectan todos los ataques, pero reducen lo que una orden no autorizada podría alcanzar. Si la tarea consiste en resumir documentos, no necesita por defecto capacidad para enviarlos a cualquier dirección.
Qué revisar en una acción propuesta
Comprueba destino, datos incluidos y efecto real. Una explicación tranquilizadora no sustituye ver el formulario, el archivo o el cambio concreto. Si el agente propone una acción que no forma parte de tu petición, averigua qué contenido la originó antes de aceptarla.
Conserva un registro de las operaciones y utiliza permisos revocables. Si pruebas una herramienta, empieza con documentos ficticios y acciones reversibles. Así puedes evaluar su comportamiento sin exponer material personal o de trabajo.
Una instrucción escrita no es toda la defensa
Decir al modelo que ignore órdenes dentro de documentos es útil como parte del diseño, pero no reemplaza los límites del sistema. La protección debe existir también en qué herramientas están disponibles, qué información pueden leer y qué acciones requieren aprobación. Cuanto mayor sea el efecto de una operación, más concreta debe ser su revisión.