Resumen
Un modelo lingüístico que propone un texto sigue siendo, en principio, una herramienta. Un sistema que obtiene información por sí mismo, planifica varios pasos, invoca herramientas y, al hacerlo, modifica datos o estados adquiere un significado organizativo distinto. No porque sea una persona, sino porque sus acciones tienen consecuencias.
ChocoPolitico ha formulado con especial claridad este cambio en dos publicaciones: «AI Agents als handlungsfähige Systeme» pregunta por la autonomía y los límites del contexto; «AI Agents in Organisationen» advierte contra el tratamiento lingüístico y organizativo de los actores digitales como herramientas comunes. [1] [2] Paralelamente, el NIST estadounidense señala que el alcance y el número de acciones posibles pueden crecer considerablemente con la autonomía de estos sistemas y que, por ello, cobran importancia la identidad, la autorización, la auditabilidad y los accesos limitados. [3] [4]
Para FlameP, de ello no se deriva una prohibición de los agentes. Se deriva una regla arquitectónica: la capacidad de actuación nunca debe describirse únicamente como una capacidad del modelo. Antes de cada acción deben ser reconocibles el rol, el contexto, el permiso, la confirmación, el registro y la regla de detención.
1. El cambio se produce en el efecto
El debate habitual sobre la IA se centra primero en las respuestas. ¿Son correctas? ¿Suenan amables? ¿Contienen alucinaciones? Estas preguntas siguen siendo importantes, pero solo abarcan sistemas cuyo efecto termina esencialmente en una salida.
En cuanto una IA reprograma una cita, envía un mensaje, modifica un archivo, prepara una compra o publica código, la respuesta pasa a ser solo un paso intermedio. Lo decisivo es el efecto en otro sistema.
El término «actor» no debe mistificarse. Un agente no tiene conciencia humana ni responsabilidad moral propia. Aun así, en términos organizativos debe tratarse como una instancia que actúa, porque, de lo contrario, no pueden describirse adecuadamente ni sus facultades ni su trayectoria de actuación.
2. Un interruptor de apagado llega demasiado tarde
Un interruptor de apagado es necesario. Pero solo ayuda cuando se ha detectado un problema. Un mensaje enviado por error, un archivo eliminado o información publicada no pueden recuperarse automáticamente gracias a él.
Por eso, la seguridad comienza antes. ¿Qué datos puede ver el sistema? ¿Qué herramientas puede invocar? ¿Solo puede leer o también escribir? ¿En qué espacio y durante cuánto tiempo es válido un permiso? ¿Qué acción exige una confirmación humana?
En los sistemas de agentes, NIST distingue, entre otras cosas, entre el acceso de solo lectura, el acceso limitado de escritura y el acceso de escritura a herramientas, así como entre entornos confiables y no confiables. [4] Esta distinción muestra por qué «El agente puede utilizar el navegador» no es una descripción de seguridad suficiente.
3. La responsabilidad no puede delegarse en el agente
Cuando un agente actúa incorrectamente, «La IA decidió» no es una asignación útil de responsabilidad. La responsabilidad sigue correspondiendo a las personas y organizaciones que determinan el objetivo, el acceso a los datos, las herramientas, las autorizaciones y el contexto de uso.
Esto no significa que todas las acciones individuales deban confirmarse manualmente. Tal exigencia podría impedir en la práctica una automatización útil y agotar la atención humana con autorizaciones irrelevantes.
Por tanto, la posición contraria está justificada: unos límites demasiado estrechos pueden volver inútiles los sistemas. La respuesta es un orden de actuación escalonado. Las acciones de bajo riesgo y reversibles pueden realizarse automáticamente dentro de un marco claro. Las acciones irreversibles, externas o especialmente trascendentes requieren un examen más riguroso.
4. Lo que FlameP hace a partir de ello
En FlameP, un agente no debe limitarse a «estar en el espacio». Su rol debe ser tan visible como sus límites.
En primer lugar, cada agente necesita una identidad inequívoca. Las personas deben poder reconocer si un contenido procede de una persona, un modelo o un sistema que actúa.
En segundo lugar, los permisos se vinculan a un contexto concreto. Que un agente resuma dentro de un espacio no le concede automáticamente el derecho de enviar mensajes en otro.
En tercer lugar, se separan leer, proponer, preparar y ejecutar. Una buena recomendación no debe convertirse inadvertidamente en una acción.
En cuarto lugar, las acciones trascendentes necesitan puntos de confirmación. La confirmación debe mostrar qué va a ocurrir, hasta dónde llega el efecto y si puede revertirse.
En quinto lugar, se conserva una trayectoria de actuación trazable: encargo, contexto utilizado, invocación de la herramienta, resultado y autorización responsable.
5. El límite no es solo técnico
Ni siquiera un control de acceso perfecto resuelve todas las preguntas. Un sistema puede actuar de manera inadecuada dentro de sus permisos porque el objetivo o el contexto se formularon mal. Un registro puede estar completo y, aun así, resultar incomprensible para las personas. Una autorización puede existir formalmente aunque la persona que confirma no haya podido comprender la consecuencia.
Por tanto, FlameP no debe confundir la seguridad con una lista de controles técnicos. Necesita un lenguaje comprensible, configuraciones predeterminadas restrictivas y un diseño que no oculte la incertidumbre.
6. Conclusión: la actuación necesita una pequeña constitución
Los agentes no son peligrosos porque tengan malos modales. Se vuelven arriesgados cuando la capacidad, el permiso y la responsabilidad se confunden.
La regla práctica para FlameP es:
Idea centralNingún agente actúa únicamente en virtud de lo que sabe hacer. Solo actúa dentro de un rol visible, un contexto limitado y una responsabilidad trazable.
El interruptor de apagado permanece. Pero es la última salvaguarda, no la primera idea.
Fuentes
Idea central[1] Andreas Degenhardt. AI Agents als handlungsfähige Systeme. ChocoPolitico/LinkedIn, 2 de julio de 2026.
Idea central[2] Andreas Degenhardt. AI Agents in Organisationen: Warum Unternehmen digitale Akteure nicht wie Werkzeuge behandeln dürfen. ChocoPolitico/LinkedIn, 27 de junio de 2026.
Idea central[3] NIST NCCoE. Software and AI Agent Identity and Authorization. Página del proyecto y del concepto, consultada el 7 de agosto de 2026.
Idea central[4] NIST. Lessons Learned from the Consortium: Tool Use in Agent Systems. 5 de agosto de 2025.