La IA no necesita mejores modales. Necesita una constitución.

1. Temas recurrentes que son importantes, pero suelen plantearse de forma demasiado estrecha

«¿Sustituirá la IA todos los empleos?»

Es un tema recurrente clásico. Vuelve constantemente porque concentra en una pregunta el miedo, la economía y el futuro. En público suele debatirse como una cuestión de todo o nada: desempleo masivo o aumento de la productividad. Desde mi punto de vista, esta polarización es demasiado burda, porque la realidad es más contradictoria y depende en gran medida de cómo reaccionen las personas, las instituciones y los mercados. Y ni siquiera la IA lo sabe.

La pregunta se desvía porque se centra demasiado en los puestos de trabajo y demasiado poco en el juicio, la responsabilidad y la forma de trabajar. La cuestión más profunda no es solo si se sustituye a las personas, sino si se erosiona su papel en las decisiones, la interpretación, la responsabilidad y el juicio profesional. La IA no sustituye sin más a las expertas y los expertos. Cambia las condiciones bajo las cuales el juicio humano puede seguir siendo eficaz.

«¿Es neutral la IA o tiene bias?»

También es un tema recurrente. El bias —en el contexto de la IA significa que un sistema no evalúa, ordena o recomienda de forma neutral, sino que favorece determinados patrones, grupos, perspectivas o resultados, a menudo sin que sea abiertamente visible— se debate mucho, con razón. Pero la contraposición entre «neutral o sesgada» ya es demasiado simple. La IA no es neutral ni está necesariamente sesgada de forma irreparable. Como sistema sociotécnico, está moldeada por los datos, las métricas objetivo, el contexto de uso y las decisiones institucionales.

La pregunta suele desviarse porque finge que el problema es ante todo una propiedad del modelo. En realidad, a menudo es un problema de decisiones de diseño, política de datos, organización, lógica de uso y falta de rendición de cuentas. El bias es importante. Pero la pregunta subyacente es en realidad: ¿quién define el orden dentro del cual juzga este sistema?

«¿Puede explicarse la IA o es una Black Box?»

Esto también es importante y suele polarizarse de forma equivocada. El debate público oscila entre dos extremos: transparencia total o incomprensibilidad total. Sin embargo, la explicabilidad no fracasa solo por la tecnología, sino también por decisiones de diseño y gobernanza.

La pregunta se plantea en términos técnicos, no institucionales. La verdadera cuestión no es solo si un modelo es explicable, sino para quién, en qué contexto, con qué posibilidad de intervención y con qué responsabilidad.

2. Temas recurrentes que distraen del núcleo

«¿Llegará la IA a tener conciencia?»

Probablemente sea uno de los mayores imanes discursivos. Conciencia, sensibilidad, identidad propia, condición de persona: todo esto atrae la atención como a mí el refrigerador por la noche.

La pregunta es filosóficamente legítima. Pero en el discurso público suele plantearse demasiado pronto y desplaza cuestiones más urgentes sobre el poder, las instituciones, la atención, la dependencia y la responsabilidad.

Especulamos sobre una posible vida interior mientras sistemas reales ya influyen hoy en las decisiones, dirigen la atención, moldean la comunicación y alivian o desplazan el juicio humano. La pregunta «¿Tiene conciencia la IA?» puede ser intelectualmente estimulante. Pero a menudo es un problema de lujo mientras ni siquiera hayamos aclarado qué papel puede desempeñar una IA sin conciencia en la verdad, el poder y las decisiones. O, dicho de otro modo: ¿no deberíamos definir primero qué es siquiera la conciencia?

«¿Es la superinteligencia el verdadero problema?»

También es un tema recurrente. Una parte del debate público está dominada periódicamente por riesgos extremos a largo plazo. Estas preguntas no son inventadas, e incluso protagonistas destacados advierten de riesgos futuros enormes.

Sin embargo, esta pregunta también suele desviarse porque aparta la atención de los problemas de poder y gobernanza que ya actúan hoy. Los debates consideran la IA un monstruo existencial lejano o una herramienta neutral y malinterpretan los sistemas existentes que ya producen efectos jurídicos y sociales.

La superinteligencia lejana no es el único problema. Quizá el problema mayor sea que subestimamos la IA actual porque todavía no parece divina.

«¿Es la IA solo una herramienta?»

Suena inocuo, pero también es una de esas suposiciones recurrentes. Esta perspectiva es demasiado limitada: la IA no es solo código o matemáticas, sino un sistema sociotécnico diseñado por seres humanos, integrado en organizaciones, flujos de datos, consecuencias jurídicas y relaciones de poder.

Un martillo no modifica a escondidas la atención, la plausibilidad, las decisiones administrativas ni las rutinas cognitivas. La IA sí lo hace cada vez más.

3. Preguntas que rozan lo correcto, pero se quedan en la superficie

«¿Cómo combatimos la desinformación y los deepfakes?»

Es un tema recurrente muy real y totalmente legítimo. The Global Risks Report 2026 sigue describiendo la información errónea y la desinformación como fenómenos estrechamente vinculados a riesgos tecnológicos y sociales; los medios sintéticos asistidos por IA pueden agravar esta situación. [2]

Por qué la pregunta suele quedarse corta: se centra en los contenidos y demasiado poco en la atención, la persuasión y la infraestructura. El problema no son solo los contenidos falsos, sino sistemas que utilizan perfiles psicológicos, detonantes emocionales y lógicas de engagement para dirigir el comportamiento.

La pregunta más profunda no sería solo «¿Qué es falso?», sino: ¿quién obtiene poder sobre lo que llega a verse, sentirse y compartirse?

«¿Cómo regulamos correctamente la IA?»

También es un tema recurrente central. Pero «¿más regulación o menos regulación?» es demasiado simplista. Las desviaciones suelen surgir de supuestos básicos equivocados y no solo de la falta de disposiciones legales.

La pregunta se plantea de forma demasiado jurídica y demasiado poco civilizatoria. La regulación es importante. Pero si solo contempla clases de riesgo, pruebas de seguridad y documentación, falta la pregunta más profunda: ¿qué debe protegerse en el juicio, la ecología de la verdad y el contrapoder institucional?

4. Qué preguntas habría que plantear realmente

Aquí se encuentra, desde mi punto de vista, el verdadero punto ciego. El debate actual ya desplaza el foco en esta dirección, especialmente allí donde la IA deja de describirse solo como software y se presenta como infraestructura cognitiva. [1]

• Pregunta uno: no «¿Es la IA lo bastante inteligente?», sino: ¿qué papel puede asumir siquiera la IA en la verdad y las decisiones?

• Pregunta dos: no «¿Tiene bias la IA?», sino: ¿quién construye el orden dentro del cual juzga, prioriza y clasifica?

• Pregunta tres: no «¿Es la IA solo una herramienta o una amenaza?», sino: ¿cómo cambia la IA las condiciones bajo las cuales las personas perciben, comprueban y actúan?

• Pregunta cuatro: no «¿Cómo impedimos las falsificaciones?», sino: ¿cómo protegemos la ecología social de la verdad: el testimonio, la disputa, la corrección, la confianza en las fuentes y el tiempo para comprobar?

• Pregunta cinco: no «¿Nos sustituirá la IA?», sino: ¿qué formas de juicio, responsabilidad y relación no deben convertirse en una automatización sin fricciones?

• Pregunta seis: no «¿Puede explicarse la IA?», sino: ¿para quién debe ser explicable y con qué derechos de oposición, corrección e intervención?

• Pregunta siete: no «¿Cómo hacemos más útil la IA?», sino: ¿cómo impedimos que la utilidad se convierta en dependencia invisible?

• Pregunta ocho: no «¿Cómo protegemos a las personas de la IA?», sino: ¿cómo protegemos a las personas también de desaprender su propio juicio, su capacidad de afrontar fricciones y su autonomía cognitiva?

Precisamente este último desplazamiento ya aparece públicamente: la IA se describe como «default layer of human cognition». Esto sitúa en el centro la cuestión del juicio humano y la resiliencia cognitiva. [1]

5. Mi síntesis

Los temas recurrentes del debate público son los empleos, el bias, la Black Box, los deepfakes, la conciencia, la superinteligencia y la regulación.

La mayoría no son equivocados. Pero muchos tienen un alcance demasiado estrecho, se plantean demasiado tarde o están mal enmarcados. Se fijan en un futuro espectacular o en propiedades técnicas aisladas. Lo que a menudo queda insuficientemente iluminado es la IA como infraestructura sociotécnica de poder y verdad que ya moldea hoy el comportamiento, la atención, la plausibilidad y el juicio.

La formulación más incisiva sería:

Idea rectoraEl discurso público sobre la IA pregunta con demasiada frecuencia qué es la IA y muy pocas veces qué orden crea.

O, de forma aún más incisiva:

Idea rectoraMuchos temas recurrentes giran en torno a la conciencia, los empleos o las falsificaciones. Pero el verdadero núcleo podría estar en otro lugar: en la atención, la dependencia, el juicio y la pregunta de quién construye la nueva infraestructura de lo real.

Porque la verdadera pregunta ya no es si la IA resulta impresionante. Lo es. Tampoco es si conlleva riesgos. Los conlleva. Y hablamos de ello como si nuestra vida dependiera de ello. Podría ser, pero no es seguro. O si un chatbot ha tenido hoy un mal día.

¿Y cuál es entonces la verdadera pregunta? Para mí, esta:

Idea rectoraLa gobernanza de la IA no es solo ética. Es la voluntad organizada de supervivencia de una especie que, por primera vez, crea por sí misma una posible inteligencia sucesora.

No limitamos la inteligencia de las máquinas porque podamos demostrar que el ser humano es la inteligencia superior, sino porque queremos vivir y todavía tenemos el poder de defender nuestra vida.

Aquí la cosa se pone fea. Porque ya no hablamos de herramientas. Ni de simpáticos asistentes de productividad con una interfaz amable. A partir de aquí hablamos de orden. De límites. De competencias. De contrapoder. Es decir, de cosas que en el mundo tecnológico gozan aproximadamente de la misma popularidad que una auditoría fiscal.

Y precisamente por eso hay que ir allí.

Si la IA solo escribiera textos o pintara imágenes, sería más sencillo. Pero la IA interviene a mayor profundidad. Cambia cómo formulamos. Cómo comprobamos. Cómo distribuimos la atención. Cómo preparamos decisiones. Cómo nos percibimos. Cómo soportamos la duda. Cómo experimentamos a un interlocutor. Y, si tenemos mala suerte, algún día incluso si todavía podemos pensar sin ella.

Así que esto no es en absoluto un debate puramente tecnológico.

Si un sistema interviene en la verdad, el poder, la comunicación y la formación del yo, no basta con pegar después algunos Guardrails —y qué consumidor corriente sabe siquiera qué son los Guardrails— y afirmar que la responsabilidad se toma muy, muy, muy en serio.

Bien, basta de quejarme. Desde mi punto de vista, necesitamos algo más fundamental. Más que Safety, Governance o mejores modelos. Eso también, pero no solo eso.

Y ahora, una palabra enorme: necesitamos una constitución para la IA.

No necesariamente mañana como paquete legislativo mundial, pero sí como respuesta clara a una pregunta sencilla: ¿qué puede hacer la IA, qué no puede hacer, dónde debe limitarse y qué debe protegerse de ella, precisamente porque es tan útil?

Lo peligroso de la IA no es solo lo malo. Es lo útil. Lo práctico. Lo fluido. Eso que hace pensar: ah, maravilloso, por fin esto va más rápido. Y solo más tarde se advierte que con la velocidad también desaparece algo. Algo que no resulta tan fácil recuperar.

El juicio, por ejemplo. La fricción. El tiempo. La responsabilidad. Interlocutores reales. La capacidad de permanecer con un pensamiento inacabado.

Precisamente por eso llego a estos 19 puntos. No porque me encanten las reglas. Sino porque creo que estamos dejando entrar de forma muy amable algo enorme.

6. Por qué es necesario hablar aquí de una constitución

Se necesita una constitución allí donde el poder no aparece solo de forma puntual, sino que se vuelve estructural. Donde algo no se limita a ser utilizado, sino que contribuye a moldear las condiciones bajo las cuales sucede lo demás.

No se necesita una constitución para un martillo. Tampoco para una bicicleta. Ni siquiera para muchas herramientas digitales.

Se necesita allí donde un sistema empieza a convertirse en el entorno silencioso de la acción.

Eso es exactamente lo que hace la IA.

Ya no es solo una herramienta. Se convierte en una instancia intermediaria.

Entre la pregunta y la respuesta. Entre la información y el juicio. Entre la experiencia y la formulación. Entre la persona y la atención. A veces, ya entre la persona y sí misma.

Y no es poca cosa.

Porque, a partir de ahí, la IA no solo cambia lo que hacemos. También cambia lentamente cómo llegamos a un pensamiento, un juicio, una decisión, quizá incluso a nosotros mismos.

A más tardar entonces ya no basta con hablar de eficiencia. A más tardar entonces se trata de límites.

7. Cinco enfoques públicos, brevemente clasificados

La UE está construyendo hasta ahora el orden jurídico más sólido para la IA. Pero una constitución plena de la IA en el sentido que propongo tendría que profundizar aún más: alejarse de la mera gestión de riesgos y avanzar hacia la verdad, el poder, la atención, la formación del yo y la protección del juicio humano.

EU AI Act

El EU AI Act es hasta ahora el orden jurídico más sólido para la IA. Entró en vigor el 1 de agosto de 2024. Las prácticas prohibidas y las normas sobre alfabetización en IA se aplican desde el 2 de febrero de 2025, y las normas de gobernanza y las obligaciones para los modelos de General-Purpose AI desde el 2 de agosto de 2025. Desde el 2 de agosto de 2026, el Act es aplicable con carácter general. Tras el Digital Omnibus, las normas de alto riesgo para determinados ámbitos sensibles de uso se aplican desde el 2 de diciembre de 2027 y, para la IA en productos regulados, desde el 2 de agosto de 2028. La UE ordena la IA en función del riesgo, prohíbe determinadas prácticas y establece gobernanza y aplicación mediante AI Office, AI Board, Scientific Panel, Advisory Forum y autoridades nacionales. [3]

Consejo de Europa: Framework Convention

La Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law del Consejo de Europa es el primer tratado internacional jurídicamente vinculante en este ámbito. Se abrió a la firma el 5 de septiembre de 2024 y pretende mantener la IA, durante todo su ciclo de vida, en consonancia con los derechos humanos, la democracia y el Estado de derecho. [4]

OECD AI Principles

Los OECD AI Principles son el primer estándar intergubernamental en este ámbito. Se adoptaron en 2019 y se actualizaron en 2024 para incluir con más fuerza, entre otras cosas, la IA generativa y de General-Purpose, la seguridad, la Information Integrity, la privacidad y la propiedad intelectual. Ejercen una amplia influencia, pero no son jurídicamente vinculantes en sentido estricto. [5]

UNESCO Recommendation

La UNESCO Recommendation on the Ethics of Artificial Intelligence se adoptó en 2021 y constituye el marco normativo mundial para los Estados miembros de UNESCO. Se basa en los derechos humanos, destaca la dignidad, la transparencia, la equidad y la supervisión humana y abarca ámbitos de acción como Data Governance, educación, salud, medioambiente y bienestar social. [6]

U.S. Blueprint for an AI Bill of Rights

El Blueprint for an AI Bill of Rights surgido en el entorno de la Casa Blanca es un marco de derechos y principios rectores, no una ley vinculante. Se creó en 2022 a través del Office of Science and Technology Policy y agrupa cinco áreas de protección: sistemas seguros y eficaces, protección frente a la discriminación algorítmica, protección de datos, información y explicación, así como alternativas humanas, consideración y mecanismos de respaldo. [7]

NIST AI Risk Management Framework

El NIST AI RMF es un marco práctico para gestionar los riesgos de la IA. Se publicó en 2023, es voluntario y organiza la gestión de riesgos mediante las funciones Govern, Map, Measure y Manage. Es importante, pero constituye más bien gobernanza que una constitución. [8]

8. Los 19 puntos comparados con los enfoques públicos

Ordeno los puntos en cinco bloques: limitación técnica, verdad y conocimiento, institución y poder, ser humano y cultura, y presión del mercado y aplicación.

En la limitación de funciones, la UE y otros marcos trabajan con clases de riesgo, prácticas prohibidas y uso responsable. Esto ofrece puntos de conexión, pero no constituye una arquitectura explícita de funciones.

La limitación de actos finales autónomos ya está sólidamente planteada en el ámbito público mediante la supervisión humana, las prohibiciones y las alternativas humanas. La cuestión decisiva sigue siendo si la supervisión formal se convierte en un poder real de decisión.

El control mediante el diseño está previsto en el AI Act y, en especial, en el marco del NIST. Sin embargo, a menudo aparece como una práctica de gobernanza y no como un límite inamovible.

La auditabilidad es uno de los puntos mejor cubiertos. La documentación, la gestión de riesgos, el Reporting y las autoridades competentes crean una base sólida para ella.

La protección frente a la retroalimentación es más débil. Se abordan el bias, la manipulación y los riesgos sociales; la autoamplificación recursiva como mecanismo estructural propio sigue estando insuficientemente desarrollada.

La verdad mediante comprobaciones múltiples apenas está regulada expresamente. La transparencia y la Information Integrity ayudan, pero no sustituyen la regla epistémica de no deducir nunca la verdad de una sola respuesta.

La claridad y comprensibilidad de la comunicación son ampliamente compatibles. Las obligaciones de transparencia, el etiquetado, Notice and Explanation y Explainability avanzan en esta dirección. En la práctica, queda la pregunta: ¿comprensible para quién y con qué derecho de intervención?

La pluralidad epistémica solo está presente de manera indirecta. Aparecen la diversidad y los valores democráticos; apenas se formula expresamente una protección frente a la centralización del orden del conocimiento en unos pocos modelos.

En la protección de la ecología de la verdad, la UE, el Consejo de Europa, OECD y UNESCO rozan algunos componentes. Sin embargo, ningún marco desarrolla de forma coherente la verdad como ecología social del tiempo, la disputa, el testimonio y la corrección.

La responsabilidad humana final está claramente consagrada a nivel normativo. Pero carece de valor si la persona solo realiza el último clic.

El control del poder está presente mediante los derechos fundamentales, la supervisión y el Estado de derecho. Mi modelo nombra el concepto de poder con mayor franqueza: la visibilidad, el Ranking, el Framing y la normalización son también formas de poder.

La pluralidad en vez del monopolio apenas constituye un elemento central de los marcos públicos de IA. El AI Act no es derecho de la competencia. La democracia y la inclusividad solo ayudan indirectamente.

La soberanía de infraestructura está presente en la política, pero no constituye un artículo central elaborado dentro de los enfoques constitucionales mencionados.

La protección del juicio, la presencia y la dignidad humanas encuentra su mayor correspondencia en UNESCO. La recomendación reconoce expresamente que la IA influye en el pensamiento, la interacción y las decisiones humanas. Aun así, el juicio como bien de protección propio sigue siendo demasiado débil. [6]

Un sistema de umbrales y escalamiento está muy desarrollado en el AI Act basado en riesgos y puede integrarse operativamente en el marco del NIST.

La autoevaluación pública periódica solo está institucionalizada en parte. Las obligaciones de documentación y notificación son algo distinto de una rendición de cuentas pública sólida sobre capacidades, límites e incertidumbres abiertas.

Los expedientes de seguridad relativos a cada modelo, Release y Update pueden vincularse a las obligaciones para General-Purpose AI y las prácticas del NIST. Faltan como estándar integral.

Las reglas especiales para la manipulación están claramente planteadas en el AI Act. En cambio, la pérdida de control en condiciones adversariales se aborda mediante la gestión general de riesgos, más que como una categoría estricta propia. [3]

9. El diagnóstico breve

Los que mejor encajan con mi modelo son:

1. el EU AI Act, porque combina prohibiciones reales, normas de alto riesgo, obligaciones para General-Purpose AI, gobernanza y aplicación; 2. el Convenio del Consejo de Europa, porque establece los derechos humanos, la democracia y el Estado de derecho como criterio superior.

Sólidos en el plano normativo, pero menos aplicables, son:

3. la Recomendación de UNESCO, porque plantea ampliamente la dignidad, la supervisión humana, las consecuencias sociales y la influencia sobre el pensamiento humano; 4. los Principios de OECD, porque los valores democráticos, los derechos humanos, la Information Integrity y la IA digna de confianza son sólidos, pero funcionan como principios rectores de política pública.

Importantes, pero sin ser enfoques constitucionales con dientes, son:

5. el AI Bill of Rights como catálogo de derechos sin aplicación estricta; 6. el NIST AI RMF como excelente instrumento voluntario de gobernanza y riesgo, no concebido principalmente para limitar el poder.

10. Dónde va más lejos mi modelo

Dicho de la forma más incisiva, mi modelo aporta al discurso cinco cosas que hasta ahora tienen una presencia demasiado débil en el ámbito público.

En primer lugar: ecología de la verdad en vez de mero control de la verdad. Es decir, no solo Fact-Checking, sino protección de las condiciones de la verdad.

En segundo lugar: pluralidad epistémica como bien de protección explícito frente a los monopolios de la verdad de unos pocos modelos.

En tercer lugar: el juicio como bien de protección propio. Los marcos públicos protegen los derechos, la dignidad y la seguridad, pero rara vez la capacidad humana de comprobar y juzgar por sí misma.

En cuarto lugar: la dependencia invisible como fallo sistémico. Los marcos públicos hablan mucho del riesgo, pero poco de que la IA pueda convertirse en una condición silenciosa de la percepción y la acción.

En quinto lugar: la IA como infraestructura de la formación del yo. UNESCO es quien más se aproxima, pero mi modelo profundiza más en la identidad, la autodescripción, el reflejo y la relación.

Mi fórmula final clara es:

Idea rectoraLa UE y el Consejo de Europa son quienes más se acercan a mi pensamiento constitucional sobre la IA porque se toman en serio los derechos, las prohibiciones, la gobernanza y la aplicación. OECD, UNESCO y el AI Bill of Rights aportan elementos normativos importantes, pero menos límites estrictos. Mi modelo va más lejos allí donde el debate público sigue siendo demasiado técnico o jurídico: en la ecología de la verdad, la pluralidad epistémica, el juicio, la dependencia invisible y la formación del yo.

11. Los 19 principios fundamentales

Los ordeno en cinco bloques. No porque me gusten las tablas, sino porque, de lo contrario, en algún momento se mezcla todo y al final solo queda «debemos tener cuidado»: la frase favorita de todas las personas que quieren tener razón de algún modo sin comprometerse con nada.

Así pues: limitación técnica. Verdad y conocimiento. Institución y poder. Ser humano y cultura. Presión del mercado y aplicación.

11.1 Limitación de funciones

La primera frase es sencilla:

Idea rectoraLa IA no debe volverse competente para todo.

No es un pequeño detalle administrativo. Es limitación del poder.

Muchos riesgos no surgen porque la IA asuma una cosa, sino porque se pretende que asuma demasiadas a la vez: investigación, evaluación, priorización, explicación, preparación de decisiones, comunicación y control; todo, a ser posible, de una sola mano. O, mejor dicho, de una nube.

Ahí es exactamente donde un sistema pasa de ser una herramienta a ejercer una soberanía silenciosa.

Una IA puede ser asistencia. Una máquina de propuestas. Un filtro. Una ayuda para formular. Una ayuda para analizar. Lo que no debería ser es una instancia universal que interviene en todo y respecto de la cual, al final, nadie advierte cuánto del orden ya ha pasado a sus manos.

Por ello, limitar las funciones significa que un sistema no puede asumir socialmente todo aquello que técnicamente podría hacer.

11.2 Limitación de los actos finales autónomos

Aquí la cosa se pone más seria:

Idea rectoraEn ámbitos sensibles, la IA no debe ejecutar el acto final.

Puede preparar, ordenar, analizar, advertir y ayudar. Naturalmente. Sería ridículo reducirla al papel de una calculadora glorificada.

Pero allí donde las decisiones tienen consecuencias jurídicas, físicas, normativas o existenciales, no debe ser la última instancia efectiva. Precisamente ahí está la diferencia entre asistencia y dominación.

Muchos sistemas futuros no decidirán abiertamente. Solo harán recomendaciones muy buenas. Tan buenas, tan rápidas y tan integradas sistémicamente que, al final, una persona seguirá dando formalmente su aprobación, pero en la práctica apenas quedará nada abierto.

Eso no es responsabilidad humana final. Es liturgia.

Por eso rige lo siguiente: en ámbitos con consecuencias humanas reales, la IA no debe tener la última palabra.

11.3 Control mediante el diseño

El tercer punto parece evidente y, aun así, se incumple constantemente:

Idea rectoraEl control debe estar incorporado.

No como folleto. No como idea posterior. No como PowerPoint que se muestra a los inversores cuando algún día empiezan a plantear preguntas.

Control incorporado significa:

• poder detener

• poder revertir

• definir límites

• poder escalar

• apagar en caso necesario

• diseñar correctamente las transferencias

• establecer firmemente zonas prohibidas

Un sistema que solo se pretende supervisar cuando ya está funcionando es como un automóvil en el que, después del primer recorrido de prueba, se pregunta si quizá podría instalarse un freno en alguna parte.

No se trata de perfección. Se trata de que el límite forme parte del diseño y no sea su vergonzoso añadido posterior.

11.4 Auditabilidad

Ahora la cosa se vuelve incómoda para quienes gustan de confundir innovación con opacidad.

Idea rectoraTodo impacto pertinente de la IA debe ser trazable.

No hasta el menor detalle metafísico. Pero sí de forma práctica. ¿Qué versión estaba en uso? ¿Qué Inputs fueron decisivos? ¿Qué límites se conocían? ¿Quién dio la autorización? ¿Quién intervino y dónde? ¿Qué cambios hubo?

La auditabilidad es aburrida mientras no sucede nada. Y, de repente, es lo único que separa la responsabilidad de un encogimiento colectivo de hombros cuando algo sale mal.

Precisamente por eso se la presenta gustosamente como demasiado pesada. Y precisamente por eso es indispensable.

11.5 Protección frente a la retroalimentación

Uno de mis puntos favoritos, porque se subestima con mucha frecuencia:

Idea rectoraLa IA debe protegerse frente a la autoamplificación.

Muchos daños no surgen de un error individual dramático. Surgen de bucles.

Un sistema hace visible algo. Lo visible genera datos. Los datos entrenan nuevos modelos. Los modelos confirman lo visible.

Así surgen normalidades que nunca fueron decididas. No por orden. No por ideología. Sino por repetición.

Por ello, la IA necesita protección frente a:

• bucles de bias

• bucles de Ranking

• bucles de atención

• bucles de personalización

• normalización recursiva

De lo contrario, el sistema no solo produce respuestas. Produce silenciosamente el mundo en el que sus respuestas vuelven a parecer plausibles.

11.6 Verdad mediante comprobaciones múltiples

El siguiente punto es casi trivial y, aun así, se incumple constantemente:

Idea rectoraNinguna respuesta individual de una IA debe considerarse un sustituto de la verdad.

La IA es fuerte en plausibilidad. Y la plausibilidad es engañosa. Sobre todo cuando se presenta con fluidez lingüística, rapidez y seguridad.

Por ello, aquí la verdad necesita una comprobación en sentido contrario:

• varias fuentes

• modelos alternativos

• procedimientos institucionales

• conocimientos humanos especializados

• contexto

Una respuesta puede ser útil. Pero nunca debe convertirse en todo el proceso epistémico.

La verdad no es la forma fluida. La verdad es el camino verificable por el que algo se sostiene.

11.7 Claridad comunicativa

La IA debe dejar claro qué está haciendo.

Casi suena demasiado ordenado. Pero, en realidad, se trata de algo muy concreto: la función.

¿Está presentando ahora el sistema algo como un hecho? ¿Como una conjetura? ¿Como una reconstrucción? ¿Como una propuesta estilística? ¿Como preparación de una decisión? ¿Como una voz amable que solo parece saber más de lo que realmente sabe?

Mucha manipulación no comienza con una mentira abierta, sino con una función difusa. Por ello, la claridad comunicativa no es un adorno, sino una protección frente a la autoridad difusa.

11.8 Comprensibilidad para las personas

Aquí hay que tener cuidado de no caer en el absurdo.

Nadie necesita una transparencia total hasta el último parámetro. Sería más un fetiche que una solución.

Pero el otro extremo es igual de erróneo.

Idea rectoraEn contextos con consecuencias importantes no debe existir una Black Box irresponsable.

No todos los pasos de cálculo deben ser intuitivos. Pero sí deben serlo la finalidad, los límites, los patrones de error, las zonas de influencia y las posibilidades de objeción.

De lo contrario no se obtiene confianza, sino intimidación técnica con una interfaz agradable.

11.9 Pluralidad epistémica

Ahora la cuestión se vuelve política.

Idea rectoraUna sociedad no debe externalizar su orden del conocimiento a un solo modelo, un solo proveedor o un solo estilo de pensamiento.

Cuando unos pocos sistemas explican qué es pertinente, plausible, razonable o probable, la verdad se desplaza estructuralmente. No necesariamente mediante censura, sino mediante una ordenación previa.

Aquí, pluralidad significa:

• varios modelos

• varias vías de comprobación

• varias entidades institucionales

• estándares abiertos

• ningún poder epistémico central

No porque todas las perspectivas sean igual de buenas. Sino porque la capacidad de corrección solo vive donde no todo tiene que pasar por la misma máquina.

11.10 Protección de la ecología de la verdad

Esto va más allá de verdadero o falso.

También deben protegerse las condiciones bajo las cuales puede siquiera surgir la verdad.

La verdad no vive solo en afirmaciones. Vive en espacios y prácticas.

En redacciones. En la ciencia. En tribunales. En el testimonio. En la corrección. En el tiempo. En la oposición.

Si la IA condensa, hace plausible, resume y suaviza previamente en todas partes, puede vaciar lentamente esta ecología de la verdad incluso sin mentir abiertamente.

Entonces no se pierde primero la respuesta correcta. Se pierde la capacidad social de producir conjuntamente la verdad.

11.11 Responsabilidad humana final

Se dice rápidamente y a menudo se aplica con hipocresía.

Idea rectoraCuando la cosa se pone seria, la persona sigue siendo la última instancia responsable.

La palabra importante es responsable. No la persona como último clic. No la persona como coartada. No la persona como casilla decorativa en el diagrama del proceso.

Sino alguien que comprende, tiene tiempo, puede oponerse y además tiene permitido hacerlo.

De lo contrario, «Human in the Loop» es solo una capitulación iluminada de forma amable.

11.12 Control del poder

El poder de la IA debe limitarse, distribuirse y hacerse verificable.

Aquí, el poder rara vez se manifiesta como coacción abierta. Se manifiesta mediante:

• visibilidad

• selección

• Ranking

• Framing

• atención

• normalización

Por ello, la seguridad técnica no basta. Se necesita contrapoder institucional:

• evaluación externa

• vías de reclamación

• investigación

• objeción

• sanciones en caso necesario

Quienes construyen sistemas no deben definir también por sí solos qué significa su impacto social.

11.13 Pluralidad en vez de monopolio

Aquí las grandes empresas empiezan a toser por dentro.

Idea rectoraNinguna infraestructura individual de IA debe volverse socialmente inevitable.

La falta de alternativas resulta bonita desde el punto de vista empresarial. Desde el punto de vista de la libertad, más bien desagradable.

Porque aquí los monopolios no son solo problemas de mercado. Son problemas de conocimiento, dependencia y capacidad de corrección.

Por eso, la pluralidad no es romanticismo. Es una condición de supervivencia de los órdenes abiertos.

11.14 Soberanía de infraestructura

Las sociedades deben conservar su capacidad de acción aunque fallen o dejen de estar disponibles proveedores centrales.

No es un problema de nicho. Es geopolítica, educación, esfera pública y economía al mismo tiempo.

Cuando los modelos, las Clouds, los chips, las APIs y los estándares están en pocas manos, la libertad formal se vuelve rápidamente teórica.

Por ello, la soberanía necesita:

• interoperabilidad

• posibilidades de salida

• redundancia

• estándares abiertos

• alternativas públicas u orientadas al bien común

De lo contrario, algún día hablaremos de libertad mientras necesitamos en todas partes la misma llave, que no nos pertenece.

11.15 Protección del juicio, la presencia y la dignidad humanas

Este es el punto en el que muchas personas abandonan porque ya no suena a gestión tecnológica.

Idea rectoraLa IA no debe provocar que el juicio, las relaciones, la responsabilidad y el sentido se externalicen de manera permanente.

Quizá el mayor peligro no sea el gran fracaso. Sino la lenta erosión.

Que las personas desaprendan a

• permanecer con un pensamiento inacabado

• tolerar la ambigüedad

• formular por sí mismas

• no verse reflejadas de inmediato

• soportar interlocutores reales

• no delegar la responsabilidad

Si una sociedad pierde esto, quizá no haya perdido su inteligencia. Pero sí algo más valioso: la capacidad de no considerar inmediatamente inocuo todo lo que resulta útil.

11.16 Sistema de umbrales y escalamiento

Las obligaciones deben aplicarse de forma escalonada.

No toda IA necesita el mismo rigor. Pero toda IA debe clasificarse según:

• alcance del impacto

• potencial de daño

• grado de autonomía

• capacidad de manipulación

• importancia sistémica

Cuanto mayor sea el impacto, más estrictos deberán ser la auditoría, los informes, la autorización y los derechos de intervención.

De lo contrario, todo sigue siendo tan agradablemente abstracto que cualquiera puede volver a afirmar que se lo toma muy en serio.

11.17 Autoevaluación pública periódica

La IA de alto impacto necesita regímenes de información establecidos.

No un documento ocasional sobre seguridad con un bonito aspecto de PDF. Sino una autoevaluación periódica y estructurada:

• capacidades

• riesgos

• incidentes

• límites

• cambios

• incertidumbres abiertas

La autoevaluación no sustituye el contrapoder. Pero sin ella suele faltar incluso el material sobre el que el contrapoder podría actuar.

11.18 Expedientes de seguridad relativos al modelo para cada Release y Update

Cada Release pertinente necesita un expediente.

No la gran visión. La versión concreta.

¿Qué hay de nuevo? ¿Qué es más arriesgado? ¿Qué se comprobó? ¿Qué sigue siendo incierto? ¿Dónde no debe utilizarse?

Sin estos expedientes, la seguridad se convierte rápidamente en una bonita cualidad de carácter y nunca en una obligación operativa.

11.19 Reglas especiales para la manipulación y la pérdida de control

El último punto quizá sea el más incómodo:

Idea rectoraLa capacidad de manipulación y la pérdida de control necesitan reglas propias.

Porque ahí se encuentra la verdadera escalada.

No solo en contenidos falsos. Sino en sistemas que:

• dirigen las emociones con precisión

• simulan vínculos

• explotan debilidades

• controlan el comportamiento

• dejan de poder limitarse correctamente bajo ataque

Si esto no se trata por separado, al final «seguridad» será solo una forma cortés de negación.

12. Por qué las grandes empresas tendrían problemas precisamente con esto

Naturalmente, las grandes empresas no lo dirían así. Nadie se sienta y declara: «Preferimos la concentración, la dependencia invisible y la opacidad». Allí se prefiere hablar de innovación, competencia mundial, escalamiento, responsabilidad con mesura y condiciones marco pragmáticas. Todo suena muy civilizado.

Pero el conflicto no está en el lenguaje. Está en los intereses.

Porque este modelo ataca precisamente los puntos de los que surge hoy el poder.

Frena la concentración

Las grandes empresas crecen mediante:

• efectos de red

• establecimiento de estándares

• infraestructura propietaria

• dependencia de APIs

• Lock-in

• modelos base dominantes

Los puntos «pluralidad en vez de monopolio» y «soberanía de infraestructura» atacan precisamente eso.

Lo que para una sociedad es protección de la libertad, desde el punto de vista empresarial es un ataque a las economías de escala. Naturalmente, se calificará de ajeno al mercado.

Ralentiza las fantasías más rentables

El siguiente espacio de crecimiento se llama Agentik, automatización completa, menos pasos humanos intermedios.

Pero mi modelo afirma que precisamente ahí se necesitan límites, fricción y responsabilidad humana final.

En lenguaje claro: donde el mercado quisiera pisar el acelerador a fondo, yo exijo frenar.

Naturalmente, esto se venderá como hostil a la innovación. En realidad, a menudo solo es hostil al poder.

Elimina la comodidad epistémica

Las grandes empresas no solo venden sistemas. Venden cada vez más accesos al mundo. Respuestas predeterminadas. Resúmenes. Primeros accesos. Plausibilidad por defecto.

Cuando exigimos comprobaciones múltiples, pluralidad epistémica y ecología de la verdad, en el fondo estamos diciendo: no pueden convertirse en el único centro de interpretación alrededor del cual gire todo.

Esto no afecta solo a los productos. Afecta a las ambiciones silenciosas del sector.

Interpreta la retención de usuarios como un riesgo

Desde el punto de vista empresarial es fantástico que los usuarios vuelvan a diario, mantengan el sistema abierto constantemente, organicen cada vez más cosas mediante él y, en algún momento, apenas quieran trabajar, pensar o decidir sin él.

Mi lógica interpreta precisamente eso como una dependencia potencial.

Por tanto, lo que en la sala del consejo parece un éxito, desde una lógica constitucional ya aparece como un problema.

No es un desacuerdo menor. Es un cambio completo de perspectiva.

Encarece la hermosa opacidad

Auditabilidad, regímenes de información, expedientes, límites claros, explicabilidad, posibilidades de intervención y evaluación externa: todo esto cuesta. No solo dinero. También velocidad. Glamour. Libertad frente a la responsabilidad jurídica.

A las empresas les gustan las reglas mientras generen confianza sin dañar realmente el motor de expansión.

Pero mi modelo no solo pretende generar confianza. Pretende limitar el poder.

Y limitar el poder casi nunca es barato.

No trata la lógica del mercado como algo neutral

Probablemente sea la razón más profunda.

Muchas empresas argumentan como si el mercado fuera a producir de algún modo el mejor orden si se le añade un poco de gobernanza.

Mi modelo afirma algo distinto:

Aquí, la lógica del mercado suele premiar precisamente lo problemático:

• aceleración

• centralización

• retención de la atención

• dependencia

• opacidad

• comodidad epistémica

• automatización sin rendición de cuentas

Quien lo dice no solo critica productos concretos. Critica el sistema operativo del sector.

Naturalmente, esto no se ajusta al mercado. ¿Por qué habría de hacerlo?

Ahí reside precisamente su fortaleza

Si las grandes empresas consideran inmediatamente maravilloso un reglamento de IA, no es automáticamente una buena señal.

Quizá solo signifique que ese reglamento no afecta realmente a su lógica central de poder.

Mi modelo sí la afecta.

Incomoda la concentración. Incomoda una automatización demasiado fluida. Incomoda la centralización epistémica. Incomoda la Retention entendida como dependencia. Incomoda la idea de que se pueden asumir cada vez más funciones mientras la interfaz siga siendo amable.

Naturalmente, es incómodo. Pero quizá esa sea precisamente la función de una constitución.

No acompañar el crecimiento con la mayor elegancia posible. Sino trazar límites allí donde el crecimiento empieza a transformar la verdad, el juicio, la responsabilidad y la libertad.

13. Conclusión

Esto no trata del miedo a la tecnología. Ni de la añoranza de un mundo sin máquinas. Tampoco del reconfortante sentimiento de estar en el lado correcto de la historia mientras otros construyen las cosas desagradables.

Se trata de algo más sobrio.

La IA se quedará. La única pregunta es dentro de qué orden.

¿En un orden en el que penetre cada vez más profundamente en la verdad, la comunicación, la atención, las decisiones y la formación del yo hasta que ni siquiera advirtamos en qué medida se ha convertido en el entorno silencioso de nuestro pensamiento?

¿O en un orden que diga: esta es tu función. Este es tu límite. Aquí está el contrapoder. Aquí termina la eficiencia. Aquí empieza la responsabilidad. Y aquí hay algo humano que no se sacrifica al mercado solo porque sea más lento, más desordenado y menos escalable?

Los 19 puntos de esta constitución de la IA son un intento de hacer concebible este segundo orden.

No es perfecto. No está terminado. Pero es lo bastante claro para hacer visible el verdadero conflicto:

Idea rectoraLas grandes empresas no tienen problemas con una constitución de la IA porque sea irracional. Tienen problemas con ella porque impone límites precisamente donde hoy surge el poder.

Y quizá sea precisamente el momento en el que uno advierte que ya no habla solo de productos.

Sino de cuánto de lo humano debe permanecer bajo las condiciones de las máquinas inteligentes si nadie presta atención expresamente.