¿Quién controla el contexto?

1. La información nunca ha sido neutral

No deberíamos convencernos de que antes de la IA existía un mundo inocente de la información.

Un periódico decide qué noticia aparece en la portada. Un profesor decide qué textos leen sus alumnos. Google ordena los resultados de búsqueda. Una cadena de televisión decide a quién concede tres minutos de emisión. Los padres explican el mundo a sus hijos desde su perspectiva. Las revistas científicas deciden qué trabajos publican.

Los seres humanos siempre han vivido en realidades curadas.

Lo nuevo no es que se seleccione la información.

Lo nuevo son la velocidad, la individualización y la invisibilidad de esa selección.

Un periódico imprime la misma portada para cientos de miles de personas.

En teoría, una IA puede crear una portada diferente para cada persona.

Y nadie, salvo el propio sistema, tiene por qué saber cuán diferentes son esas portadas.

Esto cambia considerablemente la cuestión del poder.

2. Tomemos una pregunta sencilla

Una persona pregunta:

«¿Debería renunciar a mi trabajo?»

La pregunta consta de seis palabras.

Pero la posible respuesta depende de qué más sepa el sistema.

Quizá sabe que el usuario lleva meses insatisfecho.

Quizá conoce su situación financiera.

Quizá recuerda que hace dos semanas contó que había tenido un conflicto con su jefa.

Quizá sabe que tiene tres hijos.

Quizá ha deducido de conversaciones anteriores que para él la seguridad es especialmente importante.

Quizá conoce ofertas de empleo.

Quizá sabe que su sector está recortando puestos de trabajo.

Quizá solo conoce una parte de todo ello.

Y posiblemente recuerda algo de manera incorrecta.

La pregunta visible sigue siendo idéntica.

El contexto cambia la respuesta.

Precisamente por eso la memoria se está convirtiendo en un componente central de los sistemas modernos de IA. Una revisión reciente de arquitecturas de memoria para agentes de IA no describe la memoria simplemente como un depósito de conversaciones anteriores, sino como un proceso técnico para almacenar, organizar y recuperar selectivamente información. La palabra «selectivamente» es precisamente la decisiva. Un sistema nunca puede considerarlo todo al mismo tiempo. Debe seleccionar. [2]

Y seleccionar significa ponderar.

3. La verdadera respuesta comienza antes de la respuesta

Cuando hoy hablamos con un sistema de IA potente, varios niveles pueden determinar lo que finalmente aparece en la pantalla.

En primer lugar está el modelo entrenado, con sus relaciones aprendidas estadísticamente.

Por encima pueden estar las reglas del proveedor.

A ello se suman las instrucciones de la aplicación en la que se utiliza el modelo.

Después viene la pregunta concreta.

Es posible que se incorpore información de documentos o bases de datos.

Quizá exista información almacenada sobre el usuario.

Quizá el sistema utilice motores de búsqueda, datos empresariales, calendarios, correos electrónicos u otras herramientas.

Después debe decidirse qué parte de todo ello es relevante para la pregunta concreta.

Al final vemos veinte frases.

Pero no vemos automáticamente las numerosas decisiones que llevaron a que se produjeran exactamente esas veinte frases.

El National Institute of Standards and Technology estadounidense señala expresamente, al evaluar sistemas humano-IA, que los fenómenos humanos complejos pueden perder un contexto necesario al trasladarse a modelos matemáticos. Por ello, NIST exige, entre otras cosas, funciones y responsabilidades humanas claramente definidas, así como examinar los procesos de decisión durante todo el ciclo de vida de un sistema de IA. [3]

Es una observación importante.

Pero el problema funciona ahora igualmente en la dirección opuesta.

No solo puede perderse contexto.

También puede añadirse contexto.

Y es posible que el usuario no perciba ni una cosa ni la otra.

4. Antes teníamos que manipular lo que alguien veía

Quien quería influir en las personas necesitaba acceder a sus canales de información.

Periódicos.

Televisión.

Carteles.

Publicidad.

Motores de búsqueda.

Redes sociales.

La economía de plataformas ya ha convertido esto en un negocio altamente desarrollado. Los contenidos se seleccionan, ordenan y personalizan.

La IA generativa añade un nuevo nivel.

No solo selecciona.

Formula.

Es una diferencia fundamental.

Un algoritmo de recomendación puede decidir qué artículo vemos a continuación.

Una IA generativa puede formular, a partir de cien artículos, una única respuesta adaptada exactamente a nuestra pregunta.

El espacio informativo original desaparece detrás de una síntesis.

Ya no recibimos necesariamente diez fuentes.

Recibimos una respuesta.

Es cómodo.

Y precisamente por eso es poderoso.

5. ¿Quién decide realmente qué falta?

Considero esta pregunta más importante que muchos debates sobre las alucinaciones.

Es posible que podamos detectar una información falsa.

Es mucho más difícil detectar una información que nunca hemos visto.

Supongamos que preguntamos a una IA por argumentos a favor de una política energética determinada.

Nos proporciona diez argumentos objetivamente correctos.

Ninguno es inventado.

Pero quizá falten tres contraargumentos decisivos.

¿Es incorrecta la respuesta por ello?

No necesariamente.

¿Está completa?

No.

¿Puede influir aun así en nuestra decisión?

Por supuesto.

Por eso la manipulación no comienza únicamente con la mentira.

Puede comenzar ya con la selección.

Lo conocemos por la comunicación humana. Un abogado no necesita mentir para destacar los hechos más favorables para su cliente. La publicidad no necesita afirmar que un producto carece de desventajas. A menudo basta con no mencionarlas.

La IA puede industrializar esta forma de selección.

Y podría individualizarla.

6. El problema no es solo el proveedor

Sería demasiado sencillo convertirlo en una historia sobre malvadas empresas tecnológicas.

El poder sobre el contexto está distribuido.

El desarrollador del modelo decide sobre el entrenamiento y el comportamiento fundamental.

El operador de una aplicación puede decidir sobre reglas y fuentes adicionales.

Las empresas determinan qué datos propios se conectan.

Los sistemas de búsqueda influyen en qué información externa se encuentra.

Los autores y los medios deciden qué información está disponible públicamente.

Los gobiernos establecen límites legales.

Y, finalmente, el propio usuario influye en el contexto mediante sus preguntas, sus datos y sus decisiones anteriores.

Por eso la pregunta interesante no es:

¿Quién controla la IA?

La pregunta más interesante es:

¿Quién controla qué parte del contexto?

Porque en los sistemas modernos de IA este control probablemente nunca recaerá por completo en una única parte.

7. La memoria hace que la cuestión sea más personal

Una IA sin memoria conoce mi pregunta actual.

Una IA con memoria quizá conozca mi historia.

Esto puede aportar una utilidad enorme.

Una persona con una enfermedad rara no tiene que volver a explicar todo su historial médico en cada conversación.

Un empresario no tiene que describir cada vez la estructura de su empresa.

Una alumna puede trabajar durante meses con un tutor que conoce su nivel de aprendizaje.

Una mujer de Guatemala podría hablar en su lengua materna con un sistema que tenga en cuenta su contexto familiar y local, en lugar de recibir una y otra vez respuestas que parecen escritas para personas de California.

El contexto puede hacer que la IA sea más humana y útil.

Pero el mismo mecanismo tiene otra cara.

Cuanto mejor me conoce un sistema, mejor puede estimar qué información funciona conmigo.

No necesariamente para manipularme.

Basta con que exista algún objetivo de optimización.

Tiempo de permanencia.

Probabilidad de compra.

Consentimiento.

Celebración de un contrato.

Apoyo político.

Comportamiento sanitario.

Disposición a donar.

Entonces la personalización se convierte muy rápidamente en influencia.

8. Quizá la información más importante sea el objetivo del sistema

A menudo nos concentramos en los datos.

¿Qué datos posee una IA sobre mí?

Pero al menos igual de importante es:

¿Qué debe lograr con esos datos?

Un sistema de navegación conoce mi ubicación. En principio, esto no es ni bueno ni malo.

Si su objetivo es llevarme a casa lo más rápido posible, utiliza esa información de manera diferente que si su operador recibe dinero por hacerme pasar delante de determinados comercios.

Los datos son idénticos.

El objetivo de optimización es distinto.

Con la IA generativa, esta diferencia resulta más difícil de ver porque el sistema habla con nosotros.

El lenguaje genera la impresión de tener un interlocutor.

Un interlocutor parece tener motivos.

En cambio, un sistema técnico posee objetivos incorporados mediante el desarrollo, el entrenamiento, el diseño del producto y el contexto de uso.

Por lo general, el usuario no ve esta estructura de objetivos.

Precisamente por eso no basta con la transparencia sobre el hecho de que hablamos con una IA.

Cada vez más, tendríamos que saber para quién trabaja realmente este sistema.

9. El asistente personal es una idea política

Nos gusta tratar a los asistentes personales de IA como la siguiente etapa evolutiva del teléfono inteligente.

Esto subestima su importancia.

Algún día, un asistente personal podría decidir por la mañana qué noticias resumirnos.

Podría priorizar nuestros correos electrónicos.

Podría proponer citas.

Podría comparar ofertas.

Podría evaluar qué seguros son convenientes.

Podría ordenar información médica.

Podría decidir qué candidaturas parecen interesantes.

Podría decirnos qué afirmaciones políticas son probablemente ciertas.

Podría ayudar a nuestros hijos a aprender.

Cada una de estas funciones es útil.

En conjunto surge algo diferente.

Un intermediario entre la persona y la realidad.

Y los intermediarios tienen poder.

Por eso la pregunta de ante quién responde un asistente personal de IA podría convertirse en una de las cuestiones de producto más importantes de los próximos años.

¿Ante el proveedor?

¿Ante el anunciante?

¿Ante el empleador?

¿Ante el gobierno?

¿Ante el usuario?

¿O ante alguna combinación de ellos?

10. La regulación europea reconoce una parte del problema

El AI Act europeo prohíbe determinadas prácticas de IA manipuladoras o engañosas cuando perjudican sustancialmente la capacidad de las personas para tomar decisiones informadas y con ello causan, o es razonablemente probable que causen, daños considerables. Además, la ley clasifica como sistemas de IA de alto riesgo determinados sistemas destinados a influir en los resultados electorales, los referendos o el comportamiento electoral. [4]

Eso tiene sentido.

Pero la manipulación prohibida por la ley es únicamente el límite extremo de un campo mucho más amplio.

Entre la información neutral y la manipulación ilegal existe un ámbito enorme de influencia legítima.

Un asesor de seguros intenta convencer.

Un político intenta convencer.

Un médico quizá intente persuadir a su paciente para que siga un tratamiento.

Los padres intentan influir en sus hijos.

Los medios seleccionan temas.

Las empresas presentan sus productos favorablemente.

No toda influencia es manipulación.

Por tanto, el problema de la IA no consiste en impedir por completo la influencia.

No sería posible ni razonable.

El desafío consiste en hacer visible y controlable la influencia.

11. Necesitamos una nueva concepción de la libertad de información

Durante mucho tiempo, la libertad de información se entendió como acceso.

¿Puedo leer un periódico?

¿Puedo abrir un sitio web?

¿Puedo comprar un libro?

¿Puedo solicitar documentos a una autoridad?

En la era de la IA generativa, es posible que el acceso ya no sea suficiente.

Porque, en teoría, podríamos tener acceso a miles de millones de documentos y, en la práctica, seguir viendo únicamente lo que un sistema selecciona para nosotros.

Entonces cobra importancia una segunda libertad:

La libertad de poder influir en los mecanismos de selección.

Quiero poder saber qué fuentes se utilizaron.

Quiero poder exigir una perspectiva distinta.

Quiero poder decir: muéstrame los contraargumentos más sólidos.

Quiero poder corregir las suposiciones almacenadas sobre mí.

Quiero poder distinguir entre hechos, interpretación y recomendación.

Quiero saber si intervienen intereses comerciales.

Quizá incluso quiera poder contrastar entre sí diferentes sistemas de IA con perspectivas distintas.

No porque una máquina sea por principio menos fiable que una persona.

Sino porque la confianza sin posibilidad de contradicción acaba convirtiéndose únicamente en dependencia.

12. El contexto no debe convertirse en propiedad de la máquina

Esto conduce a una importante cuestión de diseño.

¿Quién posee realmente mi memoria digital?

Si una IA comprende durante años cómo trabajo, pienso, decido y me comunico, de ello surge algo valioso.

No solo para mí.

También económicamente.

Algún día, mi contexto podría ser más valioso que el acceso a un modelo lingüístico concreto.

Los modelos pueden sustituirse.

Mi historia no.

Por eso, el proveedor que posee mi contexto adquiere un enorme poder de vinculación.

Cambiar a otro sistema significaría volver a empezar desde cero.

Sería una nueva forma de lock-in.

No mediante archivos o formatos de software.

Mediante el conocimiento sobre mí.

Por eso, un debate serio sobre la soberanía de la IA debería incluir algún día la portabilidad de los contextos personales.

Mi memoria digital no debería pertenecer automáticamente al proveedor que la almacena técnicamente.

13. El gran peligro no es necesariamente un mundo falso

En ocasiones, las advertencias de Harari se interpretan como si algún día las máquinas fueran a crear una gigantesca realidad artificial y controlar por completo a los seres humanos.

Es concebible, pero ni siquiera resulta necesario para el debate actual.

Basta con la variante mucho más banal.

Cada día recibimos respuestas que son razonables en su mayor parte.

Nuestra IA nos conoce cada vez mejor.

Nos ahorra tiempo.

Cada vez realiza con más frecuencia una buena preselección.

Así que verificamos un poco menos.

Y luego un poco menos todavía.

No porque seamos estúpidos.

Sino porque el sistema funciona la mayoría de las veces.

Así es exactamente como surge la dependencia de la infraestructura.

Nadie comprueba personalmente la calidad del agua cada mañana antes de abrir el grifo.

Confiamos en el sistema.

Esto funciona porque alrededor del agua potable han surgido reglas, mediciones, responsabilidades y controles públicos.

En cuanto al contexto de la IA, todavía estamos en una fase muy temprana de este desarrollo.

Ya estamos construyendo las tuberías de agua.

Aún no hemos terminado de resolver quién mide realmente la calidad.

14. El contexto también puede significar liberación

A pesar de todas las críticas, no debemos olvidar la dirección opuesta.

Una IA universal que diera la misma respuesta a todas las personas no sería automáticamente más justa.

Las personas viven en realidades diferentes.

Una agricultora de Guatemala necesita información diferente de la que necesita un banquero de inversión de Frankfurt.

Una persona ciega necesita formas de presentación diferentes de las que necesita una persona vidente.

Un principiante necesita explicaciones diferentes de las que necesita una experta.

Una persona en crisis quizá necesite una comunicación distinta de la que busca un análisis técnico sobrio.

Por tanto, el contexto no es el problema.

El contexto es una condición previa para una buena comunicación.

La pregunta es quién dispone de él.

La personalización puede reforzar la autonomía cuando la persona la controla.

Puede debilitar la autonomía cuando otros la controlan.

Es el mismo mecanismo técnico con dos significados políticos completamente distintos.

15. Conclusión: entonces, ¿quién controla el contexto?

La respuesta honesta es:

Nadie por sí solo.

Y eso es precisamente lo que dificulta la cuestión.

No comprenderemos adecuadamente el poder sobre la IA si solo observamos los modelos.

Debemos observar toda la cadena de información.

A los proveedores.

A los datos.

A la memoria.

A los sistemas de búsqueda.

A las reglas.

A los intereses económicos.

A las interfaces de usuario.

A la decisión sobre qué información llega siquiera a una respuesta.

Y a nosotros mismos.

Porque proporcionamos voluntariamente cada vez más contexto a estos sistemas, ya que las mejores respuestas necesitan realmente un mejor contexto.

Por tanto, el conflicto decisivo de los próximos años podría no desarrollarse entre el ser humano y la máquina.

Podría darse entre dos concepciones de la IA.

En una, la máquina nos conoce cada vez mejor y decide de forma cada vez más autónoma qué información es relevante para nosotros.

En la otra, también nos conoce bien, pero podemos ver, corregir e influir en cómo se utiliza ese conocimiento.

Técnicamente, ambos sistemas pueden parecer sorprendentemente similares.

Políticamente, son fundamentalmente distintos.

Por eso no basta con preguntar si una IA dice la verdad.

Debemos saber a partir de qué realidad compone su verdad.

Y quién decidió qué figura en ella.