Por qué necesitamos un detector de bullshit para la IA

1. El problema no son las tonterías

Las personas siempre han producido tonterías. Se equivocan, exageran, confunden correlación y causa, citan incorrectamente, simplifican relaciones complejas y hablan con gran seguridad sobre cosas que no han verificado lo suficiente.

La inteligencia artificial no inventó este problema, pero ha transformado la forma de las tonterías.

Una persona con pocos conocimientos especializados revela su incertidumbre mediante vacilaciones, contradicciones, un vocabulario limitado o lagunas de conocimiento reconocibles. La IA generativa no muestra estas señales. Puede formular una afirmación sin respaldo con la misma calidad lingüística que una bien fundamentada. Un estudio real y uno inventado pueden aparecer con el mismo estilo de citación. Una conjetura puede sonar como el estado de la investigación.

Por tanto, la IA generativa no reduce necesariamente la diferencia entre la verdad y el error. Pero puede reducir la diferencia visible entre el conocimiento, la conjetura y la invención.

Precisamente para eso necesitamos un detector de bullshit. Y no es una máquina, sino esa pequeña parte del cerebro que existe desde tiempos inmemoriales. Solo que todavía no está tan bien entrenada para la IA.

El concepto no se refiere a un programa que detecte si un texto fue escrito por una IA. El origen de un texto dice poco sobre su calidad. Un texto humano puede ser falso y carecer de sustancia. Un texto elaborado con apoyo de IA puede estar magníficamente investigado, correctamente fundamentado y ser intelectualmente independiente.

Entonces, ¿merece una afirmación que se la crea, se la difunda o se la utilice como fundamento de una decisión?

2. Lo que significa aquí «bullshit»

Harry Frankfurt distinguió el bullshit de la mentira. El mentiroso se orienta por la verdad porque quiere ocultarla. Quien produce bullshit se comporta de otra manera. Lo decisivo no es si su afirmación es casualmente correcta o falsa. Lo decisivo es su falta de compromiso con la cuestión de si es verdadera. [1]

Michael Townsen Hicks, James Humphries y Joe Slater han aplicado este análisis a ChatGPT. Sostienen que la producción lingüística de los grandes modelos de lenguaje no se orienta hacia la verdad del mismo modo que una afirmación fáctica humana y fundamentada. [2]

Un modelo lingüístico no posee una actitud humana. No es honesto, deshonesto ni indiferente. No persigue una intención consciente de engañar. Por eso, «bullshit» no es un diagnóstico psicológico de la máquina ni un término técnico establecido para un error.

El concepto describe aquí una constelación:

Idea rectoraLa capacidad de persuasión lingüística de una afirmación supera su respaldo epistémico.

Una respuesta suena competente sin estar suficientemente respaldada. Una explicación parece comprensible aunque no reproduzca de manera fiable el proceso real de creación. Una lista de fuentes parece científica aunque algunas fuentes no existan o no respalden las afirmaciones correspondientes.

3. No una luz interna de alerta, sino un procedimiento de verificación

El concepto de «detector» es engañoso. Suena como si las personas pudieran reconocer de manera intuitiva y fiable cuándo una respuesta de IA carece de fundamento.

No pueden. Pero pueden entrenarse. Y, aunque suene un poco absurdo, cuanto más trabajan con la IA, más desarrollado está su propio detector. (Fuente: experiencia anecdótica propia)

Una persona no experta a menudo no puede reconocer por el estilo una recomendación médica falsa, un principio jurídico inventado o una interpretación estadística errónea. Los errores formulados de manera convincente pueden abrumar precisamente a quienes no son especialistas.

Por eso, el detector de bullshit no es una luz interna de alerta. Es un procedimiento de verificación basado en riesgos que examina cuatro niveles.

3.1 El nivel del output

¿Es correcta y está fundamentada la afirmación concreta, y es lo bastante completa para el contexto?

Aquí se trata de hechos, cifras, fuentes, definiciones, conclusiones y limitaciones omitidas.

3.2 El nivel de la presentación

¿Se comunica adecuadamente el estado epistémico de la afirmación?

¿Algo es seguro, probable, controvertido, hipotético o desconocido? ¿El sistema hace visibles estas diferencias o las suaviza lingüísticamente?

3.3 El nivel del uso

¿Confía adecuadamente la persona en la respuesta?

Una buena respuesta puede ignorarse. Una mala puede adoptarse sin verificar. No solo el rendimiento del modelo, sino también la relación entre la persona y el sistema determina el resultado.

3.4 El nivel institucional

¿Quién verifica, asume la responsabilidad y corrige el output?

Una frase generada por IA en una tarjeta privada de cumpleaños tiene un estatus distinto de una recomendación médica asistida por IA, una resolución administrativa o una publicación científica.

Una fuente inventada es un error de output. La incertidumbre oculta es un error de presentación. La adopción acrítica es un error de uso. La ausencia de procesos de control es un error institucional.

El detector de bullshit debe reconocer los cuatro, pero no con los mismos medios.

4. No toda «IA» es lo mismo

También desde el punto de vista técnico hay que distinguir con mayor precisión.

4.1 El modelo base

Un modelo base genera resultados a partir de patrones aprendidos estadísticamente. La probabilidad lingüística no garantiza la exactitud fáctica.

4.2 El sistema de aplicación

Un producto moderno de IA puede utilizar además búsqueda web, bases de datos, sistemas de Retrieval, calculadoras, ejecución de código, recuperación de fuentes y mecanismos automáticos de verificación.

Un sistema de este tipo tiene un estatus epistémico distinto del de un modelo base que genera libremente. Las fuentes de datos fiables y los pasos de verificación pueden reducir significativamente los errores.

Una función de búsqueda puede seleccionar una fuente poco fiable. Un sistema de Retrieval puede pasar por alto el fragmento pertinente. Una fuente consultada correctamente puede interpretarse mal. Una cita puede existir sin respaldar la afirmación.

4.3 El uso institucional

El tercer nivel es el proceso concreto de uso.

¿Quién utiliza el sistema? ¿Para qué tarea? ¿Con qué datos? ¿Bajo qué presión de tiempo? ¿Qué verificación está prevista? ¿Quién puede contradecir? ¿Quién responde legalmente?

La misma tecnología puede ser poco problemática en un brainstorming privado y de alto riesgo en un procedimiento clínico o jurídico.

Por tanto, no se trata de preguntar: ¿qué tan bueno es el modelo? No, se trata de preguntar: ¿qué tan fiable es todo el sistema en este uso concreto?

5. Por qué la plausibilidad resulta tan convincente

Las personas obtienen gran parte de su conocimiento de las afirmaciones de otras. No podemos realizar personalmente cada observación, reproducir cada estudio ni derivar por nuestra cuenta cada ley. Por eso, las sociedades dependen de una confianza fundamentada.

Dan Sperber y sus coautores describen los mecanismos humanos para verificar la información comunicada como vigilancia epistémica. Las personas evalúan, entre otras cosas, la competencia y fiabilidad de una fuente, así como la plausibilidad y coherencia de un mensaje. [3]

La IA generativa se encuentra con esta vigilancia en condiciones inusuales.

Presenta características que, en las personas, solemos interpretar como señales de confianza:

fluidez lingüística, respuesta rápida, argumentación ordenada, aparente neutralidad, vocabulario amplio, seguridad serena.

En una persona, estas características pueden estar vinculadas con la competencia. En una IA, son ante todo propiedades de la superficie generada.

La fluidez no demuestra comprensión. La seguridad no demuestra certeza. El equilibrio no demuestra exhaustividad. Una referencia a una fuente no demuestra que la fuente respalde la afirmación.

Pennycook y sus colegas estudiaron la receptividad humana a afirmaciones pseudoprofundas. Sus resultados muestran que puede atribuirse profundidad a formulaciones que suenan significativas, pero son débiles en cuanto a contenido. [4]

La IA generativa puede reducir el coste de formular y adaptar grandes cantidades de afirmaciones plausibles. Todavía no se han investigado de forma concluyente sus efectos a largo plazo sobre la capacidad de juicio y la comunicación pública.

La calidad lingüística de una respuesta ya no puede considerarse una señal fiable de su calidad objetiva.

6. La alucinación es solo una clase de error

La investigación documenta que los sistemas generativos pueden producir afirmaciones que no están respaldadas por fuentes, inputs o hechos. Los estudios de revisión distinguen distintas formas de estas alucinaciones y analizan sus causas y posibles medidas correctivas. [5]

Lamentablemente, centrarse en afirmaciones completamente inventadas se queda corto, pues entre una afirmación correcta y una invención total existe un amplio terreno:

una cifra correcta con un año de referencia incorrecto, un estudio real con un resultado sobredimensionado, una opinión minoritaria presentada como consenso, una regla correcta sin una excepción decisiva, una correlación reformulada como causa, un resumen plausible que elimina el contexto central, una fuente que existe pero no respalda la afirmación.

TruthfulQA mostró, para los modelos estudiados entonces, que estos podían reproducir ideas erróneas humanas muy extendidas y que los modelos más grandes no eran automáticamente más veraces en este Benchmark. [6] Un estudio de motores de búsqueda generativa encontró lagunas considerables tanto en el respaldo completo de las afirmaciones como en la precisión de citas individuales. [7]

Estos resultados se refieren a modelos, sistemas y momentos concretos de recopilación. No deben generalizarse como una propiedad inmutable de toda IA futura.

Idea rectoraUna respuesta formulada profesionalmente puede requerir una verificación considerable, aunque no contenga ninguna alucinación llamativa.

7. El objetivo es la confianza calibrada

De estos riesgos no se deriva ningún argumento razonable a favor de una desconfianza general.

La IA puede trabajar en determinadas tareas con más precisión, rapidez y constancia que las personas. Quien rechaza por principio buenas recomendaciones automatizadas también genera errores.

Por eso, la investigación sobre automatización distingue entre el uso adecuado, la confianza excesiva y la falta de uso injustificada. Lee y See hablan de appropriate reliance, es decir, una dependencia ajustada a la tarea y al rendimiento del sistema. [8]

El objetivo es la confianza calibrada.

Las personas no deberían seguir a una IA por el hecho de ser una IA, ni contradecirla por esa misma razón.

¿En qué tareas es sólido el sistema? ¿Qué errores se producen habitualmente? ¿Qué tan actual es su información? ¿Qué fuentes de datos utiliza? ¿Qué magnitud tendría el daño de un error? ¿Puede verificarse la respuesta de forma independiente?

Esto es mucho más exigente que el escepticismo. El escepticismo puede ser general. La confianza calibrada exige discernimiento.

8. Las explicaciones no son un remedio automático

Una esperanza muy extendida sostiene que, si una IA explica su respuesta, las personas podrán evaluar mejor su calidad.

Puede funcionar. Pero no necesariamente.

Chen y sus colegas estudiaron cómo utilizan las personas distintos tipos de explicaciones en decisiones asistidas por IA. En sus tareas, las explicaciones basadas en características condujeron en parte a una mayor dependencia excesiva, mientras que las explicaciones basadas en ejemplos ofrecieron mejores condiciones para una corrección sensata. [9]

Vasconcelos y sus colegas mostraron en cinco estudios con un total de 731 participantes que las personas tienden más a verificar las explicaciones cuando el beneficio esperado justifica los costes cognitivos. Las tareas difíciles, las explicaciones difíciles de verificar y la falta de incentivos pueden favorecer la dependencia excesiva. [10]

Por tanto, una explicación no es buena simplemente porque suene explicativa.

Las personas deben poder entender la explicación, verificarla y contrastarla con alternativas. Bajo presión de tiempo o sin conocimientos especializados, una explicación plausible puede hacer aún más convincente una recomendación falsa.

Por eso, el detector de bullshit que llevamos dentro también debe preguntar:

¿Esta explicación permite el control o solo simula la trazabilidad?

9. La postura favorable: está demostrado que la IA puede ayudar a las personas

Un análisis serio no debe tratar las ventajas como un comentario secundario. Bueno, porque eso es lo que se hace en los análisis.

Noy y Zhang descubrieron en un experimento controlado que los participantes completaron con mayor rapidez determinadas tareas de escritura típicas del trabajo utilizando IA generativa y obtuvieron, en promedio, resultados mejor evaluados. [11]

Brynjolfsson, Li y Raymond estudiaron el uso de un asistente de IA entre más de 5.000 empleados de atención al cliente. En este uso concreto, el acceso al asistente aumentó la productividad, medida en casos resueltos por hora. Los empleados con menos experiencia fueron quienes más se beneficiaron. [12]:

La IA puede hacer más accesible el conocimiento, reducir las barreras lingüísticas, acelerar las tareas rutinarias, orientar a principiantes y distribuir el conocimiento basado en la experiencia dentro de las organizaciones.

No demuestran que la IA mejore todo trabajo relacionado con el conocimiento. Los resultados son específicos de la tarea, el sistema y el contexto.

Un estudio de CHI con 319 trabajadores del conocimiento encontró relaciones entre una mayor confianza en la IA generativa y un menor esfuerzo crítico autodeclarado. En cambio, una mayor confianza en la propia competencia estuvo asociada a una verificación más intensa. El estudio muestra un posible desplazamiento del trabajo cognitivo hacia el control y la integración de los resultados de la IA. No demuestra un deterioro general o a largo plazo de la capacidad humana de pensar. [13]

Idea rectoraLa IA puede mejorar la productividad y el acceso al conocimiento. Que ello produzca un aumento de las competencias, dependencia o pérdida de competencias depende de la tarea, el usuario, el diseño del sistema y la organización.

10. La paradoja de la competencia

Las personas con menos experiencia pueden beneficiarse especialmente de la IA. Al mismo tiempo, con mayor frecuencia carecen de los conocimientos especializados necesarios para reconocer errores sutiles.

El principiante obtiene más rápidamente una respuesta que parece profesional.

El experto reconoce mejor dónde carece de fundamento.

De ello surge una paradoja de la competencia:

Quien recibe el mayor apoyo puede, al mismo tiempo, volverse más dependiente de él.

Esto no es un argumento contra el aprendizaje asistido por IA. La IA puede explicar de manera excelente, responder preguntas de seguimiento, generar ejemplos y ofrecer retroalimentación individual.

Lo decisivo es la forma de uso.

Quien pregunta:

«Explícame el procedimiento de solución, señala las incertidumbres y después comprueba mi comprensión»,

utiliza la IA de forma distinta a quien pregunta:

«Resuelve la tarea y redacta la entrega».

En el primer caso, la IA puede apoyar el desarrollo de competencias. En el segundo, puede mejorar el resultado visible sin desarrollar la capacidad subyacente.

Por eso, el detector de bullshit no examina únicamente la máquina.

También examina nuestra propia división del trabajo con ella.

11. Las consecuencias sociales

11.1 Educación

La educación no consiste únicamente en producir resultados correctos. Desarrolla capacidades: leer, comparar, fundamentar, formular, dudar, fracasar y corregir.

La IA puede apoyar estos procesos. Pero también puede abreviarlos.

Por eso, las escuelas y universidades no deberían enseñar únicamente Prompting. Los estudiantes deben descomponer las respuestas de la IA, comprobar las fuentes, reconocer afirmaciones exageradas, desarrollar posiciones contrarias y poder explicar los contenidos sin IA.

El objeto pertinente de evaluación se desplaza.

Importa menos que alguien pueda producir un texto impecable. Importa más que lo comprenda, lo defienda y lo corrija. En realidad, no es nada distinto de lo que ocurría antes en la escuela, cuando copiábamos los deberes del alumno más brillante.

11.2 Mundo laboral

En muchos procesos de conocimiento, los costes de generación pueden disminuir más rápidamente que los costes de la verificación especializada.

Un informe puede generarse en pocos minutos. Sin embargo, sus cifras, fuentes y conclusiones deben seguir verificándose. Si estos costes de verificación se transfieren a colegas o clientes, puede aumentar la velocidad individual mientras disminuye la productividad del sistema en su conjunto.

Por eso, las organizaciones no solo deben medir el output. Deben tener en cuenta el esfuerzo de verificación, el coste de los errores y el desarrollo de competencias.

11.3 Ciencia

La calidad científica no surge del tono académico. Surge de los métodos, los datos, las citas, la crítica y la reproducibilidad.

Una fuente debe existir. Debe haberse leído. Debe respaldar la afirmación concreta. Una cifra debe poder remontarse al original. Los autores siguen siendo responsables de cada frase.

«La IA mencionó la fuente» no es una justificación científica.

11.4 Esfera pública

La IA generativa reduce los costes de producir contenidos con un lenguaje profesional. Esto puede hacer que la cantidad de textos plausibles crezca más rápido que la capacidad de verificación de la sociedad.

Cuando una investigación verificada y una plausibilidad sintética tienen la misma apariencia, amenaza el agotamiento epistémico: la actitud de que, de todos modos, ya no es posible determinar qué es cierto.

11.5 Desigualdad

La IA puede democratizar el acceso al conocimiento. Al mismo tiempo, existe el riesgo de una nueva desigualdad entre quienes pueden evaluar profesionalmente los resultados de la IA y quienes dependen de su apariencia superficial.

Sin infraestructuras públicas de educación y verificación, la capacidad de evaluación puede convertirse en un nuevo factor de desigualdad.

El consejo «Verifica la respuesta» no protege a nadie que carezca de tiempo, conocimientos especializados o acceso a fuentes fiables.

12. La responsabilidad no comienza con el usuario

Sería cómodo deducir de todo esto una única exigencia:

Las personas deben pensar de forma más crítica.

Así, los proveedores y las organizaciones podrían trasladar el riesgo al usuario individual.

El orden de responsabilidades debe comenzar a la inversa.

Primero: proveedores

Los proveedores deben diseñar los sistemas de modo que se reduzcan los errores conocidos, las fuentes sean trazables y las incertidumbres sean visibles. No deben presentar sistemáticamente una certeza lingüística mayor de la que justifica la evidencia.

Segundo: organizaciones

Las organizaciones deben determinar para qué tareas puede utilizarse la IA, qué verificaciones son necesarias, quién es responsable y cuándo debe detenerse un procedimiento.

Tercero: instituciones públicas

La legislación y la supervisión deben garantizar la auditoría, la responsabilidad, las reclamaciones, la educación y el acceso a información independiente.

Cuarto: usuarios

Los usuarios necesitan vigilancia epistémica. Pero no deben ser la última salvaguarda de sistemas que no pueden controlar profesionalmente.

Idea centralCuanto menor sea la capacidad individual de verificación y mayor el daño posible, menos debe depender la fiabilidad de un detector de bulos personal.

El artículo 4 del EU AI Act obliga a proveedores y operadores a adoptar medidas para garantizar un nivel suficiente de competencia en IA de su personal y de otras personas que actúen en su nombre.

Sin embargo, la competencia en IA no debe confundirse con el conocimiento de herramientas o la formación en prompts. También debe incluir la capacidad de interpretar adecuadamente los resultados, reconocer los límites y no seguir trabajando cuando la evidencia sea insuficiente.

13. El conflicto con la lógica del producto

Un sistema que indica incertidumbre con frecuencia, hace visibles las posiciones contrarias, remite a la fuente primaria y no responde cuando la evidencia es insuficiente puede resultar menos fluido que uno que ofrece de inmediato una respuesta clara.

Los productos suelen optimizarse para la velocidad, la frecuencia de uso, unas tasas de abandono bajas y una integración profunda. En cambio, la calidad epistémica puede exigir fricción:

Tiempo, verificación, preguntas adicionales, desconocimiento, contradicción, a veces ninguna respuesta.

Esto no significa que las empresas construyan inevitablemente sistemas deficientes. Significa que la calidad de la verdad no se deriva automáticamente de una buena experiencia de usuario.

Esta es una cuestión de diseño de sistemas, modelos de negocio y contrapoder institucional.

14. Un procedimiento práctico de verificación

Un detector de bulos útil no aplica siempre el mismo rigor. Comienza por el riesgo.

Paso 1: determinar las consecuencias

¿Qué ocurre si la respuesta es incorrecta?

Una lluvia de ideas sin compromiso exige menos control que una afirmación médica, jurídica, financiera o pública sobre hechos.

Paso 2: separar las afirmaciones

¿Qué enunciados son hechos? ¿Cuáles son interpretaciones? ¿Cuáles son pronósticos? ¿Cuáles son recomendaciones? ¿Cuáles son juicios de valor?

Solo las afirmaciones separadas pueden verificarse con rigor.

Paso 3: aclarar el estado del sistema

¿Responde un modelo base a partir de su conocimiento de patrones entrenado? ¿Utiliza la aplicación fuentes web actuales? ¿Accede a una base de datos definida? ¿Se realizó un cálculo o solo una estimación lingüística?

Paso 4: comprobar las fuentes

¿Existe la fuente? ¿Son correctos el autor, el título y la fecha? ¿Es una fuente primaria? ¿Respalda la afirmación concreta? ¿Se ha exagerado su resultado?

Paso 5: deconstruir las cifras

Las cifras necesitan una magnitud de referencia, un período, una población, un método y un valor comparativo.

«40 por ciento» no es información fiable mientras no se aclare: ¿40 por ciento de qué, cuándo, entre quiénes y en comparación con qué?

Paso 6: buscar posiciones contrarias

¿Qué perspectiva seria contradice la respuesta? ¿Qué limitación mencionaría un especialista? ¿Qué información podría cambiar la conclusión?

Paso 7: triangular de manera independiente

Las afirmaciones fundamentales necesitan una vía de verificación independiente: una fuente primaria, una base de datos especializada, un texto legal, una estadística oficial, una revisión sistemática o un profesional cualificado.

Varias respuestas de sistemas de IA relacionados no constituyen automáticamente pruebas independientes.

Paso 8: saber detenerse

Cuando una afirmación no puede verificarse suficientemente, la etiqueta correcta es:

No verificado.

Esto no es un fracaso. Es higiene epistémica.

15. Los contraargumentos

Los seres humanos también producen bulos

Correcto. La IA no es la causa original.

Sin embargo, puede cambiar los costes de producción, la velocidad y la adaptabilidad de contenidos plausibles. Así, un problema humano puede convertirse en un problema de escala.

La verificación permanente destruye la utilidad

También es correcto si cada tarea inocua se trata como un procedimiento de alto riesgo.

Por eso la verificación debe basarse en el riesgo. Cuanto mayores sean las consecuencias, más riguroso debe ser el estándar.

La IA puede decidir mejor que los seres humanos

En determinadas tareas, sí.

El detector de bulos no pretende convertir la autoridad humana en un absoluto. Pretende proteger frente a los errores humanos y los de las máquinas, contraponiéndolos.

A veces el ser humano debe corregir a la IA. A veces la IA debe corregir al ser humano.

Los buenos sistemas permiten ambas cosas.

Nadie puede verificarlo todo por sí mismo

Precisamente por eso las sociedades viven de la división del trabajo y de la confianza fundamentada.

El detector de bulos no significa recalcularlo todo personalmente. Significa reconocer cuándo basta la confianza habitual y cuándo se necesita una fuente, un procedimiento o un experto.

El término es demasiado polémico

Sería inadecuado para un estándar técnico. En el debate público cumple una función: nombra de manera drástica la diferencia entre un lenguaje convincente y una autoridad epistémica inmerecida.

Para que el término tenga validez científica, su límite debe permanecer claro.

No describe una conciencia de la máquina.

Describe un problema de verificación de la sociedad.

16. Conclusión: la máquina puede responder

Utilizaremos la IA.

Esta misma mañana. Para correos electrónicos, investigación, traducciones, análisis, enseñanza, programación, administración, ciencia y decisiones.

La competencia decisiva ya no consiste únicamente en generar buenas respuestas.

Consiste en poder evaluar el estatus de una respuesta.

¿Es conocimiento? ¿Una suposición plausible? ¿Un resumen incompleto? ¿Una fuente auténtica? ¿Una recomendación sin fundamento suficiente? ¿O una forma lingüísticamente impresionante que no se sostiene en términos epistémicos?

El detector de bulos no protege frente a todos los errores.

Protege la diferencia entre lenguaje y conocimiento, entre explicación y evidencia, entre asistencia y autoridad.

Cuanto más fiables se vuelven, menos frecuentes pueden ser los errores. Pero los errores poco frecuentes pueden resultar más difíciles de detectar, porque una fiabilidad elevada puede debilitar el control activo. La investigación sobre automatización lleva mucho tiempo advirtiendo sobre el uso inadecuado, el desuso y el uso excesivo de sistemas técnicos. [15]

La máquina puede responder.

Pero ninguna persona, empresa o institución debe considerar una respuesta convincente como conocimiento solo porque resulta convincente.