Pourquoi nous avons besoin d’un détecteur de bullshit pour l’IA

1. Le problème n’est pas l’absurdité

Les êtres humains produisent des absurdités depuis toujours. Ils se trompent, exagèrent, confondent corrélation et causalité, citent incorrectement, simplifient des liens complexes et parlent avec une grande assurance de choses qu’ils n’ont pas suffisamment vérifiées.

L’intelligence artificielle n’a pas inventé ce problème, mais elle a transformé la forme de l’absurdité.

Une personne peu compétente dans un domaine trahit son incertitude par des hésitations, des contradictions, un vocabulaire limité ou des lacunes manifestes. L’IA générative ne présente pas ces signaux. Elle peut formuler une affirmation non étayée avec la même qualité linguistique qu’une affirmation bien fondée. Une étude réelle et une étude inventée peuvent apparaître dans le même style de citation. Une supposition peut ressembler à l’état de la recherche.

L’IA générative ne réduit donc pas nécessairement l’écart entre la vérité et l’erreur. Mais elle peut réduire l’écart visible entre le savoir, la supposition et l’invention.

C’est précisément pour cela que nous avons besoin d’un détecteur de bullshit. Et ce n’est pas une machine, c’est cette petite partie du cerveau qui existe depuis la nuit des temps. Elle n’est simplement pas encore très bien entraînée pour l’IA.

La notion ne désigne pas un programme capable de détecter si un texte a été écrit par une IA. L’origine d’un texte renseigne peu sur sa qualité. Un texte humain peut être faux et vide de substance. Un texte assisté par l’IA peut être remarquablement documenté, correctement étayé et intellectuellement autonome.

Une affirmation mérite-t-elle donc d’être crue, transmise ou prise comme fondement d’une décision ?

2. Ce que signifie ici « bullshit »

Harry Frankfurt distinguait le bullshit du mensonge. Le menteur s’oriente par rapport à la vérité parce qu’il veut la dissimuler. Le bullshitter se comporte autrement. L’élément déterminant n’est pas que son affirmation soit par hasard vraie ou fausse. C’est son absence d’attachement à la question de savoir si elle est vraie. [1]

Michael Townsen Hicks, James Humphries et Joe Slater ont transposé cette analyse à ChatGPT. Ils soutiennent que la production linguistique des grands modèles de langage n’est pas orientée vers la vérité de la même manière qu’une affirmation factuelle humaine et motivée. [2]

Un modèle de langage ne possède aucune attitude humaine. Il n’est ni honnête, ni malhonnête, ni indifférent. Il ne poursuit aucune intention consciente de tromper. Le « bullshit » n’est donc ni un diagnostic psychologique de la machine ni un terme technique établi pour désigner une erreur.

La notion décrit ici une configuration :

Idée directriceLe pouvoir de conviction linguistique d’une affirmation dépasse son fondement épistémique.

Une réponse semble compétente sans être suffisamment étayée. Une explication paraît compréhensible alors qu’elle ne reflète pas de manière fiable le véritable processus qui l’a produite. Une liste de sources semble scientifique alors que certaines sources n’existent pas ou n’étayent pas les affirmations correspondantes.

3. Pas un voyant intérieur, mais une procédure de vérification

La notion de « détecteur » prête à confusion. Elle donne l’impression que les êtres humains pourraient reconnaître intuitivement et de manière fiable quand une réponse d’IA ne tient pas.

Ils ne le peuvent pas. Mais ils peuvent s’entraîner eux-mêmes. Et même si cela semble un peu absurde, plus ils travaillent avec l’IA, plus leur propre détecteur se développe. (Source : expérience personnelle anecdotique)

Un profane ne peut souvent pas reconnaître au style une recommandation médicale erronée, un principe juridique inventé ou une interprétation statistique fautive. Les erreurs formulées de manière particulièrement convaincante peuvent précisément dépasser les non-spécialistes.

Le détecteur de bullshit n’est donc pas un voyant intérieur. C’est une procédure de vérification fondée sur le risque, qui examine quatre niveaux.

3.1 Le niveau de l’output

L’affirmation concrète est-elle correcte, étayée et suffisamment complète pour le contexte ?

Il s’agit ici des faits, des chiffres, des sources, des définitions, des conclusions et des restrictions omises.

3.2 Le niveau de la présentation

Le statut épistémique de l’affirmation est-il communiqué de manière appropriée ?

Une chose est-elle certaine, probable, controversée, hypothétique ou inconnue ? Le système rend-il ces différences visibles ou les lisse-t-il linguistiquement ?

3.3 Le niveau de l’utilisation

La personne se fie-t-elle à la réponse de manière appropriée ?

Une bonne réponse peut être ignorée. Une mauvaise peut être reprise sans vérification. Ce n’est pas seulement la performance du modèle, mais aussi la relation entre la personne et le système qui détermine le résultat.

3.4 Le niveau institutionnel

Qui vérifie, assume et corrige l’output ?

Une phrase générée par l’IA dans une carte d’anniversaire privée n’a pas le même statut qu’une recommandation médicale assistée par l’IA, une décision administrative ou une publication scientifique.

Une source inventée est une erreur d’output. Une incertitude dissimulée est une erreur de présentation. Une reprise non critique est une erreur d’utilisation. L’absence de processus de contrôle est une erreur institutionnelle.

Le détecteur de bullshit doit reconnaître les quatre, mais pas par les mêmes moyens.

4. Toutes les « IA » ne se valent pas

Sur le plan technique également, il faut établir des distinctions plus précises.

4.1 Le modèle de base

Un modèle de base produit des outputs à partir de schémas appris statistiquement. La probabilité linguistique ne garantit pas l’exactitude factuelle.

4.2 Le système applicatif

Un produit d’IA moderne peut en outre utiliser la recherche web, des bases de données, des systèmes de Retrieval, des calculateurs, l’exécution de code, la consultation de sources et des mécanismes automatiques de vérification.

Un tel système possède un autre statut épistémique qu’un modèle de base générant librement. Des sources de données fiables et des étapes de vérification peuvent réduire sensiblement les erreurs.

Une fonction de recherche peut sélectionner une source peu fiable. Un système de Retrieval peut manquer le passage pertinent. Une source correctement consultée peut être mal interprétée. Une citation peut exister sans étayer l’affirmation.

4.3 L’utilisation institutionnelle

Le troisième niveau est le processus concret d’utilisation.

Qui utilise le système ? Pour quelle tâche ? Avec quelles données ? Sous quelle pression temporelle ? Quelle vérification est prévue ? Qui peut contredire ? Qui est responsable ?

La même technologie peut être sans problème dans un brainstorming privé et présenter un risque élevé dans une procédure clinique ou juridique.

Il ne s’agit donc pas de demander : à quel point le modèle est-il bon ? Non, la question est : dans quelle mesure l’ensemble du système est-il fiable pour cette utilisation concrète ?

5. Pourquoi la plausibilité est si convaincante

Les êtres humains tirent une grande partie de leur savoir des affirmations d’autrui. Nous ne pouvons pas réaliser nous-mêmes chaque observation, reproduire chaque étude ni dériver chaque loi de manière autonome. Les sociétés dépendent donc d’une confiance fondée.

Dan Sperber et ses coauteurs décrivent les mécanismes humains de vérification des informations communiquées comme une vigilance épistémique. Les êtres humains évaluent notamment la compétence et la fiabilité d’une source, ainsi que la plausibilité et la cohérence d’un message. [3]

L’IA générative rencontre cette vigilance dans des conditions inhabituelles.

Elle présente des caractéristiques que nous interprétons souvent chez les êtres humains comme des signaux de confiance :

fluidité linguistique, réaction rapide, argumentation ordonnée, neutralité apparente, vaste vocabulaire, assurance calme.

Chez une personne, ces caractéristiques peuvent être associées à la compétence. Chez une IA, elles sont d’abord des propriétés de la surface produite.

La fluidité ne prouve pas la compréhension. L’assurance ne prouve pas la certitude. L’équilibre ne prouve pas l’exhaustivité. Une référence à une source ne prouve pas que celle-ci étaye l’affirmation.

Pennycook et ses collègues ont étudié la réceptivité humaine aux affirmations pseudo-profondes. Leurs résultats montrent que des formulations semblant porteuses de sens, mais faibles sur le fond, peuvent effectivement se voir attribuer de la profondeur. [4]

L’IA générative peut réduire le coût de la formulation et de l’adaptation d’un grand nombre d’affirmations plausibles. Les effets à long terme sur la faculté de jugement et la communication publique n’ont pas encore été étudiés de manière définitive.

La qualité linguistique d’une réponse ne peut plus être considérée comme un indicateur fiable de sa qualité factuelle.

6. L’hallucination n’est qu’une catégorie d’erreurs

La recherche montre que les systèmes génératifs peuvent produire des affirmations qui ne sont étayées ni par les sources, ni par les données d’entrée, ni par les faits. Des travaux de synthèse distinguent différentes formes de ces hallucinations et discutent de leurs causes et des contre-mesures. [5]

Malheureusement, se concentrer sur les affirmations entièrement inventées est trop réducteur, car il existe un vaste champ entre une affirmation correcte et une invention complète :

un chiffre exact associé à une mauvaise année de référence, une étude réelle dont le résultat est exagérément étendu, une opinion minoritaire présentée comme un consensus, une règle exacte privée d’une exception décisive, une corrélation reformulée en causalité, un résumé plausible qui supprime le contexte central, une source qui existe mais n’étaye pas l’affirmation.

TruthfulQA a montré, pour les modèles étudiés à l’époque, que des idées fausses répandues chez les êtres humains pouvaient être reproduites et que les modèles plus grands n’étaient pas automatiquement plus véridiques dans ce Benchmark. [6] Une étude de moteurs de recherche génératifs a révélé d’importantes lacunes dans l’étayage complet des affirmations et dans l’exactitude de certaines citations. [7]

Ces résultats concernent des modèles, des systèmes et des périodes d’observation précis. Ils ne doivent pas être généralisés comme une propriété immuable de toute IA future.

Idée directriceUne réponse formulée de manière professionnelle peut nécessiter une vérification considérable, même si elle ne contient aucune hallucination manifeste.

7. L’objectif est une confiance calibrée

Ces risques ne fournissent aucun argument raisonnable en faveur d’une méfiance généralisée.

Pour certaines tâches, l’IA peut travailler avec davantage de précision, de rapidité et de cohérence que les êtres humains. Rejeter par principe de bonnes recommandations machiniques produit également des erreurs.

La recherche sur l’automatisation distingue donc l’utilisation appropriée, la confiance excessive et la non-utilisation injustifiée. Lee et See parlent d’appropriate reliance, c’est-à-dire d’une dépendance adaptée à la tâche et aux performances du système. [8]

L’objectif est une confiance calibrée.

Les êtres humains ne devraient ni suivre une IA parce qu’elle est une IA, ni la contredire pour cette même raison.

Pour quelles tâches le système est-il performant ? Quelles erreurs surviennent généralement ? À quel point ses informations sont-elles à jour ? Quelles sources de données utilise-t-il ? Quelle serait l’ampleur du dommage causé par une erreur ? La réponse peut-elle être vérifiée indépendamment ?

C’est bien plus exigeant que le scepticisme. Le scepticisme peut être général. La confiance calibrée exige du discernement.

8. Les explications ne sont pas un antidote automatique

Un espoir répandu est le suivant : si une IA explique sa réponse, les êtres humains pourront mieux en évaluer la qualité.

Cela peut fonctionner. Mais ce n’est pas garanti.

Chen et ses collègues ont étudié la manière dont les êtres humains utilisent différents types d’explications dans les décisions assistées par l’IA. Dans leurs tâches, les explications fondées sur des caractéristiques ont parfois entraîné une dépendance excessive plus forte, tandis que les explications fondées sur des exemples offraient de meilleures conditions pour une correction judicieuse. [9]

Vasconcelos et ses collègues ont montré, dans cinq études réunissant au total 731 participants, que les êtres humains examinent davantage les explications lorsque l’utilité attendue justifie les coûts cognitifs. Les tâches difficiles, les explications difficiles à vérifier et l’absence d’incitations peuvent favoriser une dépendance excessive. [10]

Une explication n’est donc pas bonne simplement parce qu’elle ressemble à une explication.

Les êtres humains doivent pouvoir comprendre l’explication, la vérifier et la confronter à des alternatives. Sous la pression du temps ou sans connaissances spécialisées, une explication plausible peut même rendre une recommandation erronée plus convaincante.

Le détecteur de bullshit en nous doit donc également demander :

Cette explication permet-elle un contrôle ou ne fait-elle que simuler la traçabilité ?

9. Les arguments favorables : l’IA peut manifestement aider les êtres humains

Une analyse sérieuse ne doit pas traiter les avantages dans une simple proposition subordonnée. Enfin, parce que c’est ainsi qu’on procède dans les analyses.

Dans une expérience contrôlée, Noy et Zhang ont constaté que les participants accomplissaient plus rapidement certaines tâches d’écriture typiques du travail avec l’IA générative et obtenaient en moyenne des résultats mieux évalués. [11]

Brynjolfsson, Li et Raymond ont étudié l’utilisation d’un assistant d’IA auprès de plus de 5.000 employés du service client. Dans ce contexte précis, l’accès à l’assistance a accru la productivité, mesurée en cas résolus par heure. Les employés les moins expérimentés en ont particulièrement bénéficié. [12] :

L’IA peut rendre le savoir plus accessible, réduire les barrières linguistiques, accélérer les tâches routinières, orienter les débutants et diffuser le savoir d’expérience au sein des organisations.

Ces résultats ne montrent pas que l’IA améliore tous les travaux intellectuels. Ils sont propres à une tâche, à un système et à un contexte.

Une étude CHI menée auprès de 319 travailleurs du savoir a constaté des liens entre une confiance plus élevée dans l’IA générative et un effort critique autodéclaré plus faible. À l’inverse, une confiance plus forte dans ses propres compétences allait de pair avec une vérification plus approfondie. L’étude montre un déplacement possible du travail cognitif vers le contrôle et l’intégration des outputs de l’IA. Elle ne prouve aucun déclin général ou durable de la capacité humaine à penser. [13]

Idée directriceL’IA peut améliorer la productivité et l’accès au savoir. Le fait qu’il en résulte un gain de compétence, une dépendance ou une perte de compétence dépend de la tâche, de l’utilisateur, de la conception du système et de l’organisation.

10. Le paradoxe de la compétence

Les personnes moins expérimentées peuvent bénéficier particulièrement de l’IA. En même temps, elles disposent plus rarement du savoir spécialisé nécessaire pour reconnaître les erreurs subtiles.

Le débutant obtient plus rapidement une réponse d’apparence professionnelle.

L’expert reconnaît plus facilement là où elle ne tient pas.

Il en résulte un paradoxe de la compétence :

La personne qui reçoit le plus d’assistance peut simultanément en devenir la plus dépendante.

Ce n’est pas un argument contre l’apprentissage assisté par l’IA. L’IA peut remarquablement expliquer, répondre aux questions complémentaires, produire des exemples et fournir un retour individualisé.

La forme de l’utilisation est décisive.

La personne qui demande :

« Explique-moi la démarche de résolution, signale les incertitudes, puis vérifie ma compréhension »,

utilise l’IA autrement que la personne qui demande :

« Résous le problème et rédige le devoir à rendre. »

Dans le premier cas, l’IA peut soutenir le développement des compétences. Dans le second, elle peut améliorer le résultat visible sans développer l’aptitude sous-jacente.

Le détecteur de bullshit ne vérifie donc pas seulement la machine.

Il vérifie aussi notre propre division du travail avec elle.

11. Les conséquences sociales

11.1 Éducation

L’éducation ne consiste pas seulement à produire des résultats corrects. Elle développe des aptitudes : lire, comparer, justifier, formuler, douter, échouer et corriger.

L’IA peut soutenir ces processus. Mais elle peut également les court-circuiter.

Les écoles et les universités ne devraient donc pas enseigner uniquement le Prompting. Les apprenants doivent décomposer les réponses de l’IA, contrôler les sources, reconnaître les affirmations excessives, élaborer des positions opposées et pouvoir expliquer les contenus sans l’IA.

L’objet pertinent de l’évaluation se déplace.

La capacité à produire un texte lisse devient moins importante. La capacité à le comprendre, à le défendre et à le corriger le devient davantage. Au fond, ce n’est pas différent d’autrefois à l’école, lorsque nous copiions les devoirs du premier de la classe.

11.2 Monde du travail

Dans de nombreux processus intellectuels, les coûts de production peuvent diminuer plus rapidement que les coûts de vérification spécialisée.

Un rapport peut être produit en quelques minutes. Ses chiffres, ses sources et ses conclusions doivent néanmoins être contrôlés. Si ces coûts de vérification sont transférés aux collègues ou aux clients, la vitesse individuelle peut augmenter tandis que la productivité de l’ensemble du système diminue.

Les organisations ne doivent donc pas mesurer uniquement l’output. Elles doivent tenir compte de l’effort de vérification, du coût des erreurs et du développement des compétences.

11.3 Science

La qualité scientifique ne naît pas d’un ton académique. Elle naît des méthodes, des données, des citations, de la critique et de la reproductibilité.

Une source doit exister. Elle doit avoir été lue. Elle doit étayer l’affirmation concrète. Un chiffre doit pouvoir être retracé jusqu’à l’original. Les auteurs restent responsables de chaque phrase.

« L’IA a cité la source » n’est pas une justification scientifique.

11.4 Espace public

L’IA générative réduit le coût des contenus rédigés dans un langage professionnel. La quantité de textes plausibles peut ainsi croître plus vite que la capacité de vérification de la société.

Lorsque la recherche vérifiée et la plausibilité synthétique ont la même apparence, un épuisement épistémique menace : l’attitude selon laquelle il ne serait de toute façon plus possible d’établir ce qui est vrai.

11.5 Inégalité

L’IA peut démocratiser l’accès au savoir. Il existe en même temps un risque de nouvelle inégalité entre les personnes capables d’évaluer professionnellement les résultats de l’IA et celles qui doivent s’en remettre à leur apparence.

Sans infrastructures publiques d’éducation et de vérification, la capacité d’évaluation peut devenir un nouveau facteur d’inégalité.

Le conseil « Vérifiez la réponse » ne protège personne qui ne dispose ni du temps, ni des connaissances spécialisées, ni de l’accès à des sources fiables.

12. La responsabilité ne commence pas par l’utilisateur

Il serait commode de ne déduire de tout cela qu’une seule exigence :

Les gens doivent développer davantage leur esprit critique.

Les fournisseurs et les organisations pourraient ainsi reporter le risque sur chaque utilisateur.

L’ordre des responsabilités doit commencer dans le sens inverse.

Premièrement : les fournisseurs

Les fournisseurs doivent concevoir les systèmes de manière à réduire les erreurs connues, à rendre les sources traçables et à faire apparaître les incertitudes. Ils ne doivent pas systématiquement présenter une certitude linguistique supérieure à ce que justifient les éléments probants.

Deuxièmement : les organisations

Les organisations doivent définir les tâches pour lesquelles l’IA peut être utilisée, les vérifications requises, les responsables et les circonstances dans lesquelles une procédure doit être interrompue.

Troisièmement : les institutions publiques

La législation et les autorités de surveillance doivent garantir l’audit, la responsabilité, les voies de recours, l’éducation et l’accès à des informations indépendantes.

Quatrièmement : les utilisateurs

Les utilisateurs ont besoin de vigilance épistémique. Mais ils ne doivent pas constituer le dernier garde-fou de systèmes qu’ils ne peuvent absolument pas contrôler sur le plan technique.

Idée directriceMoins les possibilités individuelles de vérification sont grandes et plus le dommage potentiel est important, moins la fiabilité doit dépendre d’un détecteur de bullshit personnel.

L’article 4 de l’EU AI Act oblige les fournisseurs et les déployeurs à prendre des mesures pour garantir un niveau suffisant de maîtrise de l’IA à leur personnel et aux autres personnes agissant pour leur compte.

La maîtrise de l’IA ne doit toutefois pas être confondue avec la connaissance des outils ou une formation aux prompts. Elle doit également inclure la capacité d’interpréter correctement les résultats, d’en reconnaître les limites et de ne pas poursuivre le travail lorsque les éléments probants sont insuffisants.

13. Le conflit avec la logique du produit

Un système qui signale fréquemment l’incertitude, rend visibles les contre-positions, renvoie vers la source primaire et ne répond pas lorsque les éléments probants sont insuffisants peut paraître moins fluide qu’un système qui fournit immédiatement une réponse claire.

Les produits sont souvent optimisés pour la rapidité, la fréquence d’utilisation, un faible taux d’abandon et une intégration poussée. La qualité épistémique peut en revanche exiger une certaine friction :

Du temps, des vérifications, des questions complémentaires, l’aveu de l’ignorance, la contradiction, parfois l’absence de réponse.

Cela ne signifie pas que les entreprises construisent nécessairement de mauvais systèmes. Cela signifie que la qualité de la vérité ne découle pas automatiquement d’une bonne expérience utilisateur.

Il s’agit ici d’une question de conception des systèmes, de modèles économiques et de contre-pouvoir institutionnel.

14. Une procédure de vérification pratique

Un détecteur de bullshit utile n’applique pas toujours la même rigueur. Il commence par le risque.

Étape 1 : déterminer les conséquences

Que se passe-t-il si la réponse est fausse ?

Un brainstorming sans engagement exige moins de contrôle qu’une affirmation factuelle médicale, juridique, financière ou publique.

Étape 2 : séparer les affirmations

Quelles déclarations sont des faits ? Lesquelles sont des interprétations ? Des prévisions ? Des recommandations ? Des jugements de valeur ?

Seules des affirmations distinctes peuvent être correctement vérifiées.

Étape 3 : clarifier l’état du système

Un modèle de base répond-il à partir des connaissances schématiques issues de son entraînement ? L’application utilise-t-elle des sources web actuelles ? Accède-t-elle à une base de données définie ? Un calcul a-t-il été effectué ou s’agit-il seulement d’une estimation formulée verbalement ?

Étape 4 : contrôler les sources

La source existe-t-elle ? L’auteur, le titre et la date sont-ils corrects ? S’agit-il d’une source primaire ? Étaye-t-elle l’affirmation précise ? Son résultat a-t-il été extrapolé à l’excès ?

Étape 5 : déconstruire les chiffres

Les chiffres exigent une valeur de référence, une période, une population de base, une méthode et une valeur de comparaison.

« 40 pour cent » ne constitue pas une information fiable tant qu’on ignore : 40 pour cent de quoi, quand, chez qui et par rapport à quoi ?

Étape 6 : rechercher les contre-positions

Quelle perspective sérieuse contredit la réponse ? Quelle réserve un spécialiste formulerait-il ? Quelle information pourrait modifier la conclusion ?

Étape 7 : trianguler de manière indépendante

Les affirmations déterminantes exigent une voie de vérification indépendante : source primaire, base de données spécialisée, texte de loi, statistique officielle, revue systématique ou spécialiste qualifié.

Plusieurs réponses de systèmes d’IA apparentés ne constituent pas automatiquement des preuves indépendantes.

Étape 8 : savoir s’arrêter

Lorsqu’une affirmation ne peut pas être suffisamment vérifiée, la mention correcte est :

Non vérifié.

Ce n’est pas un échec. C’est de l’hygiène épistémique.

15. Les contre-arguments

Les humains produisent eux aussi du bullshit

Exact. L’IA n’en est pas la cause originelle.

Elle peut toutefois modifier les coûts de production, la vitesse et la capacité d’adaptation de contenus plausibles. Un problème humain peut ainsi devenir un problème de changement d’échelle.

Une vérification permanente détruit l’utilité

C’est également vrai si chaque tâche anodine est traitée comme une procédure à haut risque.

La vérification doit donc être fondée sur le risque. Plus les conséquences sont importantes, plus la norme doit être stricte.

L’IA peut prendre de meilleures décisions que les humains

Pour certaines tâches, oui.

Le détecteur de bullshit ne doit pas ériger l’autorité humaine en absolu. Il doit faire en sorte que les erreurs humaines et celles des machines se compensent mutuellement.

Parfois, l’humain doit corriger l’IA. Parfois, l’IA doit corriger l’humain.

Les bons systèmes permettent les deux.

Personne ne peut tout vérifier soi-même

C’est précisément pourquoi les sociétés reposent sur la division du travail et une confiance justifiée.

Le détecteur de bullshit ne signifie pas qu’il faut personnellement tout recalculer. Il consiste à reconnaître quand la confiance ordinaire suffit et quand une source, une procédure ou un expert est nécessaire.

Le terme est trop polémique

Il serait inadapté à une norme technique. Dans le débat public, il remplit une fonction : il désigne de manière frappante la différence entre un langage convaincant et une autorité épistémique imméritée.

Pour que le concept soit scientifiquement défendable, sa limite doit rester claire.

Il ne décrit pas une conscience de la machine.

Il décrit un problème de vérification auquel la société est confrontée.

16. Conclusion : la machine peut répondre

Nous utiliserons l’IA.

Dès ce matin. Pour les e-mails, la recherche, les traductions, les analyses, l’enseignement, la programmation, l’administration, la science et les décisions.

La compétence décisive ne consiste plus seulement à produire de bonnes réponses.

Elle consiste à savoir évaluer le statut d’une réponse.

Est-ce un savoir ? Une hypothèse plausible ? Un résumé incomplet ? Une véritable source ? Une recommandation sans fondement suffisant ? Ou une forme linguistiquement impressionnante qui ne tient pas sur le plan épistémique ?

Le détecteur de bullshit ne protège pas de toute erreur.

Il protège la différence entre le langage et le savoir, entre l’explication et les éléments probants, entre l’assistance et l’autorité.

Plus les machines deviennent fiables, plus les erreurs peuvent se raréfier. Mais les erreurs rares peuvent devenir plus difficiles à détecter, car une grande fiabilité peut affaiblir le contrôle actif. La recherche sur l’automatisation met depuis longtemps en garde contre l’usage inapproprié, le non-usage et l’usage excessif des systèmes techniques. [15]

La machine peut répondre.

Mais aucun être humain, aucune entreprise et aucune institution ne doit considérer une réponse convaincante comme un savoir uniquement parce qu’elle est convaincante.