Revenir à la source

Qu’est-ce qu’une source ? Est-ce que ce concept est encore compris à l’heure des réponses par IA générative et des modèles de « recherche profonde » ? Quand trouve-t-elle sa place dans un processus d’écriture ? Et surtout, à quoi ça sert si ce n’est étaler sa science et étouffer la contradiction par appel à l’autorité ? Un billet d’humeur.

Qu’est-ce qu’une source ?

J’avais mentionné cette question en passant dans un billet sur l’IA générative, et je pense que c’est vraiment le fond d’un des nombreux problèmes que nous rencontrons dans notre société de l’information. On semble oublier qu’une source primaire, c’est une archive, un témoignage, des données chiffrées, ou un travail de recherche original comme une publication scientifique. Une source secondaire se base sur des sources primaires pour en tirer une analyse ou une synthèse, comme le travail d’une journaliste. Un article ou billet d’opinion comme celui-ci n’est une source que sur les positions de son autrice, même s’il peut comprendre des sources pour les affirmations qu’il contient.

Le deuxième degré serait de s’interroger sur ce qui rend une source fiable. Exercice plus difficile, qui renvoie à l’expertise, à la pertinence, à CRAAP et autres méthodes d’évaluation, toutes limitées et propres à être biaisées elles aussi par leurs utilisatrices. Comme le répètent les cours inspirés par le cadre de l’ACRL sur la littératie informationnelle , « l’autorité est construite et contextuelle« . Elle s’inscrit dans un cadre précis et reste sujette à vérification. Je ne vais donc pas me lancer sur ce sujet miné, tant il est plus facile d’identifier la non-fiabilité (erreurs, mensonges démontrables) que la fiabilité elle-même.

Les IA génératives sont-elles des sources ?

La réponse est aisée : la production d’un GPT (generative pre-trained transformer, soit un type d' »IA générative ») n’est pas une source primaire ou même secondaire. C’est, pour filer la métaphore aquatique, une machine à recombiner artificiellement des atomes d’hydrogène et d’oxygène puisés dans les océans pour créer des molécules d’eau (texte, image, son).

Oui, il y a en amont un lien ténu avec des publications, mais les phrases qui en sont issues sont des combination probabilistes et pas des informations. Utiliser plusieurs LLM et constater que leurs réponses sont en accord ne signifie pas qu’il y a un consensus entre sources, mais seulement que l’association de termes est statistiquement probable. Le résultat peut être correct, mais le texte produit ne reflète pas une connaissance. Tout comme on ne peut pas citer « Google » comme source, on ne peut pas citer ChatGPT comme telle – on peut en revanche l’utiliser pour se lancer avant de consulter de véritables sources, même si je préférerais pour ma part utiliser un vrai moteur de recherche.

Cette description pourrait aussi faire penser à Wikipedia, qu’on ne peut généralement pas citer dans un travail universitaire, à la différence que les règles de cette encyclopédie en ligne exigent que ses affirmations soient sourcées, et que la lectrice pourra ainsi consulter l’origine de chaque information. Wikipedia est donc bien une source secondaire ou tertiaire très pratique pour un blog comme le mien, mais on ne peut pas donner le même statut à un GPT ou même un outil de « recherche profonde ». Un marqueur de cette différence est qu’on peut facilement appliquer la méthode CRAAP à Wikipedia ou à un de ses articles, alors qu’il est totalement inadapté à la production d’un GPT : il n’a pas d’auteur, pas de date si ce n’est celle de la génération, pas d’autorité, et pas d’objectif si ce n’est provoquer l’engagement de la personne ayant rédigé le prompt. La méthode SIFT ou recherche latérale reste en revanche pertinente pour eux.¹

Les outils de recherche profonde par agents (deep research) tentent de répondre à ce problème en demandant aux outils de « vérifier » leurs propres affirmations en proposant, justement, des sources vérifiables. C’est un progrès, mais il nécessite toujours que l’utilisatrice aille consulter celles-ci plutôt que se fier au texte généré pour les synthétiser. Ces modèles ne sont donc pas non plus des sources, mais peuvent permettre d’en identifier plus facilement, pour peu qu’ils soient efficaces.

Bâtir son argumentation à l’envers

On a récemment vu un zététicien populaire publier, en réaction à des critiques, un billet bourré d’erreurs mais aussi de citations imaginaires probablement sorties d’un GPT, avant de le modifier après les quolibets de ses détractrices². A cette occasion, j’ai même appris que dans le passé, il avait sollicité des partisans pour ajouter des citations allant dans son sens à un article qui en manquait – un comportement absolument contraire à ce que l’exigence de citations est censé permettre.

Durant la rédaction, l’accès à des sources et leur citation doit être l’occasion de corriger ses propres biais en basant ses affirmations, pas de les maquiller sous un vernis d’autorité en allant à la cueillette aux cerises³ en collant une bibliographie qui claque, mais qui ne correspond pas toujours à un consensus, ni même parfois à ce qui est affirmé dans les sources elles-mêmes.

Nous avons toutes des biais. Je ne ressens même pas l’utilité d’une citation pour accompagner cette affirmation, et vous pouvez arrêter de lire si vous vous pensez immune – je ne le suis clairement pas. Avec la somme d’informations disponibles en ligne⁴, on peut toutefois en quelques heures de travail rédiger un billet honnête, argumenté, et correctement sourcé sur à peu près n’importe quel sujet auquel on s’intéresse sincèrement, pour autant qu’on essaie de bien faire.

Et moi dans tout ça

Je suis régulièrement choqué des raccourcis pris par certaines éditorialistes ou influenceuses. Publier des âneries sans se remettre en question représente à mes yeux un manque de respect à la fois envers ses lectrices et soi-même. J’agonise au moment de publier n’importe quel truc vaguement polémique en doutant de tout ce que je dis, et voir d’autres autrices asséner des conneries qu’elles ne prennent clairement pas le temps de vérifier me désole.

Même une personne arrogante devrait être capable d’identifier ce que d’autres pourraient critiquer et de le corriger avant publication. En fait, je suis ma première lectrice, et je m’assure au minimum de ne pas trouver moi-même mes arguments foireux : ça arrive trop souvent, et c’est ce qui cause mes remises en question. Je trouve fou de se dire blogueuse, autrice, « influenceuse » ou essayiste sans même faire cet effort.

Si vous rédigez un billet d’opinion, ce que je fais souvent, il est légitime de commencer par le faire en fonction de vos lectures passées, souvenirs, et ressentis, mais cela nécessite tout de même à un certain point la vérification par les sources – pas l’ajout de sources allant dans votre sens pour asséner votre supériorité intellectuelle, mais pour vous assurer que vos biais et souvenirs imprécis n’ont pas complètement faussé vos arguments. Il m’est arrivé de changer d’angle, voir d’avis sur le fond, en constatant ainsi que je me trompais.

En arriver à générer des citations « d’illustration » sans vérifier leur pertinence et même leur existence, c’est le signe qu’on est vraiment juste un con avec une opinion. J’ai un peu trop de respect pour moi-même pour m’en contenter, sans même parler de la honte que me cause(rait) un billet trop à côté de la plaque⁵. Il me faudrait beaucoup plus d’arrogance pour ne plus avoir besoin de me rassurer sur le fait que je ne dis pas n’importe quoi.

Un bon exemple ?

Connaissez-vous « C’est pas sourcé » ? Cette chaîne Youtube découverte par copinage⁶, que j’apprécie particulièrement dans un sujet qui pourtant n’est pas au cœur de mes préoccupations, a basé son identité autour de l’idée de remonter aux sources pour confirmer ou contredire des évidences ou contradictions autour de l’histoire des religions.

Vous avez des certitudes concernant l’origine de Halloween, de Noël, ou de la laïcité ? Peut-être que vous devriez jeter un œil à leurs interminables⁷ séries et discussions, qui montrent souvent que la réponse est plus floue et complexe que les avis tranchés d’un côté ou de l’autre, qui relèvent plus souvent de l’idéologie que de faits ou sources établies.

Le seul problème de cette chaîne ? Ses créatrices publient rarement. Eh oui, travailler à l’endroit, ça demande plus d’efforts, ça nécessite parfois des révisions quand on interprète mal ou qu’on découvre de nouvelles sources, mais c’est le principe même de l’honnêteté intellectuelle. De la même manière qu’un Histony⁸ prend du temps pour préparer ses vidéos et les révise parfois plusieurs années plus tard, la qualité nécessite de l’investissement et de l’honnêteté intellectuelle.

C’est un peu hors-sujet, mais Mike Caulfield, le créateur de la méthode SIFT, essaie maintenant de développer des méthodes de vérification à travers les GPT eux-même. Si je maintiens des doutes fondamentaux à ce sujet, je trouve ses efforts très intéressants et vous invite à le suivre sur Bluesky pour en savoir plus. Lui et Aaron Tay sont les deux professionnels pro-IA les plus intéressants actuellement à mes yeux. ↩︎
Si vous avez une curiosité morbide, vous pouvez consulter les versions du 14 juillet – l’originale remplie de conneries – et celle du 18 juillet, qui a reçu un coup de peinture pour dissimuler ses erreurs les plus criantes mais dont l’historique permet de comprendre qu’elle « picore » des sources pour défendre son auteur au lieu de s’appuyer sur l’état de l’art (voir note suivante). ↩︎
C’est bien de sélection biaisée de sources ou de résultats de recherche pour servir son propos que je parle. Je n’ai jamais vu avant de rédiger ce billet de traduction littérale l’expression « cherry-picking » (apparemment « picorage » en français), mais je vous l’offre avec plaisir parce qu’elle paraît aussi charmante que désuette. ↩︎
Ou en bibliothèque si vous êtes vieille comme moi. ↩︎
J’en ai déjà révisé quand j’étais insatisfait, et pour certains, c’est en cours – j’ai clairement du ménage à faire, mais je n’ai jamais aimé ça. ↩︎
Ah, Neuchâtel, son lac, son brouillard… La Suisse romande et ses (ex-)Twittos, ça reste un monde minuscule. ↩︎
On ne dirait pas, mais c’est un compliment. Sauf pour celles qui ne sont effectivement pas terminées. 😉 ↩︎
Pas de copinage dans ce lien-là, je suis simple spectateur, mais j’apprécie sa démarche. ↩︎