L’occasion était simplement parfaite. Avec son expérience loufoque, osée, voire provocatrice, Nathalie me donnait l’occasion de parler de mon métier bousculé, contrarié par l’IA depuis au moins 6 ans déjà… L’opportunité également d’aborder le sujet sous un angle nouveau, empirique, et de faire germer quelques idées et questionnements.
Qu’expérimente-t-on exactement ?
L’« expérience visuo-linguistique » est lancée en septembre 2023 auprès de 27 traductrices et traducteurs de langue française, anglaise, espagnole et suédoise faisant partie de mon réseau ou « recrutés » par le biais du Tradiscord, une communauté en ligne de traducteur·rices à laquelle j’appartiens. Les instructions fournies sont très succinctes de façon à préserver l’aveugle. Il est demandé à chaque linguiste de parcourir le magazine (version dépourvue d’éditorial, d’ours et de toute mention à l’IA) et de faire un retour sur la qualité globale des textes, fond et forme. L’idée est de voir si ces plumes expertes seront capables de déceler l’IA derrière les mots. Il leur est également demandé de noter la qualité de l’écriture en attribuant une note globale sur 10.
En définitive, sur les 27 personnes interrogées, 6 (22 %) n’ont pas imaginé un instant que les textes aient pu être générés par une IA et 21 (78 %) l’ont deviné, avec plus ou moins de certitude. Quant aux notes, une note moyenne de 6,7 sur 10 a été attribuée à la forme contre 6 sur 10 pour le fond.
Qu’en pensent les linguistes ?
Les commentaires reçus sont riches et variés, teintés d’humour, de doutes, de révolte parfois, chacun·e étant libre de commenter à sa manière et de sélectionner les articles à sa guise. Le magazine est d’emblée bien accueilli. Au premier coup d’œil, la présentation est jugée léchée, sophistiquée, agréable et claire. Les thèmes explorés sont intéressants et pertinents. Puis, rapidement, le doute s’immisce. Les personnes interrogées me font part d’un sentiment de malaise, d’inadéquation, certain·es restent perplexes, ne sachant mettre le doigt sur ce qui dérange parfois.
La structure très formelle (on me parle de « thèse », de « mémoire », « pas assez presse », « démonstration scientifique ») empruntée aux articles scientifiques (« dans cet article, nous explorerons », « en conclusion ») est mentionnée dans tous les retours reçus. Les textes semblent s’inspirer de l’anglais, aussi bien dans les tournures employées, le choix des mots que dans la typographie par endroits (l’usage des majuscules pour chaque mot du titre, que l’on retrouve dans le magazine, est une règle de typographie anglaise). Par ailleurs, la majorité des personnes citées dans les témoignages portent des prénoms à consonance anglo-saxonne, orthographiés à l’anglaise (Mary, John, William, Evelyn, James). Les textes manquent de naturel, sont étrangement répétitifs, ils manquent de diversité linguistique - les mêmes mots-clés sont répétés à l’envi, l’exploration lexicale est inexistante. La majorité des linguistes ont supposé qu’il s’agissait d’une traduction automatique ou d’une traduction littérale, non rédigée par une personne native. Or, il ne s’agit pas d’une traduction à proprement parler.
On note également pléthore de défauts esthétiques dans la mise en page, la typographie, la ponctuation ; des erreurs de syntaxe, quelques coquilles, une écriture inclusive aléatoire par endroits, même si l’usage excessif des tournures impersonnelles permet de contourner le problème. Le contenu est quant à lui jugé plat, creux, niais, naïf. Il n’y a pas d’effet de surprises ou d’anecdotes intéressantes, de contre-argumentation ou d’informations nouvelles, lecteurs et lectrices restent sur leur faim. Est également évoqué l’aspect stéréotypé des visuels, ce qui dénote avec l’approche a priori subversive, ou du moins alternative, de IELS. Pour un magazine censé faire tomber les barrières, les références aux personnes LGBTQ+ et aux personnes de couleur sont quasiment inexistantes, les témoignages et les images mettent principalement en scène des couples blancs, bronzés, minces et hétérosexuels. Il y a comme un hiatus entre l’aspect luxueux et soigné du magazine, d’une part, et les maladresses et platitudes dans l’écriture et le contenu, d’autre part.
Sans grande surprise, les maladresses et incohérences du texte original français se retrouvent dans les traductions faites par l’outil. Quelle que soit la langue, les retours sont unanimes : « on entend le français » derrière les mots, comme le dit joliment une des traductrices suédoises. Aux bizarreries de départ, s’ajoutent des erreurs de typographie (guillemets français [chevrons] laissés dans les traductions), de ponctuation (l’usage de la ponctuation n’étant pas transposable tel quel d’une langue à l’autre) ou dans le choix des mots même s’il s’agit parfois de différences subtiles (« a few » à la place de « some »). Les linguistes relèvent et corrigent - par réflexe - un nombre non négligeable de gallicismes et d’erreurs de traduction. Citons à titre d’exemple la traduction pour le moins malheureuse de « World street fashion », traduite en espagnol par « La moda mundial de calle », une référence à la « mode des sans-abris » et non à la mode « urbaine ». Les textes anglais sont jugés trop verbeux, l’anglais étant une langue élastique et plastique par essence. Même constat dans les textes en espagnol, qui transpirent la traduction (or l’exercice traductif est avant tout un travail discret). Certaines tournures et structures couramment employées en espagnol, l’usage de la voix passive réfléchie par exemple, semblent inconnues de ChatGPT.
L’adaptation culturelle, nécessaire pour toucher le public cible, est également inexistante. La version espagnole mêle vouvoiement et tutoiement. La version anglaise semble avant tout s’adresser à un public américain d’après l’orthographe utilisée (-or [US] vs -our [UK]) et les termes employés (« runway » [US] vs « catwalk », « zucchini » vs « courgette », « pants » vs « underwear ») même si les recettes de cuisine utilisent le système métrique et non le système impérial (onces et livres) appliqué aux États-Unis. Dans les 3 langues, l’IA peine à expliquer le pronom IELS et se contente de traduire littéralement un paragraphe qu’il aurait fallu adapter culturellement (« localiser ») en précisant au minimum qu’il s’agit de la combinaison de 2 pronoms français (les traductions ne précisent nullement qu’il s’agit d’un pronom étranger). On peut toutefois imaginer que la machine ne devrait pas tarder à être en mesure de retrouver les équivalents de IELS dans les 3 langues cibles (hen en suédois, elle en espagnol et they en anglais), à condition de la nourrir à partir de textes « inclusifs » et diversifiés.
Le verdict est sans appel pour l’ensemble des linguistes impliqué·es dans l’expérience : les traductions ne sont pas publiables en l’état.
Nathalie Dupuy et moi-même nous sommes par ailleurs demandé si la traduction était meilleure à partir d’un texte rédigé par une personne humaine (en partant du principe que plus le texte de départ est bon, meilleure sera la traduction). Il s’avère au final que si la traduction de l’éditorial, rédigé par Nathalie, est correcte et fidèle au texte de départ, les subtilités du texte original (la touche d’humour, le rythme et le style) sont nettement estompées. L’écriture manque à nouveau de naturel et d’équilibre, l’outil ayant suivi à la lettre la structure du texte français. Le verdict reste le même que précédemment : trop d’automatismes, pas assez d’humain.
Et notre capacité de réflexion dans tout ça ?
Même si le postulat de départ est en fait biaisé car, dans la vraie vie, les textes sont relus et corrigés par des personnes humaines, l’expérience n’en demeure pas moins éloquente. Elle illustre de façon presque caricaturale tout ce que les métiers de l’écrit reprochent à l’IA, à commencer par les risques d’appauvrissement et d’homogénéisation de la langue et, par extension, le risque d’une pensée et d’une culture sinon uniques, au minimum perverties. Je ne peux d’ailleurs m’empêcher de faire le rapprochement avec le concept d’acculturation à l’IA, fréquemment encouragée par les experts du numérique. L’usage de ce terme équivoque - le préfixe « a » étant fréquemment compris comme un « a » privatif alors qu’il s’agit bien du « a » inclusif de ad culturem, « acculturer » signifiant « assimiler un groupe ethnique, les individus d’un groupe culturel, à un autre groupe culturel » (définition du CNRTL) sur le plan ethnologique et sociologique - est quelque peu cocasse, voire effroyablement approprié, si l’on songe aux risques d’aliénation et d’altération de la pensée évoqués précédemment.
L’IA n’invente rien, elle recrée du contenu à partir des données avec lesquelles elle a été nourrie en tentant de jouer le meilleur coup possible, avec une perception très limitée du contexte global, du ton ou de l’intention revendiquée. Elle a de fait tendance à simplifier les choses et à privilégier les tournures, collocations et associations les plus courantes dont elle dispose, pour la forme comme pour le fond. Le contrôle de la qualité, de la fiabilité et de la diversité des ressources textuelles ou visuelles que l’on donne à ingurgiter à l’IA devient dès lors urgent. À ce sujet, l’IA Act de l’Union européenne sera-t-il suffisamment audacieux et contraignant ? L’UE parviendra-t-elle à faire fi de la cupidité de l’industrie au nom de l’humain et de l’environnement ?
Dans le microcosme de la traduction, l’IA a réellement pris son envol en 2018, avec l’arrivée de la traduction automatique neuronale (ou apprentissage profond) qui analyse la phrase dans son ensemble, contrairement à la traduction automatique statistique dont l’analyse est bien plus morcelée. Malgré des progrès effarants, la machine trébuche encore - et reste à terre - face aux intraduisibles, aux expressions idiomatiques ou à tout contenu nécessitant un tant soit peu de créativité et d’adaptation culturelle. Elle n’est pas non plus encore capable de résoudre les ambiguïtés syntaxiques et sémantiques. Elle n’en saborde pas moins le quotidien des traducteurs et traductrices pragmatiques chargé·es, par leurs commanditaires, des agences de traduction essentiellement, de corriger des textes moulinés par la machine dans des délais toujours plus courts pour des tarifs rarement honnêtes. Des conditions de travail un tantinet dégradées, déplorables même peut-être...
Ajoutons à cela le côté rébarbatif du travail, la perte en qualité et en créativité liée au biais d’ancrage (Kahneman et Tversky, 1974) - d’après une étude comparative menée sur un texte littéraire par Waltraud Kolb, chercheuse à l’Institut des sciences de la traduction de Vienne, les traductrices et traducteurs privilégieraient les propositions de la machine - mais également la perte d’engagement vis-à-vis de l’auteur·rice et du texte source (toujours d’après les études de Waltraud Kolb, les traductrices et traducteurs auraient tendance à se focaliser sur les sorties de la machine et à perdre de vue le texte de départ) ou simplement la cadence de travail et nos limites cognitives.
Exit donc le goût de l’effort, les sessions de remue-méninges, le plaisir de traduire, d’écrire, pour laisser place à l’homme ou à la femme augmenté, mais décérébré ? Non merci, sans façon.