Caroline Gans Combe enseigne à l’INSEEC (OMNES Education) comme professeure associée. Son truc : repenser l’innovation et la création de valeur autrement. Elle forme sur la data science, le suivi d’impact et l’éthique qui va avec. Économiste de formation, elle s’attaque à un sujet épineux : comment faire entrer dans les bilans comptables ce qu’on classe trop vite en "coûts", l’éthique, la frugalité, la dépollution ou encore les bonnes pratiques de recherche. La Commission européenne fait appel à elle comme experte indépendante sur la santé, les TIC, la sécurité des données, le financement des PME et (encore) l’éthique. Elle a co-publié sur la sobriété (numérique, économique, écologique) notamment dans PLOS ONE. Elle valorise ce qui compte vraiment, pas juste ce qui se compte.
Définition
Avant d’interroger les limites éthiques des agents, il faut clarifier, me semble-t-il ce que désigne réellement un "agent IA", car le terme recouvre des réalités techniques et conceptuelles distinctes d’autres systèmes d’intelligence artificielle.
Un agent IA se caractérise par trois propriétés fondamentales qui le distinguent d’un simple outil algorithmique ou d’un modèle de machine learning classique :
Premièrement, l’autonomie opérationnelle. Contrairement à un système d’IA qui répond à une requête ponctuelle (comme un chatbot ou un système de recommandation), l’agent possède la capacité d’agir de manière continue et semi-autonome pour atteindre un objectif défini. Il ne se contente pas de fournir une réponse : il planifie, exécute des séquences d’actions, s’adapte aux obstacles, et itère jusqu’à accomplissement de sa mission. Par exemple, un agent de gestion de projet ne se limite pas à suggérer des tâches - il peut programmer des réunions, allouer des ressources, relancer des collaborateurs, ajuster des plannings en fonction des imprévus, sans intervention humaine constante.
Deuxièmement, la persistance temporelle. Un agent IA maintient un état, une mémoire de ses actions passées, et une compréhension évolutive de son environnement. Il ne traite pas chaque situation comme un événement isolé : il construit une représentation dynamique du contexte et adapte ses stratégies en fonction de l’historique. Cette dimension temporelle lui permet d’apprendre de ses interactions, d’affiner ses modèles de décision, et de développer des comportements qui ne sont pas explicitement programmés mais émergent de son fonctionnement prolongé dans un environnement donné.
Troisièmement, la capacité d’instrumentation. Les agents IA modernes ne sont pas confinés à un seul domaine ou à une seule interface : ils peuvent mobiliser une variété d’outils, d’APIs, de bases de données, et d’autres systèmes logiciels pour accomplir leurs objectifs. Un agent commercial peut accéder à un CRM, envoyer des emails, analyser des données financières, générer des contrats, et synchroniser des calendriers. Cette multi-modalité d’action le rapproche d’un assistant cognitif doté de véritables "mains numériques" dans l’écosystème informationnel de l’entreprise.
Ces trois caractéristiques combinées font que l’agent IA n’est pas un simple "outil qu’on utilise" mais plutôt un acteur quasi-autonome qui intervient dans des processus complexes avec une marge de manœuvre significative. C’est cette autonomie opérationnelle qui soulève des questions éthiques inédites : contrairement à un algorithme dont on vérifie chaque output, l’agent agit dans la durée, prend des micro-décisions en cascade, et produit des effets qui ne sont pas toujours prévisibles ou directement auditables.
Lorsqu’on parle d’agents IA dans le contexte de l’entreprise ou de l’administration publique, on fait donc référence à des systèmes qui assument une part de gouvernance opérationnelle - et c’est précisément ce transfert partiel de gouvernance qui nécessite un questionnement éthique rigoureux.
Assistance vs délégation : pourquoi je ne poserai pas la question de la sorte
Lorsqu’on demande où placer la limite entre assistance intelligente et délégation de responsabilité, on présuppose que l’agent IA intervient dans un espace décisionnel stable, préexistant, où il ne ferait que remplacer (ou aider) l’humain dans des choix déjà constitués. Cette vision est rassurante mais trompeuse. En réalité, l’introduction d’un agent IA dans un processus décisionnel transforme la nature même de ce qu’il est possible de décider.
Prenons un exemple concret : une entreprise déploie un agent IA pour optimiser la gestion de ses ressources humaines. On pourrait croire que l’agent "assiste" les managers en leur proposant des candidats, ou "délègue" la présélection des CV. Mais ce qui se passe est bien plus profond : l’agent redéfinit quels critères peuvent être pris en compte, quelles qualités deviennent mesurables, quelles trajectoires professionnelles deviennent visibles. Un candidat au parcours atypique, dont la valeur résiderait dans des compétences transversales difficiles à quantifier, peut simplement disparaître du champ des possibles (et c’est le cas de 70% des profils nous disent les études). Ce n’est pas que l’agent a "mal décidé" - c’est que la décision elle-même a changé de nature.
Cette transformation est ce que j’appelle une reconfiguration du champ décisionnel. L’agent IA ne se contente pas d’exécuter une tâche : il redéfinit l’ontologie de la tâche, c’est-à-dire ce qui existe comme option, comme critère, comme valeur dans cet espace. L’ontologie, au sens philosophique, désigne la structure de ce qui est reconnu comme réel, pertinent, ou même simplement possible dans un domaine donné. Quand un agent IA reconfigure l’ontologie d’une tâche, il ne se limite pas à choisir parmi des options existantes : il redéfinit quelles options peuvent exister, quels critères sont pertinents, quelles valeurs sont mesurables.
Aussi, lorsqu’un agent optimise les coûts de production, il ne "choisit" pas simplement parmi des options connues : il rend certaines options invisibles (celles qui ne se traduisent pas en indicateurs de coûts par exemple), il en crée de nouvelles (des configurations de processus que personne n’aurait imaginées), et surtout, il institue un nouveau régime de ce qui compte. Les managers, progressivement, cessent de se poser des questions qui ne trouvent pas de réponse dans le système de l’agent. On ne "délègue" pas sa responsabilité à l’agent : on adopte le système de valeurs qu’il incarne, souvent sans même s’en apercevoir.
La question éthique n’est donc pas "jusqu’où peut-on laisser l’agent décider ?" mais plutôt "quelles alternatives disparaissent quand l’agent optimise, et qui décide que ces alternatives n’avaient pas de valeur ?". La responsabilité n’est pas dans le choix final (que l’humain ou l’agent le fasse), elle est dans l’acceptation implicite du cadre de valeur que l’agent impose. Quand un médecin utilise un agent IA pour diagnostiquer, la question n’est pas seulement "le diagnostic est-il correct ?" mais "quels symptômes, quels récits de patients, quelles intuitions cliniques ne rentrent plus dans la grille de lecture de l’agent ?".
Ce qui rend cette situation éthiquement vertigineuse, c’est que la transformation est insidieuse. Les utilisateurs d’agents IA ne ressentent pas une "perte de contrôle" - au contraire, ils ont le sentiment d’une efficacité accrue, d’une rationalisation des processus. Mais cette efficacité se paie d’un rétrécissement du champ des possibles, d’une standardisation des critères de jugement, d’une homogénéisation des valeurs. La responsabilité se dissout non pas parce qu’elle est "déléguée" à la machine, mais parce qu’elle se redéploie dans l’acceptation d’une nouvelle grammaire de ce qui peut être valorisé.
L’enjeu éthique fondamental est donc de maintenir une vigilance réflexive sur cette reconfiguration. Cela implique de se demander systématiquement : qu’est-ce qui n’est plus pensable depuis que nous utilisons cet agent ? Quelles questions ne se posent plus ? Quelles valeurs deviennent inexprimables dans le langage de l’optimisation algorithmique ? Et surtout : qui a le pouvoir d’imposer ce nouveau cadre, et qui subit ses conséquences sans avoir eu voix au chapitre ?
Progrès économique sans valeur(s) humaines ?
Ce questionnement, à mon avis, relève de l’oxymore : comment peut-on qualifier de "progrès" un développement qui évacue précisément ce qui donne sens à l’activité économique : la satisfaction des besoins humains, l’épanouissement au travail, la justice distributive, la soutenabilité sociale et environnementale ? Et ce n’est pas une erreur linguistique, car cette approche révèle une contradiction structurelle dans la manière dont nous pensons l’automatisation par l’IA.
Les entreprises investissent massivement dans les agents IA avec une promesse apparemment irréfutable : optimiser les coûts, rationaliser les processus, augmenter la productivité. Le discours dominant présente cette automatisation comme un progrès économique naturel, une étape logique de l’évolution technologique. Mais cette évidence mérite d’être déconstruite, car elle repose sur un paradoxe fondamental rarement explicité.
Lorsqu’un agent IA optimise les coûts de production, il produit exactement ce qu’il mesure - et rend structurellement invisible tout ce qui échappe à ses indicateurs ou ses mesures. Il ne s’agit pas ici d’une limitation technique qu’on pourrait corriger avec de meilleurs algorithmes ou plus de données mais une conséquence intrinsèque du fonctionnement même de l’optimisation algorithmique : un agent ne peut maximiser ou minimiser que des variables qu’on a explicitement définies dans la définition de ce qu’on attend de lui, sa fonction "objectif". Tout ce qui n’est pas traduit en paramètres quantifiables n’existe tout simplement pas dans son univers décisionnel.
Prenons un exemple concret dans le secteur manufacturier. Une entreprise déploie un agent IA pour optimiser sa chaîne logistique : réduction des délais, minimisation des stocks, allocation optimale des ressources. L’agent excelle dans sa mission : les coûts baissent de 15%, les délais sont réduits de 20%. Succès économique indiscutable. Mais que s’est-il passé dans les zones d’ombre de cette optimisation ?
Par exemple, que se passe-t-il pour les fournisseurs locaux, dont les délais de livraison étaient légèrement moins compétitifs mais qui contribuaient à l’économie régionale et offraient une relation commerciale stable ? Ils ont été progressivement écartés au profit de fournisseurs distants plus "efficients". Quid des marges de sécurité dans les stocks, qui permettaient de répondre à des demandes exceptionnelles de clients fidèles : elles ont été éliminées comme des "inefficiences". Quid de la flexibilité humaine des équipes logistiques, leur capacité à improviser face à l’imprévu ? Elle s’est atrophiée parce que l’agent ne valorise que la conformité au plan optimisé.
Ces éléments - résilience du tissu économique local, fidélisation client, capacité d’adaptation humaine - ont une valeur économique réelle. Mais cette valeur n’était pas dans la définition des objectifs (sa fonction "objectif") de l’agent. Elle n’a donc pas été "sacrifiée" consciemment : elle s’est évaporée par ce que j’appelle une invisibilisation structurelle. Les valeurs qui n’entrent pas dans les références mesurables de l’agent cessent progressivement d’exister dans l’espace décisionnel - non pas une destruction volontaire de valeurs, mais par leur simple absence du cadre de référence algorithmique, par leur disparition progressive du champ de ce qui peut être pris en compte, valorisé, défendu.
Le discours du "progrès économique" devient alors profondément problématique. Peut-on vraiment parler de progrès quand l’optimisation se paie d’un appauvrissement du champ des valeurs économiques considérées ? Quand la "performance" mesurée masque une fragilisation des systèmes qui ne sera visible que lors de la prochaine crise ? L’histoire économique est remplie d’exemples où l’optimisation à court terme sur des critères étroits a produit des catastrophes systémiques - la crise financière de 2008 en est l’illustration la plus spectaculaire, où l’optimisation des rendements financiers a rendu invisible l’accumulation de risques systémiques.
Le véritable progrès économique intégrant la valeur humaine nécessiterait donc des agents IA d’un type radicalement nouveau : des agents capables de documenter et quantifier leur propre zone d’ombre. Imaginez un agent qui, au moment de proposer une optimisation, produirait également un "bilan des externalités cognitives" - c’est-à-dire un rapport explicite sur ce qu’il ne peut pas optimiser mais qui pourrait avoir de la valeur. "Mon optimisation réduit les coûts de 15%, mais je ne peux pas évaluer : l’impact sur la stabilité des relations fournisseurs, la résilience face aux ruptures d’approvisionnement, la satisfaction des équipes logistiques, la capacité de réponse aux demandes exceptionnelles."
Cette transparence sur les limites ne serait pas un aveu de faiblesse technique, mais une honnêteté épistémologique fondamentale. Elle permettrait aux décideurs humains de faire des choix véritablement informés : accepter l’optimisation proposée en connaissance de cause, ou décider que les valeurs invisibilisées par l’agent sont trop importantes pour être sacrifiées. Sans cette dimension, le "progrès économique" par l’IA reste un progrès borgne - hyperperformant sur une métrique étroite, aveugle sur tout le reste.
Sobriété algorithmique : de l’impératif moral à la contrainte architecturale
La question énergétique des agents IA n’est plus une préoccupation marginale de quelques écologistes technophobes : elle devient une contrainte physique majeure du déploiement de l’intelligence artificielle à grande échelle. Les modèles d’IA de dernière génération consomment des quantités d’énergie colossales - l’entraînement d’un grand modèle de langage peut émettre autant de CO2 que plusieurs voitures sur leur durée de vie complète, et l’inférence (l’utilisation opérationnelle) de millions d’agents IA en parallèle représente une charge énergétique croissante sur les infrastructures électriques mondiales.
Face à cette réalité, le principe de "sobriété algorithmique" est souvent invoqué comme une sorte d’impératif moral au sens rawlsien du terme : il faudrait développer des IA plus frugales, optimiser les modèles, limiter les usages non essentiels. Mais ce discours moral, si ce n’est moralisateur, aussi légitime soit-il, reste largement inopérant tant qu’il ne s’incarne pas dans des contraintes architecturales et réglementaires concrètes. La morale seule ne suffit pas face aux incitations économiques massives qui poussent au déploiement d’agents IA toujours plus puissants et donc plus énergivores.
Je propose donc trois mécanismes structurels pour transformer la sobriété algorithmique d’un vœu pieux en réalité opérationnelle :
Le budget énergétique affiché en temps réel. Imaginez que chaque agent IA soit équipé d’un compteur visible, à l’image d’un compteur Linky pour l’électricité domestique, qui affiche en permanence sa consommation énergétique. Non pas un chiffre abstrait enfoui dans une documentation technique, mais une information claire, actualisée, visible par tous les utilisateurs : "Cette requête a consommé 0,5 kWh, équivalent à 30 minutes de chauffage électrique." Cette transparence radicale transformerait la perception de l’IA : l’utilisateur prendrait conscience du coût réel de chaque interaction, et pourrait ajuster son usage en conséquence. Les entreprises, confrontées à la visibilité de l’augmentation des dépenses en termes de fluides - au delà de la visibilité de leur empreinte énergétique IA - seraient probablement incitées à optimiser leurs déploiements. Surtout, cette mesure créerait une culture de la responsabilité énergétique dans l’écosystème IA, comparable à ce qui a émergé progressivement dans d’autres secteurs.
Le droit à la solution "suffisante" (ce que j’ai publié et défendu dès 2023 autour du concept de puits de sobriété : https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0284487). Ce principe, inspiré du concept juridique de proportionnalité, pourrait établir in fine une norme peut être même, une obligation légale : avant de déployer une solution IA complexe et énergivore, chaque acteur aurait à démontrer qu’aucune solution plus sobre ne peut satisfaire au moins 80% du besoin. Concrètement, si un agent IA léger peut résoudre correctement 80% des cas d’usage, il devient la solution par défaut - le déploiement d’un agent plus lourd pour gagner 10% ou 15% de performance supplémentaire nécessiterait une justification explicite et surtout une nécessité critique. Ce principe inverse la logique actuelle, où on déploie systématiquement le modèle le plus puissant disponible "au cas où". Il réhabilite le concept d’optimisation de l’utilité marginale et de satisfaction suffisante dans un monde technologique obsédé par la maximisation. Parfois, "assez bon" est véritablement suffisant, et la performance marginale ne justifie pas le coût énergétique additionnel.
La pénalisation progressive de la complexité. Le principe est simple : plus un modèle d’IA est lourd et énergivore, plus son usage doit être pénalisé (on pourrait même imaginer, nous sommes en France après tout, championne du monde de la créativité fiscale) une taxation de la complexité. Cette taxation ne serait pas forfaitaire mais progressive - les modèles légers et frugaux ne seraient pas taxés, tandis que les modèles massifs seraient soumis à une taxation significative. Les revenus de cette taxe seraient intégralement redistribués vers la recherche et développement sur l’IA frugale (je sais, un rêve pieux) - comment obtenir des performances équivalentes avec des modèles plus sobres, comment optimiser l’efficience énergétique, comment développer des architectures innovantes consommant moins de ressources. Ce mécanisme créerait une incitation économique structurelle : déployer un agent IA gourmand en énergie coûterait plus cher, poussant les entreprises à privilégier des solutions sobres, avec une limite pénalisée : lorsque la complexité se révèlerait réellement indispensable.
Ces trois mécanismes ne sont pas des limitations arbitraires de l’innovation : ils sont des garde-fous nécessaires face à une externalité environnementale massive. Sans de telles contraintes structurelles, la sobriété algorithmique restera un principe incantatoire, répété dans les conférences et ignoré dans les pratiques industrielles. L’histoire des régulations environnementales montre qu’on ne change pas les comportements par l’incantation et les voeux seuls : il faut des règles claires, des incitations économiques alignées, et des mécanismes de transparence qui rendent visible ce qui était invisible.
Justice économique et cognitive : au-delà de la fracture numérique
Lorsqu’on évoque les inégalités liées à l’IA, le discours dominant se concentre généralement sur la "fracture numérique" : certains maîtrisent la technologie, d’autres non. Cette lecture binaire entre "ceux qui savent, comprennent" et "ceux qui ne savent pas" est certes pertinente, mais elle passe à côté d’une asymétrie bien plus profonde et plus insidieuse : l’asymétrie dans la capacité à voir et contester les systèmes de valeurs embarqués dans les agents IA.
Prenons le cas d’un salarié dont le planning est géré par un agent IA d’optimisation des ressources humaines. Ce salarié peut parfaitement "savoir utiliser" l’interface de l’agent - consulter son planning, accepter ou refuser des créneaux proposés, signaler ses contraintes. Il n’est pas "exclu numériquement". Mais il est dans une asymétrie cognitive radicale : il ne sait pas pourquoi l’agent lui propose systématiquement certains créneaux, selon quels critères il est évalué par rapport à ses collègues, quelles dimensions de sa performance sont valorisées et lesquelles sont invisibilisées. L’agent optimise peut-être la rentabilité globale en lui attribuant les tâches les moins qualifiées parce que son profil a été catégorisé d’une certaine manière - mais cette logique reste opaque à cet utilisateur "lambda".
Cette opacité n’est pas un bug technique qu’on pourrait corriger avec de meilleurs interfaces : c’est une asymétrie de pouvoir structurelle. Ceux qui conçoivent, paramètrent, et déploient les agents IA ont accès à la "boîte noire" - ils savent quelles fonctions objectifs sont optimisées, quels trade-offs sont arbitrés, quelles valeurs comptent et lesquelles sont sacrifiées. Ceux qui subissent les décisions de l’agent - employés, usagers de services publics, citoyens - n’ont accès qu’aux outputs, sans visibilité sur les logiques qui les produisent.
Cette asymétrie est d’autant plus problématique qu’elle se naturalise rapidement - c’est-à-dire qu’elle cesse d’être perçue comme un choix technique ou politique pour devenir une évidence indiscutable, un ordre des choses qui semble aller de soi. Ce qui était au départ une décision humaine (paramétrer l’agent selon certaines priorités plutôt que d’autres) se transforme progressivement en réalité objective, en contrainte technique immuable. Les décisions de l’agent acquièrent - comme autrefois l’ordinateur - une aura d’objectivité technique, dont l’humain aura tôt fait de se saisir pour se déresponsabiliser. Hier on entendait, "ce n’est pas moi, c’est la machine" ; demain on entendra "ce n’est pas moi, c’est l’algorithme qui l’a calculé", comme si cela rendait le résultat neutre et indiscutable. Les personnes impactées intériorisent progressivement qu’il est inutile de contester une décision algorithmique - elle semble inéluctable, fondée sur une rationalité supérieure inaccessible au commun des mortels.
Cette résignation cognitive est peut-être l’effet le plus toxique de l’asymétrie : elle détruit la possibilité même de la contestation, du débat, de la négociation collective sur ce qui compte et ce qui a de la valeur. Quand un système technique en vient à être perçu comme une loi de la nature plutôt que comme un artefact humain modifiable, il devient politiquement invulnérable - et c’est précisément ce processus de naturalisation que les agents IA produisent avec une efficacité redoutable.
Pour construire une forme de justice économique et cognitive dans l’usage des agents IA, il faut donc dépasser la simple "inclusion numérique" et établir un véritable droit à l’audit éthique. Ce droit comporterait trois dimensions complémentaires :
Une cartographie explicite des critères d’optimisation. Tout agent IA déployé dans un contexte professionnel ou administratif devrait être accompagné d’une documentation publique, accessible, et compréhensible expliquant : quelles variables il optimise, selon quels poids relatifs, quels trade-offs il effectue, et quelles dimensions il ne prend pas en compte. Cette cartographie ne serait pas un document technique réservé aux sachants, mais un outil de transparence démocratique - comparable aux obligations d’information sur les produits alimentaires ou pharmaceutiques. Si un agent IA gère des candidatures, les candidats doivent savoir s’il privilégie l’expérience sur le diplôme, la stabilité professionnelle sur l’originalité du parcours, la conformité à un profil type sur la diversité des compétences.
Un droit de consultation et de contestation. Les personnes "subissant" les décisions d’un agent IA doivent pouvoir consulter comment elles sont évaluées par le système, et disposer d’un mécanisme effectif pour contester ces évaluations. Ce droit existe déjà partiellement dans le RGPD européen, mais il reste largement théorique faute de mise en œuvre concrète. Il faudrait aller plus loin : établir une obligation pour les organisations de répondre aux contestations, d’expliquer les logiques décisionnelles, et le cas échéant de corriger les biais identifiés. Tout comme un patient a le droit d’accéder à son dossier médical et de demander des corrections, toute personne impactée par un agent IA devrait avoir le droit de regard sur sa représentation algorithmique.
Des médiateurs algorithmiques indépendants. Pour que ces droits ne restent pas lettre morte, il faut créer des tiers de confiance - des médiateurs spécialisés, indépendants des organisations qui déploient les agents IA, capables d’expliquer aux personnes impactées ce que l’agent valorise, invisibilise, ou pénalise. Ces médiateurs seraient des traducteurs entre la complexité technique et l’expérience vécue, des facilitateurs de l’interrogation légitime, des garants que le droit à l’audit ne reste pas un privilège de ceux qui maîtrisent déjà les arcanes de l’IA. Leur rôle serait comparable à celui des médiateurs de la consommation ou des défenseurs des droits - assurer que l’asymétrie cognitive ne se transforme pas en asymétrie de pouvoir irréversible.
Sans ces mécanismes, la justice économique et cognitive restera un vœu pieux. L’efficacité des agents IA bénéficiera à ceux qui les contrôlent, tandis que ceux qui les subissent verront leur autonomie et leur capacité de négociation progressivement érodées. La question n’est pas seulement morale - elle est politique : dans une société où les agents IA structurent de plus en plus les opportunités économiques et les relations de travail, qui a le pouvoir de définir ce qui compte, et qui doit accepter sans voix au chapitre ?
Trois valeurs pour un agent IA éthique : au-delà du cahier des charges technique
Si l’on devait concevoir un agent IA véritablement éthique, quelles valeurs placerions nous au cœur de son architecture ? La question n’est pas de produire une liste de principes abstraits, mais d’identifier des exigences architecturales concrètes qui transformeraient structurellement la manière dont les agents IA fonctionnent. Trois valeurs me semblent fondamentales, car elles s’attaquent aux angles morts les plus dangereux des agents IA actuels.
La réversibilité comme condition de légitimité. Un agent IA éthique doit maintenir en permanence les conditions de possibilité de son propre arrêt ou modification. Cela signifie que toute optimisation qu’il produit doit pouvoir être défaite sans coût prohibitif, que ses décisions ne doivent pas créer de dépendances irréversibles, et que les systèmes qu’il transforme doivent conserver leur capacité à fonctionner autrement. Concrètement, un agent IA de gestion des ressources humaines ne devrait pas restructurer l’organisation de manière à rendre impossible un retour à une gestion plus humaine. Un agent IA d’optimisation industrielle ne devrait pas démanteler les compétences humaines qui permettraient de gérer la production sans lui. Cette exigence de réversibilité n’est pas une limite à l’innovation - c’est une garantie démocratique fondamentale : si une société décide collectivement qu’un agent IA produit plus de dommages que de bénéfices, elle doit pouvoir l’arrêter sans subir un effondrement systémique.
La traçabilité des priorités et des politiques de valorisation/optimisation. Un agent IA éthique ne doit pas seulement expliquer "comment" il arrive à une décision (la traçabilité technique des calculs), mais "pourquoi" cette décision est considérée comme meilleure selon quels critères de valeur. Lorsqu’un agent recommande une solution, il doit pouvoir expliciter : "J’ai privilégié le critère A au détriment du critère B parce que ma "fonction objectif" (les objectifs attendus pour que ma mission soit considérée comme accomplie) pondère A avec un cœfficient de 0,7 et B avec un cœfficient de 0,3. Si vous valorisez davantage B, voici la solution alternative que je produirais." Cette transparence sur les priorités transforme l’agent d’une boîte noire en un partenaire de délibération : au lieu d’imposer une rationalité opaque, il rend visible les arbitrages qu’il effectue, permettant aux humains de les accepter, les contester, ou les reconfigurer. La traçabilité des priorités ne rend pas l’agent "parfait" - elle le rend contestable, ce qui est infiniment plus important dans une perspective démocratique.
L’honnêteté épistémique comme garde-fou contre l’hubris algorithmique. Un agent IA éthique doit signaler activement ses propres limites, ses angles morts, et les alternatives qu’il ne peut pas considérer dans son cadre décisionnel. Au lieu de présenter ses recommandations avec une assurance trompeuse, il devrait les accompagner de mises en garde explicites : "Ma recommandation optimise les critères X et Y, mais je ne peux pas évaluer Z qui pourrait être important. Mon modèle a été entraîné sur des données historiques qui peuvent contenir des biais relatifs aux groupes A et B. La solution que je propose est optimale dans mon cadre de référence, mais d’autres cadres pourraient valoriser d’autres solutions." Cette honnêteté épistémique n’est pas de la faiblesse - c’est de la rigueur intellectuelle. Elle prévient l’effet pervers le plus dangereux des agents IA : leur tendance à produire une illusion de certitude sur des questions qui restent fondamentalement incertaines. Un agent IA qui connaît et signale ses limites est plus fiable qu’un agent qui prétend tout savoir - car il permet aux humains de compléter son raisonnement par d’autres formes d’expertise et de jugement.
Ces trois valeurs - réversibilité, traçabilité des priorités, honnêteté épistémique - ne sont pas des ornements éthiques qu’on ajouterait après coup à un agent IA déjà conçu. Elles doivent être intégrées dès la conception architecturale, comme des contraintes de design aussi fondamentales que la performance ou la scalabilité. Un agent IA qui ne les respecte pas n’est pas simplement "moins éthique" - il est structurellement dangereux, car il concentre du pouvoir décisionnel sans les garde-fous qui rendraient ce pouvoir légitime et contestable.