Juli Ponce : "La réserve d'humanité est essentielle : les machines sont des psychopathes, elles n'ont pas d'empathie." 🤖

"Grâce à l'IA, il est possible d'éviter des catastrophes comme une DANA, mais le facteur humain est indispensable. La combinaison entre humains et machines définira l'avenir de l'administration publiq

Juli Ponce Solé (Barcelone, 1967), professeur de droit administratif à l'Université de Barcelone, est l'un des esprits les plus éclairés en matière d'administration, de secteur public et d'intelligence artificielle. Il a dirigé l'École d'administration publique de Catalogne et fait partie des experts du gouvernement catalan pour réformer l'administration.

Dans les prochaines années, un million de fonctionnaires et d'employés publics partiront à la retraite. Pourraient-ils être remplacés par des machines ?
Il y a une vague de départs à la retraite dans le secteur public due à une question démographique, ainsi que des calculs sur le nombre de postes pouvant être automatisés à l'aide de divers systèmes, y compris l'intelligence artificielle, ce chiffre atteignant un million. Cette projection d'automatisation coïncide avec cette vague de départs à la retraite prévue pour 2030. Par conséquent, en réfléchissant au modèle d'administration publique de l'avenir, il faudra tenir compte de ces deux facteurs.

Vous, qui avez étudié la réforme de l'administration et dirigé l'École d'administration publique, comment voyez-vous cela ? Est-ce une opportunité ou un problème avec la législation et la technologie actuelles ?
Nous vivons une période intéressante, et cela doit être considéré comme une opportunité, même si cela comporte également des risques négatifs. Le départ massif des employés du secteur public offre l'occasion de repenser l'administration que nous avons eue jusqu'à présent et celle que nous voulons pour les années à venir. Cela se produit dans un contexte de changement technologique accéléré, où nous disposons d'une série de technologies qui pourraient nous permettre de construire une meilleure administration publique : une administration qui offre de meilleurs services publics et garantit le droit des citoyens à une bonne administration. La clé résidera dans la combinaison des départs à la retraite et des technologies pour obtenir un mélange vertueux et créer une meilleure administration publique. Je pense qu'il existe de nombreuses possibilités d'amélioration, mais aussi des risques à évaluer.

Quels sont ces risques ?
Ils sont divers et affectent directement les droits des citoyens dans leurs relations avec les administrations publiques. Des droits tels que la protection des données ou le droit à l'égalité, qui peut être compromis par les biais des systèmes d'intelligence artificielle. Même le droit à une bonne administration peut être menacé en raison des erreurs que ces systèmes présentent.

En effet, si l'on regarde des cas à l'échelle internationale, dans certaines administrations qui ont misé résolument sur l'automatisation avec des systèmes d'IA, des épisodes notables ont conduit à une mauvaise administration. Par exemple, le cas Robodebt en Australie : un programme de sécurité sociale qui réclamait de l'argent à des citoyens qui ne devaient rien, ce qui a donné lieu à des litiges. Un autre cas célèbre, qui a même inspiré une série télévisée que je recommande, est celui de M. Bates contre le service postal britannique. Un programme a provoqué une série d'erreurs dans les bureaux de poste du Royaume-Uni, accusant les directeurs de ces bureaux, ce qui a entraîné un véritable calvaire avec des licenciements, des procès et des suicides. Finalement, on a découvert que le problème n'était pas humain, mais lié aux systèmes automatisés.

En Espagne, nous avons également un cas en attente de résolution devant la Cour suprême, connu sous le nom de cas Bosco. Ce système, conçu pour traiter plus rapidement les aides sociales énergétiques pour les personnes en précarité énergétique, comportait des erreurs. La Fondation Civio a détecté ces défauts et demandé l'accès au programme informatique, mais l'administration publique l'a refusé. Jusqu'à présent, les tribunaux ont statué deux fois en faveur de l'administration, invoquant des raisons de propriété intellectuelle. Cependant, il y a quelques jours, la Cour suprême a accepté le recours en cassation, ce qui signifie qu'il y aura une décision de dernière instance pour déterminer si l'on peut accéder au code du programme Bosco afin de vérifier s'il contient des erreurs ou non. Ce sera un cas emblématique qui fixera un précédent pour les années à venir.

Y a-t-il des opportunités, des risques… et des coûts ?
Nous avons des coûts environnementaux, car les systèmes d'intelligence artificielle consomment une quantité considérable d'eau et d'énergie. Il appartient à nous, les humains, y compris dans le secteur public, de peser les coûts et les avantages, et d'analyser exactement où nous pouvons améliorer l'administration et où les risques et les coûts excessifs rendent l'acquisition de systèmes d'IA non pertinente.

En Catalogne, le cas le plus connu est-il celui de Riscanvi ?
Oui, probablement. C'est un système très simple, algorithmique, sans intelligence artificielle car tout est humain, qui a été influencé par un collègue à moi de l'Université de Barcelone, le docteur Antonio Andrés Pueyo et son équipe. C'est un système conçu pour aider à la prise de décision dans le domaine pénitentiaire, comme pour des questions de liberté conditionnelle, entre autres. Je trouve cela intéressant, mais, encore une fois, nous devons considérer les risques et les avantages. Certains affirment qu'il offre de véritables avantages, comme l'automatisation et la justification des décisions sur une série de critères. Cependant, comme tout système algorithmique, il n'est pas exempt de critiques. Certaines études citent le cas Riscanvi comme exemple de ce que l'on appelle le biais d'automatisation.

Que signifie le biais d’automatisation ?
Cela signifie que nous, les humains, avons tendance à faire trop confiance aux machines parce qu’en général, elles accomplissent bien leur travail. Par exemple, nous avons l’habitude de faire confiance au GPS parce qu’il nous mène à destination, mais parfois, il peut nous guider sur des itinéraires absurdes, et il y a même eu des cas de personnes qui ont perdu la vie en suivant aveuglément les indications du GPS. Dans le cas de Riscanvi, il pourrait y avoir un biais d’automatisation chez l’humain qui prend la décision finale, car dans 97 % des cas, il accepte ce que le système algorithmique lui indique.

Quels autres usages de l’IA existent dans l’administration en Catalogne ?
De nombreux chatbots ont été introduits dans les administrations municipales et d’autres organismes pour interagir avec les usagers. Ce sont des systèmes intéressants qui permettent l’interaction, mais, une fois encore, les risques sont présents.

Comment imaginez-vous l’administration dans 10 ans ? Avec plus d’humains que de machines ou avec plus de machines, mais avec les humains aux commandes ?
Si nous pensons à une décennie, il y aura sans aucun doute plus d’humains que de machines, mais la présence de systèmes d’automatisation dans les activités administratives, y compris l’IA, augmentera. La difficulté réside dans la prévision de la proportion. Il est possible de trouver un équilibre approprié entre humains et machines pour améliorer l’administration. Cependant, le risque est de finir avec le pire des deux mondes : le pire des machines (manque d’empathie, formes de raisonnement limitées) et le pire des humains (biais et limites dans la capacité à traiter l’information). C’est ce que nous devons éviter.

Aurons-nous une meilleure administration dans 10 ans grâce à l’IA ?
Cela dépend. L’administration que nous avons aujourd’hui est manifestement perfectible, donc oui, c’est possible, mais seulement avec une combinaison adéquate d’humains et de machines. Tout dépendra des décisions stratégiques prises maintenant en pensant aux prochaines décennies. Et cela dépendra de décisions humaines ; ChatGPT ne résoudra pas cela. Les choix stratégiques que nous faisons aujourd’hui sur la façon d’améliorer l’administration — et en Catalogne, nous avons beaucoup de marge de progression selon les classements internationaux — et sur la manière de combiner machines et humains, influenceront de manière décisive les prochaines décennies.

Dans 10 ans, s’il y avait une DANA à Valence, une meilleure IA éviterait-elle une mauvaise gestion ? Pour certaines choses, vaut-il mieux être entre les mains des machines que des humains ?
Pour certaines choses, oui, mais seulement si les machines sont supervisées par des humains. Je n’ai aucun doute que, grâce à des systèmes avancés d’automatisation et d’IA, des phénomènes comme la catastrophe d’une DANA seraient plus faciles à prévoir, détecter et gérer. Cependant, nous serons toujours confrontés au facteur humain.

Un exemple illustratif est celui du colonel Petrov dans les années 1980, pendant l’Union soviétique. Il travaillait dans une base de missiles nucléaires qui, un jour, a détecté, via ses systèmes algorithmiques, une supposée attaque nucléaire des États-Unis. Petrov avait en main la décision de répondre à l’attaque. S’il ne réagissait pas et que l’attaque était réelle, cela signifierait la destruction de l’Union soviétique. Mais si l’attaque n’était pas réelle et qu’il réagissait, cela provoquerait la destruction des États-Unis et, probablement, du monde. Ce fut un moment angoissant. Finalement, Petrov a décidé de son propre chef de ne pas réagir à cette supposée attaque. Il n’était pas convaincu, il a attendu quelques minutes, et effectivement, il n’y avait aucune attaque.

Par conséquent, dans 10 ans, nous pourrions prévenir des DANAs et même des guerres nucléaires, mais, encore une fois, nous devons être prudents avec la combinaison humain-machine.

Dans votre dernier livre, Le Règlement sur l’Intelligence Artificielle de l’Union Européenne 2024 : le droit à une bonne administration numérique et son contrôle judiciaire en Espagne, vous parlez de la réserve d’humanité. Cela signifie-t-il que nous aurons une administration où les machines effectueront le travail lourd et où les humains prendront les décisions les plus sélectives ou politiques ? Ou bien la réserve d’humanité devrait-elle s’appliquer à tous les niveaux de l’administration ?
La réserve d’humanité implique l’existence d’un certain nombre de tâches et de fonctions qui ne devraient pas être assumées par les machines. Par exemple, que préférerait un citoyen ? Être jugé par une machine ou par un humain ? Ou que les décisions urbanistiques de sa commune ne soient pas prises par le conseil municipal, mais par une machine à qui ces compétences auraient été déléguées ? Ou encore que la régulation de l’accès à l’université ou les questions médicales soient décidées par une machine ?

Certains se sentiraient à l’aise, d’autres moins, même s’ils ne sont pas technophobes. L’idée de la réserve d’humanité n’est pas nouvelle. Déjà dans les années 1970, un chatbot appelé Eliza a été lancé, et les gens s’y sont attachés.

Dans le secteur public, la réserve d’humanité repose sur trois raisons principales :

1. Absence d’empathie chez les machines. Les machines sont des psychopathes ; ni à moyen ni à long terme elles ne cesseront de l’être car elles n’ont pas d’empathie. Alors que 99 % des humains ne sont pas psychopathes, notre câblage neuronal fonctionne correctement, nous avons des neurones miroirs et nous sommes formés à l’empathie. Dans des décisions comme l’expropriation ou les sanctions, la capacité de comprendre la situation d’une personne affectée est essentielle, ce que les machines ne possèdent pas.

2. Raisonnement humain versus IA. Les IA actuelles ne raisonnent pas comme les humains. Les plus simples, datant des années 1950, fonctionnent avec des systèmes de raisonnement abductif. Les plus sophistiquées, basées sur l’apprentissage automatique ou profond, utilisent des raisonnements inductifs : elles traitent de grandes quantités de données pour déduire des schémas, faire des prédictions et prendre des décisions. Cependant, les humains ne raisonnent pas seulement de cette manière ; nous avons du bon sens et des connaissances du monde qui nous permettent de formuler des hypothèses précises.

3. Écouter le citoyen. Dans le secteur public, il est indispensable d’écouter la personne concernée par une décision. Nous ne pouvons pas mettre en œuvre des systèmes automatiques qui prennent des décisions sans s’arrêter pour traiter des informations pertinentes et considérer les besoins et préoccupations humaines.

La réserve d’humanité est fondamentale pour garantir que l’administration publique ne perde pas de vue ces valeurs essentielles dans le processus décisionnel.

Vous mentionnez également dans votre livre la question des boîtes noires de l’IA.
Exactement. Certains systèmes sont si sophistiqués que nous savons quelles informations ils introduisent et quelle décision ils génèrent, mais nous ne savons pas comment ils arrivent à cette décision. Quelqu’un pourrait dire : « Comme les humains. » Il est vrai que personne ne sait exactement comment un juge ou un urbaniste élabore son raisonnement, mais ce n’est pas la même chose. L’opacité des systèmes est plus grande que celle des humains.

Par conséquent, la réserve d’humanité implique que certaines décisions ne peuvent pas être laissées aux machines parce qu’elles n’ont pas d’empathie, ne peuvent pas raisonner abductivement et, de plus, il est nécessaire d’écouter d’autres humains. Ces limites de la réserve d’humanité sont suffisamment importantes et, en fait, elles sont déjà incluses dans le règlement européen sur l’IA en ce qui concerne les juges. Le règlement stipule que l’IA peut aider les juges à prendre des décisions, mais ne peut pas les remplacer totalement.

Dans un pays méditerranéen, la réserve d’humanité pourrait-elle favoriser la corruption dans l’administration publique ? Ne pensez-vous pas que des machines psychopathes pourraient réduire certains niveaux de corruption humaine ?
C’est une réflexion raisonnable. En effet, il y a quelques années, au Japon, un robot s’est présenté aux élections locales et a obtenu un nombre considérable de voix. L’un des arguments des électeurs était qu’au moins, il ne serait pas corrompu.

Cependant, nous ne devons pas être naïfs. Les programmes et les données utilisés par ces systèmes proviennent de quelque part, pas de mondes purs. Cette aura de pureté parfois attribuée aux systèmes d’IA doit être nuancée. De la même manière que des biais peuvent être introduits par des programmeurs humains, les systèmes pourraient également être manipulés. Il est vrai qu’en principe, les machines ne devraient pas avoir d’incitations humaines à agir de manière corrompue, mais cela ne signifie pas qu’elles soient immunisées contre les influences.

Si j’étais Carles Puigdemont, je préférerais peut-être être jugé par une IA plutôt que par le juge Marchena. Si j’étais Sandro Rosell, je préférerais peut-être une IA plutôt que la juge Lamela. Et si j’étais un habitant de Paiporta, je ferais peut-être plus confiance à une IA qu’à Carlos Mazón pour gérer une DANA.
Dans tous ces cas, avant de préférer une option à une autre, je me poserais la question : « D’où provient cette machine, ce système ? » A-t-il été développé en interne par le secteur public ou a-t-il été externalisé et acheté à une entreprise privée ? Si c’est la seconde option, quelle entreprise privée l’a développé et quelles garanties avons-nous qu’aucun biais ou autre élément problématique n’a été introduit ?

Ce n’est pas si simple. Par exemple, il y a quelques mois, le film Justice artificielle est sorti, et je le recommande. Dans certains cas où les juges supervisent des décisions administratives, il existe des mandats légaux obligeant l’administration à prendre en compte des aspects humanitaires.

Dans votre livre, vous mentionnez un cas au Canada.
Oui, l’administration avait refusé l’asile à une personne, mais un juge humain a pu examiner une série d’éléments de compassion, d’empathie et d’équité, et protéger cette personne. Ce type d’intervention montre l’importance de préserver la réserve d’humanité dans certaines décisions critiques.

Pourrait-il arriver que, dans le futur, les biais deviennent l’idéologie du présent ? Aujourd’hui, l’idéologie est réservée aux humains, mais, dans le futur, pourrait-elle être représentée par les biais des machines ? Vous parlez dans votre livre de la discrétion…
Sans aucun doute, aujourd’hui il est assez raisonnable d’affirmer que, qu’il s’agisse d’humains ou de machines, lorsqu’il existe une marge d’appréciation dans la prise de décision, nous sommes confrontés à ce que les juristes appellent des pouvoirs discrétionnaires. Décider d’une demande de crédit bancaire, qui repose sur des conditions claires et peut être automatisée, n’est pas la même chose que contracter un mariage, où de nombreux facteurs subjectifs interviennent.

Il existe des décisions très simples dans lesquelles l’IA peut jouer un rôle important, ce que nous appelons techniquement des pouvoirs réglementés. En Europe, il existe déjà des villes qui envisagent d’utiliser l’IA pour la délivrance de permis de construire, car, en théorie, il s’agit de décisions simples et réglementées. Vienne, par exemple, a un projet en cours appelé Brise. Vitoria envisage son implémentation et Madrid pousse un programme similaire.

Cependant, en Catalogne, les permis de construire peuvent prendre jusqu’à deux ans, ce qui montre la nécessité d’accélérer ces processus.

En revanche, vous ne permettriez pas qu’une IA rédige le Plan Général d’une commune.
Je ne permettrais pas qu’une IA ait le dernier mot sur le Plan Général d’Ordonnance Urbanistique d’une municipalité. Cependant, il y a environ un an, une nouvelle est devenue virale : à Porto Alegre, au Brésil, le conseil municipal a approuvé une ordonnance rédigée par ChatGPT concernant les compteurs et la consommation d’eau. Un conseiller astucieux a introduit la proposition sans en informer ses collègues, et tous ont voté en faveur de l’ordonnance sans changer une virgule.