Dans la soirée du 18 mars 2018, Elaine Herzberg est tuée par un véhicule de type SUV, alors qu’elle traverse une route en poussant son vélo, à Tempe (Arizona). Dans son rapport sur les causes de l’accident, le National Transportation Safety Board relève à la fois l’imprudence de la victime (qui a traversé en dehors des clous) et les limites du système de pilotage automatique. Il regrette aussi que Rafaela Vasquez, l’employée d’Uber présente dans le véhicule en marche, ait pu se laisser « distraire de façon prolongée » par son téléphone portable. Les experts y reconnaissent une tendance classique à « trop faire confiance à l’automate » (a typical effect of automation complacency). Les questions épineuses de responsabilité soulevées par l’accident n’ont pas toutes été tranchées, puisque les ayants-droit de la victime ont conclu un accord amiable avec Uber[1]. Cet exemple illustre la question du contrôle humain, l’un des principes éthiques fondamentaux en matière d’intelligence artificielle. C’est la contrepartie du déploiement de systèmes d’IA « autonomes ». Un être humain doit pouvoir anticiper et traiter les anomalies du système. En dernier recours, une reprise en main de la machine doit être prévue, au besoin pour la débrancher.
De l’éthique au droit, le contrôle humain fait désormais partie du nouveau cadre juridique européen, adopté définitivement en avril 2024 par l’Union européenne. D’ampleur inédite à l’échelle internationale, l’« IA Act »[2], règlement européen sur l’IA, impose qu’un contrôle humain soit intégré aux IA classées « à haut risque ». Pour l’heure, huit domaines sensibles ont été identifiés, tels que les transports, les dispositifs d’identification biométrique des personnes, la procédure pénale ou encore l’octroi de crédits. Pour les IA dites moins risquées, l’incitation est de mise, mais le contrôle humain est souvent déjà prévu. Ainsi par exemple, aucune voiture « autonome » sur le marché à l’heure actuelle n’est pilotée sans supervision humaine. Avec le contrôle humain, l’homme est le prolongement de la machine autant qu’une caution face aux ratages possibles de l’IA. La présence humaine est censée tempérer les menaces d’un fonctionnement aveugle du système. Décidée à ne pas freiner l’innovation, l’Europe voit ainsi dans le contrôle humain l’une des conditions d’une IA « digne de confiance ». L’avenir dira si cette présence humaine permet effectivement de modérer les ardeurs d’une IA indexée sur le pousse-au-jouir du capitalisme contemporain.
Bonus :
À l’ère de l’IA, les rapports entre l’humain et la machine alimentent les angoisses, les fantasmes mais aussi les discussions éthiques et juridiques. Tous les textes adoptés depuis quelques années sont centrés sur la question, qu’il s’agisse de recommandations formulées par des comités d’experts, de travaux de recherche[3], ou de dispositifs juridiques.
|
