1La responsabilité de l’informaticien, du concepteur d’algorithmes, est souvent mise en cause. On a beaucoup parlé de Parcoursup, qui est un type particulier d’algorithme, ou des algorithmes dits « prédictifs », utilisés par les grandes entreprises du numérique, qui sont en fait des algorithmes à base d’apprentissage automatique. Il faut cependant comprendre qu’il existe différents types d’algorithmes.
2Une idée répandue est que les algorithmes sont une construction mathématique. Certains se situent dans la tradition de l’informatique, discipline née en lien avec les mathématiques mais qui s’est constituée comme une science et une technique. Les mathématiques sont un outil d’analyse qui peut aussi s’appliquer à d’autres sciences. L’informatique, c’est la science de l’algorithmique, du calcul. C’est important de le comprendre car cela impacte la démarche scientifique, la démarche de la découverte de la connaissance.
3En algorithmique classique, il existe une procédure, qui peut comporter des bugs. Ce sont des algorithmes que l’on peut analyser, et il y a eu toute une discipline de l’informatique théorique qui s’est intéressée à l’analyse et à la vérification, notamment pour éviter ces bugs. Ce sont principalement des outils de la logique qui ont été utilisés.
Le mythe de l’explicabilité
4Ces algorithmes ne sont pas tous des boîtes noires, on sait les expliquer jusqu’à un certain niveau. Pour certains, on suit un arbre de décisions, et la décision prise est un chemin dans cet arbre. Mais quand on veut les confronter à des situations jamais rencontrées, ils donnent des résultats qui ne sont pas très bons. Mais aujourd’hui, il y a les algorithmes d’apprentissage profond (deep learning). Un algorithme consiste à construire une fonction très complexe : on lui donne une entrée, il donne une prédiction. Cette fonction complexe, on peut la composer d’un très grand ensemble de petites fonctions ayant un lien complexe entre elles, il y a beaucoup de non-linéarité. Il y a beaucoup de fonctions, avec des millions ou parfois des milliards de paramètres qui entrent en jeu, c’est impossible d’expliquer une décision basée dessus. C’est en ce sens qu’on parle de boîtes noires.
5Mais pour qui et pourquoi expliquer ? Pour un mathématicien, un intervalle de confiance est explicatif. De même, l’explication sera différente selon qu’elle s’adresse à un informaticien, à celui qui prend la décision, à la personne sur qui porte la décision. Il faut donc déconstruire le mythe de l’explicabilité : on a différents types d’explications.
La mise en données du monde
6La nouvelle donne, c’est cette mise en données du monde, depuis l’arrivée des grands moteurs de recherche et de tous les autres services. Cette « dataïfication » du monde fait qu’aujourd’hui, on a des algorithmes qui se construisent à partir des données. C’est différent de Parcoursup ou APB, qui sont procéduraux : on sait ce que l’on met dedans, et surtout, on sait axiomatiser ce que l’on y met. On a un ensemble d’axiomes et l’on peut vérifier a posteriori si l’algorithme respecte tel ou tel axiome. C’est le devoir du concepteur de l’algorithme de respecter des axiomes qui ont été construits par un ensemble de personnes – décideurs, comités, etc. – qui se sont mises d’accord sur un ensemble de règles. Il faut vérifier que l’algorithme respecte ces règles. Ce n’est donc pas l’informaticien qu’il faut blâmer.
7L’algorithme, on l’oublie souvent, c’est l’aide à la décision. Parfois, il prend des décisions, mais il faut plutôt aujourd’hui axer le débat sur la portée de la décision, sur la responsabilité de la décision. Il faut donc changer le questionnement. On est passé d’une approche axiomatique à une ère « moderne », où on fait de l’induction. L’informatique moderne et tous ces algorithmes à base d’apprentissage automatique impactent la production du savoir, car on passe d’une démarche appelée hypothético-déductive à une démarche inductive : comment concevoir un ensemble de règles à partir d’un ensemble d’observations ? Il y a un changement de paradigme. Et les questions qui se posent ne sont plus sur les algorithmes mais sur la donnée. La valeur est dans la donnée. L’algorithme n’est plus une construction humaine mais découle de la donnée, qu’il faut donc questionner. Elle ne vient pas de nulle part. Il y a le biais de la construction de la base de données, toutes les questions sur la vie privée (avec deux regards sur cette question : le regard américain parle de donnée personnelle, mais en Europe on a une autre définition des données personnelles. La RGPD, dans sa conception, n’est pas du tout regardée comme on le fait aux États-Unis).
8Je milite pour regarder davantage les données. Les informaticiens disent : « on a su corriger des bugs d’Ariane, on a des outils de vérifications des algorithmes, on peut concevoir un ensemble de règles et vérifier si ces algorithmes vérifient ces règles-là ». Que fait-on avec ces nouveaux algorithmes, qui sont présents dans beaucoup de procédés de décision, c’est-à-dire les algorithmes d’apprentissage automatique ? On parle d’intelligence artificielle (IA), mais l’IA est beaucoup plus large. Nous sommes là dans un sous-domaine qui est l’apprentissage automatique, qui se nourrit des données pour concevoir ces algorithmes. Mais aujourd’hui, nous sommes démunis. On ne sait pas vérifier ce type d’algorithmes. Et encore moins les expliquer de façon quantique. C’est donc une sous-catégorie d’algorithmes qui sont des boîtes noires.
Nouvelles questions
9Il faut commencer à réfléchir sur une notion de compromis. Qu’accepte-t-on de perdre en termes d’explicabilité, en termes de maîtrise de la décision versus efficacité ? L’efficacité, pour un algorithme d’apprentissage automatique, c’est de se tromper le moins possible sur des situations jamais rencontrées. Mais est-ce qu’on peut se dire : « j’accepte peut-être un peu plus d’erreurs mais je préserve la vie privée ? » Ou alors « j’ai un algorithme un petit peu plus explicable » ? Je pense que ce type de discussion est nécessaire, mais ce ne sont pas des discussions réservées uniquement à des spécialistes. Il va falloir des juristes, des sociologues, des gens qui comprennent les sciences des organisations et de la décision pour s’emparer de ces questions. Je milite pour cela.
10Aujourd’hui, les algorithmes sont là. Qu’est-ce qu’on fait avec ? On peut les démystifier. Il y a une partie qu’on maîtrise, qui est procédurale, on a différents paradigmes de programmation mais cela reste des constructions humaines. Mais il y a un autre type d’algorithmes, qui connaissent une croissance extrêmement rapide, que l’on ne maîtrise pas. Par contre, on maîtrise la donnée. Sur tout ce qui concerne la décision, la question est donc : qu’est-ce qu’on délègue à l’algorithme ?
11Se posent à mon sens trois questions :
- la responsabilité des algorithmes ;
- l’autorité : qu’est-ce que l’on cède à ces algorithmes ?
- la gouvernance (à ne pas confondre avec les questions de neutralité du Net.)
12Il ne faut pas non plus oublier toutes les questions de la transformation numérique. Nous ne sommes pas tous égaux face à la fracture numérique et à celle des décisions algorithmiques. Quid des personnes qui ne sont ni formées ni informées ? Il ne faut pas oublier non plus les questions de la transition informatique et de la transition écologique. Les algorithmes sont très consommateurs d’énergie, de ressources. Les algorithmes d’apprentissage, particulièrement ceux basés sur des réseaux de neurones, sont extrêmement consommateurs. Peut-on aussi, dans la question de la responsabilité, poser celle de la responsabilité écologique de ce type d’algorithmes ? Cela fait-il partie d’un impératif à considérer dans la question de leur utilisation ?
