Algorithmes discriminatoires

Depuis que l’intelligence artificielle s’infiltre dans toutes les facettes de nos vies, une inquiétude pointe: si les machines doivent nous aider à prendre des décisions, comment s’assurer que celles-ci soient prises sur une base juste pour un groupe ou une personne?

Les chercheurs travaillant en apprentissage profond (deep learning) doivent composer désormais avec ces possibles biais des algorithmes.

Rhema Vaithianathan, chercheuse en économie de la santé et codirectrice du Centre pour l’analyse des données sociales, exposait dans une récente édition de la revue savante Nature ses préoccupations face à ces biais et comment elle entendait y remédier.

Lignes d’alerte

Tous les jours, les lignes d’alerte de la région de Pittsburgh, en Pennsylvanie, reçoivent des douzaines d’appels de personnes suspectant que des enfants sont en danger.

Les appels d’aide, qui parviennent aux centres d’appels, sont ensuite traités par des ordinateurs, capables d’analyser un immense bassin de données sensibles, dont l’histoire familiale ou le passé criminel des personnes inscrites dans leur base de données. Une échelle de risque est par la suite générée pour chaque appel, se soldant parfois par une enquête plus poussée. Plusieurs cas d’abus échappent cependant encore à ce processus.

La chercheuse a récemment reçu une subvention de recherche afin d’optimiser ce traitement d’alerte des cas d’abus d’enfants.

Lors d’une présentation sur le fonctionnement de son nouvel algorithme, elle a été grandement ébranlée par la question d’un parent inquiet. Cet ancien consommateur de drogue a vu ses enfants lui être retirés à la suite d’un signalement, même s’il ne consomme plus depuis quelque temps.

En regard à son dossier, tous ses efforts de reprise en mains comptent-ils pour rien? En d’autres mots: l’algorithme risque-t-il de le juger injustement, a questionné le parent.

Intelligence insensible

Rhema Vaithianathan lui a assuré qu’un humain prend toujours part au processus. Mais maintenant que l’algorithme (Allegheny Family Screening Tool – AFST) est mis en place, la chercheuse se dit dans son billet encore troublée par cette question.

Les calculs informatiques font de plus en plus partie intégrante des décisions importantes, incluant la détention de personnes accusées de crime ou encore, comme ici, la sélection des familles devant faire l’objet d’une enquête pour abus d’enfant, explique la chercheuse.

Devant les biais possibles, elle a décidé de faire appel à la statisticienne Alexandra Chouldechova, de l’Université de Carnegie Mellon, à Pittsburgh, afin de vérifier si son algorithme se livrait à de la discrimination envers certains groupes.

En mai dernier, des journalistes de ProPublica avaient enquêté sur le logiciel commercial COMPAS utilisé par des juges de Floride pour les aider à décider du risque de récidive des criminels. Ils ont découvert que l’outil informatique était biaisé contre les Afro-américains et présentait de nombreux «faux positifs», ces personnes étant classées à haut risque alors qu’elles comparaissaient pour un crime pour la première fois.

Algorithmes transparents

Selon Rhema Vaithianathan, les concepteurs de logiciels et d’algorithmes doivent tenter de résoudre ce casse-tête statistique pour éviter les biais et les injustices. D’où l’importance d’évaluer rigoureusement la performance réelle des outils, de présenter les résultats avec transparence, mais aussi d’être conscient des vraies limites de ces algorithmes.

Certains gouvernements, comme la France ou encore la Grande-Bretagne, tentent de rendre les algorithmes plus responsables et transparents.

De son côté, la ville de New York a passé en décembre dernier un règlement recommandant l’analyse du processus de divulgation de l’information sur les algorithmes et l’examen des biais pouvant surgir de leur utilisation.

Cette préoccupation n’est pas tout à fait nouvelle, elle se posait déjà avec les logiciels de calculs de risque des assurances, mais leur propagation dans la sphère publique oblige les chercheurs à se pencher sur les implications éthiques qu’ils posent.

Un enjeu démocratique

Depuis de nombreuses années, des logiciels aident les législateurs américains à procéder au redécoupage électoral. Mais ils perpétueraient les mêmes biais en favorisant les pratiques en place tout en réduisant le pouvoir de décision ou de contestation, explique la chercheuse Wendy K. Tam Cho dans un long commentaire pour la revue Nature.

«La technologie est à la fois une menace et une promesse», soutient la chercheuse. La professeure de sciences politiques, droit, statistiques et mathématiques de l’Université de l’Illinois développe des modèles d’intelligence artificielle permettant de traiter l’information des cartes électorales.

Les avancées technologiques pourraient cependant mener à plus de démocratie en évitant l’effet de «gerrymandering» (manipulation des frontières des circonscriptions électorale), une stratégie qui avantage un groupe ou un parti, note-t-elle.

Intelligence incorruptible

La Cour suprême américaine a récemment refusé d’examiner les cas d’accusation de gerrymandering dans le Wisconsin et le Maryland, aux États-Unis, rejetant ainsi les soupçons de manipulation électorale. En regard de ce jugement, ce ne serait donc pas un avantage partisan qui aurait poussé les républicains du Wisconsin à privilégier certaines limites des districts électoraux plutôt que d’autres.

Pourtant, le réaménagement des districts est une tâche dont les ordinateurs peuvent parfaitement s’acquitter, en raison des objectifs clairs et des opérations précises à réaliser, indique la chercheuse.

De plus, les logiciels sont imperméables à l’attrait du pouvoir, ajoute celle qui a développé l’algorithme PEAR (Parallel Evolutionary Algorithm for Redistricting). Ils peuvent donc, entre de bonnes mains et avec un souci de transparence, contribuer à bâtir une société plus démocratique.