Comment l’intelligence artificielle reproduit et amplifie le racisme

Les technologies d’intelligence artificielle ne peuvent pas être pensées en dehors de leur contexte social et politique, dans la mesure où elles en sont le produit et le reflet. Or, différents types de racismes sont malheureusement bien implantés dans la société et reconnus comme tels. Par exemple, la Ligue des Noirs du Québec recense régulièrement des cas de profilage racial de la part des policiers.

Les systèmes d’intelligence artificielle (SIA), à l’instar de toute technologie, lorsque déployée dans la société, prennent appui sur un tissu social déjà biaisé, ainsi que sur des rapports de pouvoir inéquitables. Dans le cas des SIA, cependant, ils ne font pas que les reproduire : ils les amplifient.

Pourtant, les SIA sont trop souvent présentés à tort comme étant neutres et objectifs, alors qu’ils excluent des populations racisées, les surreprésentent au sein de catégories sociales identifiées comme « problématiques », ou fonctionnent inadéquatement lorsqu’appliqués à des individus racisés.

De nombreux articles ont justement déjà démontré que les SIA pouvaient avoir des applications discriminatoires dans des processus variés tels que de la surveillance policière, des diagnostics médicaux, des décisions judiciaires, des processus d’embauche ou d’admission scolaire, ou des calculs de taux hypothécaires.

Nous menons actuellement des recherches sur des initiatives numériques de justice sociale qui tendent à renverser certaines inégalités et injustices sociales. Dans le cadre de nos travaux, nous sommes amenées à analyser les conditions pour le développement d’initiatives qui respectent les besoins et soutiennent les communautés au sein desquelles ces technologies sont déployées. À ce titre, nous avons documenté les impacts des technologies numériques et les revers sociaux, racistes et discriminatoires qu’elles peuvent entraîner sur des groupes qui ont été mis en marge de leur société.

Les différentes étapes menant au racisme et à la discrimination

Les SIA peuvent engendrer et amplifier des pratiques racistes et discriminatoires, car différents biais peuvent s’immiscer dans ces systèmes lors de leur conception, développement, déploiement et utilisation.

Tout d’abord, la subjectivité, les valeurs, la position sociale, le vécu et les savoirs des gestionnaires, des développeur·e·s et des ingénieur·e·s de l’IA, ainsi que la culture organisationnelle dont ces personnes sont issues, influencent leur manière de développer un SIA ainsi que son architecture technique. Souvent inconscients, les biais sociétaux et racistes déjà existants ont de fortes chances d’avoir un impact sur le fonctionnement d’un SIA et de rendre ses données sortantes (output) ou ses « résultats » racistes. L’enjeu n’en est ainsi pas un de racisme individuel, mais de pratiques au niveau sociétal, qui, parce que répétées et amplifiées par des systèmes technologiques, amplifient la discrimination envers les personnes racisées.

Ensuite, un manque de diversité ou de représentativité, ou encore des problèmes de discriminations historiques teintant les données utilisées pour entraîner les systèmes d’IA (les training sets), peuvent contribuer à rendre ces systèmes racistes. Même si le caractère racial ou l’appartenance ethnique ne constituent pas des critères manifestes des bases de données, ceux-ci sont pourtant des facteurs déterminants de la constitution d’une base de données et de l’exclusion de certaines catégories de population.

À titre d’exemple, si un SIA de détection du cancer de la peau n’est pas entraîné avec suffisamment de photographies représentant des individus ayant la peau foncée, ce système discriminera les personnes ayant la peau foncée en ne leur offrant pas de résultats médicaux efficaces spécifiquement à cause de la couleur de leur peau.

Suite à l’étape de l’entraînement, un autre type de biais peut être repéré au niveau des données entrant dans un SIA lors de son plein fonctionnement (les données d’input). Dans le cas des systèmes récursifs, dont le fonctionnement algorithmique s’auto-actualise continuellement en évoluant selon les données qui y entrent, ce ne sont effectivement pas que les données d’entraînement qui peuvent leur conférer un caractère discriminatoire. Les autres données venant compléter le jeu initial de données d’entraînement durant l’utilisation d’un SIA, soit après son approbation et son lancement, peuvent elles aussi être teintées d’un manque de diversité, de représentativité ou de discriminations historiques, contribuant ainsi elles aussi à rendre de tels systèmes racistes et discriminatoires.

Par exemple, en 2016, Microsoft a lancé Tay sur Twitter, un SIA dont la vocation était d’interagir avec les utilisateurs de la plate-forme. Un groupe organisé d’internautes malintentionnés a profité des capacités d’apprentissage itératif du SIA en l’inondant de déclarations offensantes ou racistes. Tay a réitéré ces propos, obligeant Microsoft à s’excuser et à déconnecter le système après seulement 16 heures de vie publique.

La subjectivité des ingénieur·e·s responsables d’étiqueter et de catégoriser les données et de donner des poids différenciés aux différentes données entrantes (input) lors de l’entraînement et du codage d’un système constitue un autre élément qui influencerait de manière significative le fonctionnement des SIA. La décision de conférer autant d’importance au code postal d’un individu qu’à ses antécédents criminels est un exemple de système de codage à poids non-différencié pouvant entraîner des résultats ayant des effets discriminatoires au sein d’une IA de prévision policière.

Dans le même ordre d’idées, un manque d’implication humaine dans le réajustement des seuils d’acceptabilité des résultats des systèmes d’IA peut devenir une autre cause potentielle de racisme et de discrimination de ces systèmes. L’absence de jugement humain dans les procédures automatisées peut en effet générer ou amplifier des situations d’iniquité, de discrimination et de racisme.

Des réflexions et des modifications de pratiques sont de mise

Ces enjeux illustrent selon nous la nécessité de réfléchir plus consciencieusement aux impacts sociaux des systèmes d’intelligence artificielle, ainsi qu’à la nécessité de penser des pratiques d’IA aux visées plus inclusives, et surtout non-discriminatoires, puisque celles-ci peuvent effectivement porter atteinte à des droits fondamentaux.

Nous soutenons que la mise en place de normes robustes pour une plus grande diversité dans le milieu de l’IA et qu’une sensibilisation du milieu aux enjeux de racisme et de discrimination des SIA sont à ce stade fondamentales. Mais plus encore, il est important de viser une meilleure explicabilité et une plus grande transparence des systèmes d’IA, afin que les racismes et pratiques discriminatoires y prenant forme puissent être mieux compris et contrés.

Il est important aussi de mettre en place une gouvernance des données qui soit à la fois plus transparente, plus juste, et socialement représentative des intérêts des parties prenantes, ce qui devrait inclure les citoyens et citoyennes, leurs représentants et la société civile. Nous plaidons enfin pour un cadre réglementaire contraignant afin de rendre imputables les compagnies ou toutes autres entités qui conçoivent, déploient et utilisent ces systèmes. Ceci constitue, selon nous, un enjeu non seulement de justice, mais de démocratie.