Les États ont de plus en plus recours aux technologies dans le cadre de leurs systèmes de protection sociale. Or, cela peut aggraver les inégalités et accentuer les discriminations. Enquête sur la Serbie et les Pays-Bas.
« Pour détecter les fraudes », « pour assurer une meilleure distribution des ressources », « pour améliorer les systèmes administratifs »… les gouvernements invoquent plusieurs raisons pour déployer les bienfaits de l’automatisation des systèmes de protection sociale. Or, ces pratiques ignorent l’impact de ces technologies sur les droits humains : discriminations, profilages et inégalités. Nous avons enquêté dans plusieurs pays pour révéler l’opacité des algorithmes et leur caractère discriminatoire.
Nous avons enquêté sur les Pays-Bas, en révélant comment des critères de profilage racial ont été intégrés dans les systèmes algorithmiques utilisés pour la détection des fraudes. Rapport de 40 pages intitulé «Les machines xénophobes»
Nous avons enquêté sur la Serbie, en analysant les conséquences de l’entrée en vigueur en 2022 de l’automatisation du processus d’octroi ou de refus d’une aide sociale. Rapport de 70 pages intitulé «Pris au piège de l’automatisation»
Et la France ? On fait le point ici.
Pays-Bas : les machines xénophobes
Les Pays-Bas sont à l’avant-garde de l’automatisation des services de prestation sociale. En 2013, les services publics néerlandais ont introduit un système algorithmique pour détecter les erreurs et les fraudes parmi les demandes d’allocations familiales. Lorsque des personnes ayant la charge d’enfants introduisaient une demande d’allocations, l’algorithme notait certains profils comme « à risque élevé ». Ces profils, signalés comme de potentiels fraudeurs, étaient ensuite analysés manuellement par un fonctionnaire (sans qu’il ne sache pour quelle raison le "score de risque” était plus élevé que d’autres).
Notre enquête a révélé que l’un des critères de risque était la nationalité. L’effet immédiat de la sélection : les familles étaient privées d’allocations ou devaient rembourser les sommes déjà perçues. Cela a entraîné des problèmes financiers dévastateurs pour les familles, allant de l’endettement et du chômage aux expulsions forcées lorsque les familles n’étaient pas en mesure de payer leur loyer.
Nous avons dénoncé ce système algorithmique basé sur un profilage racial.
Grâce à la publication de ce rapport, au travail de médias ou encore aux enquêtes parlementaires, la pression forte exercée sur les autorités a porté ses fruits. Résultat : l’organisme national de surveillance de la vie privée a infligé une amende de 2,7 millions d’euros aux autorités fiscales néerlandaises.
Lire aussi : IA, reconnaissance faciale, Tiktok : les dangers pour nos droits
Serbie : pris au piège de l’automatisation
En mars 2022, la Loi relative à la carte sociale entre en vigueur en Serbie. Elle automatise le processus d’attribution ou de refus d’une aide sociale. Cette loi repose sur le registre des cartes sociales, un système financé par la Banque mondiale, qui extrait des données, telles que le revenu, l’âge, la composition du foyer, l’état de santé, la situation professionnelle et d’autres informations afin d’établir un profil socio-économique des personnes qui font une demande d’aide. Mais au lieu de rendre le système existant plus équitable, le registre des cartes sociales a eu l’effet inverse. Il a exclu des milliers de personnes, dont c’est la seule source de revenus, du programme de protection sociale et les a privées d’une assistance cruciale.
Notre enquête a révélé que des groupes déjà marginalisés, en particulier les Roms et personnes en situation de handicap ont subi de plein fouet les conséquences de ce système automatisé.
Mirjana a perdu ses allocations à cause d’un signalement fait par un algorithme. En 2023, sa fille meurt soudainement. Une organisation locale de défense des droits humains l’aide à couvrir les frais funéraires en lui faisant un virement de 20 000 dinars serbes (environ 170 euros) sur son compte. Elle est immédiatement signalée par le registre des cartes sociales considérant cette somme comme un revenu. L’aide sociale mensuelle lui est alors retirée. Mirjana, qui survivait grâce à de modestes prestations sociales et vivait dans un lotissement de logements sociaux, a perdu ses aides du jour au lendemain. À peine deux mois après la mort de sa fille, Mirjana s’est retrouvée à mener un combat administratif long et incertain pour rétablir les prestations qu’elle avait perdues.
Mirjana fait partie de ces milliers de personnes à avoir perdu des prestations sociales après l’entrée en vigueur de la Loi relative à la carte sociale. Intégrer la technologie dans un système d’aide sociale déjà défaillant n’a fait qu’aggraver les lacunes préexistantes et a eu un impact disproportionné sur des personnes déjà marginalisées dans leur accès aux prestations sociales.
France : l’algorithme discriminatoire de la CNAF
Et la France ? Parlons-en. Depuis 2010, la Caisse nationale des allocations familiales (CNAF) utilise un algorithme de notation qui attribue un score de risque aux allocataires permettant à l’organisme de cibler les contrôles. En 2023, La Quadrature du Net, Le Monde et Lighthouse Reports ont révélé la nature discriminatoire de cet algorithme.
Aller plus loin : Le fonctionnement de l'algorithme de la CNAF qui cible les plus précaires
Les personnes les plus précaires se retrouvent sur-contrôlées par rapport au reste de la population. En assimilant précarité et soupçon de fraude, cet algorithme participe d'une politique de stigmatisation qui risque d’accentuer des discriminations déjà existantes.
C’est contre cette pratique discriminatoire que nous attaquons, avec 14 organisations, l’algorithme de notation de la CNAF en justice, devant le Conseil d’Etat.
Le Droit à la sécurité sociale est consacré par l’article 9 du Pacte international relatif aux droits économiques, sociaux et culturels. En aucun cas il ne peut être entravé et entaché par des discriminations causées par des « solutions » technologiques. Il est essentiel de mettre en place des garde-fous adaptés et efficaces afin que l’adoption de ces technologies par le secteur public n’entraîne pas d’atteintes aux droits humains.
