Pour « traquer » les fraudeurs aux prestations sociales, le Danemark utilise des algorithmes aux paramètres discriminatoires. Le fait d’avoir des liens avec un pays étranger fait notamment partie des critères de suspicion de fraude. C’est ce que nous révélons dans un nouveau rapport qui vient illustrer une tendance inquiétante observée en Europe. Nos enquêtes.
Nous avons enquêté sur le Danemark, en révélant l’utilisation discriminatoire des algorithmes du système de protection sociale danois pour détecter et signaler les fraudes. Les personnes les plus ciblées par les algorithmes sont les personnes âgées, en situation de handicap, les personnes exilées ainsi que les personnes ayant des liens avec des pays étrangers. Rapport de 60 pages intitulé « Injustice codée : Surveillance et discrimination au Danemark »
Nous avons enquêté sur les Pays-Bas, en révélant comment des critères de profilage racial ont été intégrés dans les systèmes algorithmiques utilisés pour la détection des fraudes. Rapport de 40 pages intitulé «Les machines xénophobes»
Nous avons enquêté sur la Serbie, en analysant les conséquences de l’automatisation du processus d’octroi ou de refus d’une aide sociale. Rapport de 70 pages intitulé «Pris au piège de l’automatisation»
Les gouvernements invoquent plusieurs raisons pour déployer les bienfaits de l’automatisation des systèmes de protection sociale. « Pour détecter les fraudes », « pour assurer une meilleure distribution des ressources », « pour améliorer les systèmes administratifs » … Or, ces pratiques ignorent l’impact de ces technologies sur les droits humains : discriminations, profilages et inégalités. Résumé de nos enquêtes dans trois pays en Europe qui révèlent l’opacité des algorithmes et leur caractère discriminatoire.
Danemark : injustice codée
L'organisme danois de protection sociale, appelé Udbetaling Danmark – UDK, est alimenté par l’intelligence artificielle. Le système d’aide sociale danois utilise 60 modèles algorithmiques visant à détecter les fraudes aux prestations sociales. Le problème : le système risque de discriminer les personnes précaires. Parmi les données utilisées : informations sur le statut de résidence, la citoyenneté, le lieu de naissance, les relations familiales. Mais pas que. L'« affiliation étrangère » fait partie des critères. L’algorithme identifie des groupes de bénéficiaires considérés comme ayant des « liens moyens et forts » avec des pays non membres de l’Espace économique européen. Une fois détectées, ces personnes sont soumises en priorité à des enquêtes de fraude approfondies.
L'utilisation massive de ces algorithmes a placé plusieurs personnes dans un climat constant de peur.
[C'est comme si] nous avions un pistolet sur la tempe Nous avons toujours peur. [C'est comme si l’arme était toujours pointée sur nous.
Témoignage de l’une des personnes interrogées dans le cadre de notre rapport
En plus de dévoiler le volet discriminatoire du système de protection sociale danois, notre enquête révèle l’étendue du système de surveillance déployé. Pour alimenter les algorithmes de détection de fraudes, les autorités danoises ont adopté des lois qui permettent de collecter et de fusionner des données personnelles à partir de bases de données publiques. Cela concerne donc des millions de résidents danois. Un système que nous dénonçons fermement et qui s’apparente à un système de "notation sociale”.
Pays-Bas : les machines xénophobes
Les Pays-Bas sont à l’avant-garde de l’automatisation des services de prestation sociale. En 2013, les services publics néerlandais ont introduit un système algorithmique pour détecter les erreurs et les fraudes parmi les demandes d’allocations familiales. Lorsque des personnes ayant la charge d’enfants introduisaient une demande d’allocations, l’algorithme notait certains profils comme « à risque élevé ». Ces profils, signalés comme de potentiels fraudeurs, étaient ensuite analysés manuellement par un fonctionnaire (sans qu’il ne sache pour quelle raison le "score de risque” était plus élevé que d’autres).
Notre enquête a révélé que l’un des critères de risque était la nationalité. L’effet immédiat de la sélection : les familles étaient privées d’allocations ou devaient rembourser les sommes déjà perçues. Cela a entraîné des problèmes financiers dévastateurs pour les familles, allant de l’endettement et du chômage aux expulsions forcées lorsque les familles n’étaient pas en mesure de payer leur loyer.
Nous avons dénoncé ce système algorithmique basé sur un profilage racial.
Grâce à la publication de ce rapport, au travail de médias ou encore aux enquêtes parlementaires, la pression forte exercée sur les autorités a porté ses fruits. Résultat : l’organisme national de surveillance de la vie privée a infligé une amende de 2,7 millions d’euros aux autorités fiscales néerlandaises.
Lire aussi : IA, reconnaissance faciale, Tiktok : les dangers pour nos droits
Serbie : pris au piège de l’automatisation
En mars 2022, la Loi relative à la carte sociale entre en vigueur en Serbie. Elle automatise le processus d’attribution ou de refus d’une aide sociale. Cette loi repose sur le registre des cartes sociales, un système financé par la Banque mondiale, qui extrait des données, telles que le revenu, l’âge, la composition du foyer, l’état de santé, la situation professionnelle et d’autres informations afin d’établir un profil socio-économique des personnes qui font une demande d’aide. Mais au lieu de rendre le système existant plus équitable, le registre des cartes sociales a eu l’effet inverse. Il a exclu des milliers de personnes, dont c’est la seule source de revenus, du programme de protection sociale et les a privées d’une assistance cruciale.
Notre enquête a révélé que des groupes déjà marginalisés, en particulier les Roms et personnes en situation de handicap ont subi de plein fouet les conséquences de ce système automatisé.
Mirjana a perdu ses allocations à cause d’un signalement fait par un algorithme. En 2023, sa fille meurt soudainement. Une organisation locale de défense des droits humains l’aide à couvrir les frais funéraires en lui faisant un virement de 20 000 dinars serbes (environ 170 euros) sur son compte. Elle est immédiatement signalée par le registre des cartes sociales considérant cette somme comme un revenu. L’aide sociale mensuelle lui est alors retirée. Mirjana, qui survivait grâce à de modestes prestations sociales et vivait dans un lotissement de logements sociaux, a perdu ses aides du jour au lendemain. À peine deux mois après la mort de sa fille, Mirjana s’est retrouvée à mener un combat administratif long et incertain pour rétablir les prestations qu’elle avait perdues.
Mirjana fait partie de ces milliers de personnes à avoir perdu des prestations sociales après l’entrée en vigueur de la Loi relative à la carte sociale. Intégrer la technologie dans un système d’aide sociale déjà défaillant n’a fait qu’aggraver les lacunes préexistantes et a eu un impact disproportionné sur des personnes déjà marginalisées dans leur accès aux prestations sociales.
France : l’algorithme discriminatoire de la CNAF
Et la France ? Parlons-en. Depuis 2010, la Caisse nationale des allocations familiales (CNAF) utilise un algorithme de notation qui attribue un score de risque aux allocataires permettant à l’organisme de cibler les contrôles. En 2023, La Quadrature du Net, Le Monde et Lighthouse Reports ont révélé la nature discriminatoire de cet algorithme.
Les personnes les plus précaires se retrouvent sur-contrôlées par rapport au reste de la population. En assimilant précarité et soupçon de fraude, cet algorithme participe d'une politique de stigmatisation qui risque d’accentuer des discriminations déjà existantes.
C’est contre cette pratique discriminatoire que nous attaquons, avec 14 organisations, l’algorithme de notation de la CNAF en justice, devant le Conseil d’Etat.
Aller plus loin : Le fonctionnement de l'algorithme de la CNAF qui cible les plus précaires
Le Droit à la sécurité sociale est consacré par l’article 9 du Pacte international relatif aux droits économiques, sociaux et culturels. En aucun cas il ne peut être entravé et entaché par des discriminations causées par des « solutions » technologiques. Il est essentiel de mettre en place des garde-fous adaptés et efficaces afin que l’adoption de ces technologies par le secteur public n’entraîne pas d’atteintes aux droits humains.
