Une note pour trier les Chinois

Une jeune femme se rend à l’aéroport. À l’enregistrement, l’hôtesse lui annonce que son vol a été annulé. Heureusement, une place est libre dans un autre avion. « Oh, mais c’est réservé pour nos membres Premium, vous devez être un 4,2 ou au-dessus », ajoute l’hôtesse.

Or la jeune femme vient tout juste de voir sa note dégradée à 4,1. Elle s’énerve et lance quelques injures. Finalement, la sécurité lui inflige une pénalité d’un point en moins pour une durée de quarante-huit heures. La jeune femme est sommée de quitter l’aéroport. Elle ne pourra pas prendre un autre avion.

Cette scène est tirée de l’épisode « Nosedive » de la série Black Mirror sur les excès de notre monde numérique. Dans cette fiction, chaque personne reçoit une note en fonction à la fois des « likes » sur les réseaux sociaux et de son comportement dans la « vraie vie ». C’est une dystopie – une utopie cauchemardesque. Pour le moment.

Les bons et les mauvais

Depuis 2014, la Chine travaille au projet de Social Credit System (SCS) qui ressemble à s’y méprendre à ce que dépeint « Nosedive ».

Le principe est le même : attribuer à tous les ressortissants une note. « L’idée est de connecter toutes les bases de données, explique Séverine Arsène, sinologue à Hong Kong University. Les critères pris en compte seraient : le casier judiciaire, le comportement à l’école ou au travail et l’historique de crédit. L’objectif est de rendre publiques ces notes pour que les gens modifient leur comportement. »

L’État espère ainsi lutter contre la contrefaçon, les arnaques, les impayés ou la corruption, bref soutenir le développement économique. « Il y a déjà des Social Credit System locaux mis en place par des provinces ou des plateformes Internet, mais ce n’est pas encore le cas à l’échelle nationale. »

Le géant du Web Alibaba (vente en ligne) a ainsi développé Sesame, dans le but initial d’identifier les bons et les mauvais vendeurs ou acheteurs.

Mais cela va beaucoup plus loin : « Poster un message sur Tiananmen [répression sanglante d’une manifestation en 1989] sur un forum Alibaba peut diminuer l’évaluation Sesame ».

Les individus reçoivent une note allant de 350 à 950 en fonction de leur historique de crédit, leur capacité à honorer des contrats, informations personnelles vérifiées, et « comportement et habitudes d’achat », relate le magazine Wired.

Quelqu’un qui joue aux jeux vidéo dix heures par jour sera considéré comme une personne qui tourne au ralenti.

Li Yingyun, la directrice technologie de Sesame,

Et Séverine Arsène d’ajouter : « Les critères précis restent flous, mais un exemple souvent repris dans la presse chinoise est que si l’on achète des couches, on est mieux noté. C’est un système qui véhicule des stéréotypes ».

Sont également pris en compte les relations interpersonnelles, c’est-à-dire les personnes avec lesquelles l’individu est « ami » en ligne et les messages échangés, dont ceux qui parlent de Tiananmen. Une personne peut donc être sanctionnée pour des faits qu’elle n’a pas commis, à cause de ses relations.

Et l’on peut retourner cette base de données contre des activistes, comme le souligne Séverine Arsène.

La carotte et le bâton

Sesame offre des avantages à ceux qui se sont bien comportés, comme un accès facilité aux crédits.

L’application Altrip propose quant à elle des procédures simplifiées pour l’obtention d’un visa singapourien ou luxembourgeois en fonction de la note Sesame.

Côté sanctions pour le SCS, le gouvernement chinois envisage un accès restreint aux crédits et aux transports (plusieurs millions de personnes n’ont déjà plus la possibilité de voyager en train ou en avion en Chine à cause de leur comportement passé), l’inéligibilité à certains emplois (comme celui de journaliste), un Internet plus lent ou encore l’impossibilité d’inscrire ses enfants dans les écoles privées bien cotées.

Selon un document du gouvernement cité par Wired : « Si la confiance est brisée à un endroit, alors des restrictions sont imposées partout ».

Il est rationnel que les banques conservent un fichier de ceux qui n’ont pas payé leur crédit, mais on peut se demander quel est le lien avec le temps que vous passez devant les jeux vidéo

Gilles Dowek, enseignant à Polytechnique

« Il y a un risque d’arbitraire » ajoute-t-il. Il pointe aussi le problème des « faux positifs », l’irréductible marge d’erreur : « Même si elle est infime, une petite proportion sur plus d’un milliard d’habitants, ça fait beaucoup de gens ».

Le danger principal d’atteinte aux droits humains est, selon lui, l’interconnexion des systèmes : « La fragmentation de l’information est une garantie de la liberté ».

Reste à savoir aussi combien de temps seront conservées les données, ce qui pose la question du droit à l’oubli.

Stopper la fuite en avant

« Il est possible que le Social Credit System soit couplé en plus avec le réseau de caméras à reconnaissance faciale », s’inquiète William Nee, chercheur Asie à Amnesty International. La Chine souhaite s’équiper de plus de 600 millions de caméras d’ici 2020 (il en existe déjà 176 millions) et nul ne sait exactement combien seront dotées de la reconnaissance faciale.

« Il y a un manque de transparence sur ces projets », regrette-t-il.

Les ressortissants pourraient donc être surveillés en masse aussi bien dans la rue qu’en ligne, et nul besoin d’une décision judiciaire, cela va sans dire. Il existe déjà une police du Net qui traque les activistes comme les criminels.

L’utilisation d’un serveur proxy (ou VPN, pour se connecter à la Toile en dissimulant son identité) est passible d’une peine de prison. Dans un pays où l’Internet officiel est censuré, cela ne laisse aucun moyen d’accéder à une presse indépendante ou de communiquer librement.

Certes, le projet de Social Credit System n’a pas soulevé de vagues de protestations, mais est-ce une fatalité, que ce soit en Chine ou dans nos contrées ?

Ce qui est inexorable, c’est que la population va être de plus en plus informée. Une prise de conscience peut renverser cette tendance ; la technologie n’a pas sa propre marche. Des comités d’éthique dans le monde entier ont jugé qu’il ne fallait pas cloner les humains et on ne l’a pas fait.

Gilles Dowek

Rendez-vous en 2020, dans un aéroport chinois.

— Rémy Demichelis pour La Chronique d'Amnesty International

L'image illustrant cet article est sous licence creative commons