L4D Learning for Democracy

Videos

De l’automatisation des inégalités Par Hubert Guillaud in InternetActu.net

De l’automatisation des inégalités

Par Hubert Guillaud  in InternetActu.net  

 http://www.internetactu.net/2018/01/15/de-lautomatisation-des-inegalites/

Dans une récente  tribune pour le New York Times, l’avocate Elisabeth Mason (@elismason1), directrice du Laboratoire pauvreté et technologie qui dépend du Centre sur la pauvreté et l’inégalité de Stanford (@CenterPovlneq) soulignait que le Big data et l’intelligence artificielle étaient amenés à être des outils puissants pour lutter contre la pauvreté. Les grands ensembles de données peuvent désormais être exploités pour mieux prédire l’efficacité des programmes d’aides et les évaluer. « Le big data promet quelque chose proche d’une évaluation impartiale, sans idéologie, de l’efficacité des programmes sociaux », explique-t-elle en rêvant d’une société parfaitement méritocratique, tout entière fondée sur la « preuve de ce qui marche » (Evidence-based policymaking). Un propos qui pourrait paraître un peu naïf, si on l’éclaire par le livre que vient de publier la spécialiste de science politique, Virginia Eubanks (@poptechworks) :  Automatiser les inégalités : comment les outils high-tech profilent, policent et punissent les pauvres.

Les processus de décision sont de plus en plus confiés à des machines, rappelle la chercheuse. « Des systèmes d’éligibilité automatisés, des algorithmes de classements, des modèles de prédiction des risques contrôlent les quartiers qui doivent être policés, quelles familles peuvent obtenir des aides, qui peut accéder à un emploi, qui doit être contrôlé pour fraude. (…) Notre monde est parcouru de sentinelles informationnelles (…)  : d’agents de sécurité numérique qui collectent de l’information sur nous, qui fabriquent des inférences à partir de nos comportements et contrôlent l’accès aux ressources ». Si certains sont visibles, la plupart sont impénétrables et invisibles. « Ces outils sont si profondément tissés dans la fabrique de la vie sociale, que la plupart du temps, nous ne remarquons même pas que nous avons été surveillés et analysés ».

Reste que bien peu de personnes s’intéressent à ce que signifie d’être signalés par ces programmes et les catastrophes individuelles que cela engendre. Se voir retirer son assurance santé au moment où vous êtes le plus vulnérable laisse ceux qui en sont victimes désespérés et acculés. Le problème, souligne très bien Virginia Eubanks est « qu’il n’y a pas de règles qui vous notifient le fait que vous avez été signalé » (ref-flagged) par un programme. La plupart des gens ne savent pas qu’ils ont été la cible de systèmes de décisions automatisés.

Eubanks souligne que ce contrôle s’exerce sur des membres de groupes sociaux plus que des individus : gens de couleurs, migrants, groupes religieux spécifiques, minorités sexuelles, pauvres et toutes populations oppressées et exploitées. Les groupes les plus marginalisés sont ceux sur lesquels le plus de données sont collectées. Et le problème, souligne Virginia Eubanks, c’est que « cette collecte de données renforce leur marginalité » en créant « une boucle de rétroaction de l’injustice » qui renforce à son tour la surveillance et le soupçon.

Des hospices… aux hospices numériques

Le propos de la chercheuse est éminemment politique : en enquêtant sur une poignée de systèmes automatisés développés pour optimiser les programmes sociaux américains, elle dénonce une politique devenue performative… c’est-à-dire qui réalise ce qu’elle énonce. Selon elle, les programmes sociaux n’ont pas pour objectif de fonctionner, mais ont pour objectif d’accumuler de la stigmatisation sur les programmes sociaux et renforcer le discours montrant que ceux qui bénéficient de l’assistance sociale sont, au choix, des criminels, des paresseux ou des profiteurs. La rationalisation des programmes d’aide publics du fait de la crise et des coupes budgétaires les contraint à toujours plus de performance et d’efficacité. Or cette performance et cette efficacité s’incarnent dans des outils numériques qui n’ont rien de neutre, pointe la chercheuse.

Le problème, c’est que ces outils de surveillance sont partout : dans les marges où nous entraîne la chercheuse, les histoires où les technologies facilitent la communication et ouvrent des opportunités sont rares. Pour les plus démunis, la révolution numérique ressemble surtout à un cauchemar. Comme elle le soulignait déjà, pour comprendre l’avenir de la surveillance, il faut regarder comment elle se développe déjà auprès des populations les plus marginalisées.

Dans la première partie de l’ouvrage, Virginia Eubanks dresse un rapide historique pour rappeler que, à la suite de Michel Foucault, les communautés les plus démunies ont toujours été les plus surveillées. Elle souligne la continuité entre les asiles, les prisons, les hospices de la fin du XVIIIe siècle aux bases de données d’aujourd’hui, rappelant que les premières bases de données ont été créées par les promoteurs de l’eugénisme pour discriminer les criminels et les faibles d’esprit.

Elle souligne aussi combien cette histoire de l’assistance publique est intimement liée, surtout aux Etats-Unis, à des vagues régulières de critiques contre l’aide sociale. Partout, l’enjeu a été de mettre en place des règles pour limiter et contrôler le nombre de bénéficiaires des aides sociales, privées comme publiques. Une histoire qui s’intrique à celle des représentations de la pauvreté, de son coût, de la fraude, de la dénonciation de l’inefficacité des aides… Les « hospices numériques » (digital poorhouse), c’est-à-dire les systèmes automatisés de contrôle des aides que reçoivent les plus pauvres, naissent dès les années 70, avec l’informatique elle-même, rappelle la chercheuse. La recherche d’outils neutres pour évaluer les dépenses publiques pour ces bénéficiaires a surtout consisté dans le développement d’outils de surveillance des récipiendaires de l’aide publique. Des programmes de détection des fraudes, des bases de données de bénéficiaires ont été créées et reliées pour tracer les dépenses et les comportements de leurs bénéficiaires dans de multiples programmes sociaux. « Le conflit entre le développement des droits pour les bénéficiaires de l’aide sociale et le faible soutien aux programmes d’assistance publique a été résolu par le développement d’outils technologiques punitifs ». Alors que le droit développait l’aide publique, la technologie était utilisée pour réduire le nombre de leurs allocataires ! Certains programmes d’aides multipliant les situations de non-conformité et les sanctions pour un retard à un rendez-vous, ou pour ne pas avoir consulté un médecin prescrit… Pour Virginia Eubanks, ces systèmes automatisés sont une continuité et une expansion des systèmes de gestion des pauvres punitifs et moralistes, des hospices de la fin du XVIIIe siècle et du début du XIXe siècle que pointait le travail de Michel Foucault. « Si ces systèmes sont présentés pour rationaliser et gérer les bénéficiaires, leur but premier reste et demeure de profiler, surveiller et punir les pauvres ».

S’intéresser aux effets des calculs sur la société

Dans son livre, Virginia Eubanks se concentre sur l’étude de 3 systèmes : un système mis en place par l’Indiana pour automatiser l’éligibilité de candidats aux programmes d’assistance publique de l’Etat ; un répertoire des SDF de Los Angeles ; et un système d’analyse du risque pour prédire les abus ou négligence sur enfants dans un comté de la Pennsylvanie. Des exemples et des systèmes assez spécifiques, par nature très Américains, qui pourraient nous laisser indifférents, nous Européens, si leur étude ne révélait pas une nature des outils numériques, un fonctionnement qu’on peut potentiellement retrouver dans chacun de ceux qui sont déployés.

La chercheuse prend le temps de les explorer en détail. Elle nous rappelle leur histoire, comment et pourquoi ils ont été mis en place. Comment ils fonctionnent. Elle nous présente quelques personnes qui les font fonctionner, d’autres qui en sont les bénéficiaires ou les victimes. Dans ce travail ethnographique, elle ne présente pas toujours en détail les systèmes, les critères, les questions, le fonctionnement des algorithmes eux-mêmes. La manière dont sont calculés les scores depuis le répertoire des SDF pour leur attribuer une priorité dans la demande de logement n’est pas par exemple ce que cherche à nous montrer Virginia Eubanks. En fait, c’est un peu comme si pour elle ces systèmes étaient par nature incapables d’optimiser le monde qu’on leur demande d’optimiser. L’important n’est pas le calcul qu’ils produisent qui seront toujours imparfait que leurs effets concrets. C’est eux qu’elle nous invite à observer. Et ce qu’elle en voit n’est pas très agréable à regarder.

Chacun des exemples qu’elle prend est édifiant. Le système automatique de gestion de l’assistance de l’Indiana, confié à un opérateur privé, montre toute l’incompétence du délégataire : durant son fonctionnement, l’aide publique a reculé de 54 %. Au moindre oubli, au moindre document manquant, les bénéficiaires étaient tout simplement éjectés du système au prétexte d’un culpabilisant « défaut de coopération » cachant surtout ses défaillances techniques et organisationnelles. Le taux de demande d’aides refusées s’est envolé. Des personnes sourdes, handicapés mentaux, malades, étaient contraintes de joindre un centre d’appel pour bénéficier d’aides… Le contrat entre l’Etat de l’Indiana et IBM a fini par être rompu. Les procès entre le maître d’oeuvre et le délégataire ont duré des années. Son coût n’a jamais été pleinement évalué, hormis pour les gens qu’il a privés des aides auxquelles ils avaient droit. « En retirant l’appréciation humaine des agents en première ligne au profit des métriques d’ingénieurs et de prestataires privés, l’expérience de l’Indiana a suralimenté la discrimination ». Les spécifications sociales pour l’automatisation se sont basées sur l’épuisement et l’usure des bénéficiaires, sur des postulats de classes et de races qui ont été encodées en métriques de performances.

Dans le comté de Los Angeles, Virginia Eubanks évoque longuement la mise en place d’une base de données centralisée des SDF créée pour améliorer l’appariement entre l’offre de logement d’urgence et la demande. L’enjeu était de pouvoir prioriser les demandes, entre sans-abris en crise et sans abris chroniques, en aidant les premiers pour éviter qu’ils ne tombent dans la seconde catégorie. Les partenaires du projet ont donc créé une base de données pour évaluer les demandeurs collectant de vastes quantités d’information personnelle avec un algorithme pour classer les demandeurs selon un score de vulnérabilité et un autre pour les apparier avec les offres de logements : le VI-SPDAT (index de vulnérabilité ou outil d’aide à la décision de priorisation des services). Tout sans-abri accueilli par un organisme doit alors répondre à un long questionnaire, particulièrement intime, posant des questions sur sa santé, sa sexualité, les violences commises à son encontre ou dont il a été l’auteur… La base de données est accessible à quelque 168 organisations différentes : services de la ville, association de secours, organisations religieuses, hôpitaux, centre d’aides et d’hébergements… et même la police de Los Angeles. Chaque sans-abri reçoit un score allant de 1 à 17, du moins au plus vulnérable. Ceux qui ont un score élevé reçoivent alors un accord d’hébergement qu’ils peuvent porter (avec les justificatifs nécessaires) aux autorités du logement de la ville qui peuvent alors leur proposer un logement ou un financement. Virginia Eubanks pointe là encore les multiples difficultés de ces questionnaires qui se présentent comme neutres, sans l’être. Selon la manière dont les SDF répondent aux questions (seuls ou accompagnés, par quelqu’un qui les connait ou pas…), leur score peut varier du tout au tout. Ainsi, un SDF sortant de prison se voit attribuer un score faible au prétexte qu’il a eu un hébergement stable durant son séjour en établissement pénitentiaire.

Elle souligne que le manque de solutions de logements pour sans-abris fait que le système sert plus à gérer les SDF qu’à résoudre le problème. Selon le service des sans-abris de Los Angeles, la ville comptait 57 794 SDF en 2017. 31 000 sont enregistrés dans la base depuis sa création en 2014. 9 627 ont été aidé pour trouver un logement. Si pour Virginia Eubanks le système n’est pas totalement inopérant, reste que sa grande disponibilité pose question. Ces enregistrements consultables par trop d’organisations sur simple requête – et notamment par les forces de l’ordre, sans avoir à justifier d’une cause, d’une suspicion ou autre -, transforment des données administratives et les services sociaux en extension des systèmes de police et de justice. L’absence d’une protection des données de ce registre, nous rappelle combien toute base de données créée pour répondre à un objectif finit toujours par être utilisée pour d’autres objectifs… Les bases de données coordonnées sont des centres de tri qui rendent ceux qui en sont l’objet « plus visibles, plus traçables, plus prévisibles ». « Les personnes ciblées émergent désormais des données » : les personnes jugées à risque sont codées pour la criminalisation. Si ces systèmes produisent certes des chiffres pour mieux orienter les budgets, les données ne construisent pas d’hébergements.

Le dernier exemple que prend Virginia Eubanks est une enquête sur le fonctionnement d’un outil de prédiction du risque de maltraitance et d’agression d’enfants