Un score algorithmique a empêché sa location : l’affaire SafeRent en question

Lorsqu’elle a cherché à louer un appartement dans une banlieue du Massachusetts, Mary Louis n’a pas seulement été confrontée au marché locatif américain. Sa candidature a été condensée en un chiffre : 324. Ce score, produit par le logiciel d’évaluation de locataires SafeRent, a suffi à faire échouer sa demande. Or ni la méthode de calcul ni la signification précise de ce nombre ne lui ont été expliquées.

L’affaire illustre une question devenue centrale avec la généralisation des outils de sélection automatisée : que se passe-t-il lorsqu’un modèle statistique, présenté comme neutre, écarte un candidat sans rendre ses critères intelligibles ? Pour Mary Louis et plus de 400 autres locataires, la réponse est concrète : un outil censé mesurer le risque locatif aurait pénalisé de manière disproportionnée des personnes noires et hispaniques utilisant des bons de logement.

Un chiffre de 324 face à un seuil de 443

Le courriel reçu par Mary Louis de la part du service de gestion immobilière était sans ambiguïté. Sa demande avait été refusée après l’analyse automatisée réalisée par SafeRent. Pour être acceptée, elle aurait dû obtenir un score d’au moins 443, soit 119 points de plus que les 324 qui lui avaient été attribués.

Ce rejet ne signifiait pas pour autant que son dossier était dépourvu de garanties. Mary Louis avait un score de crédit modeste, mais elle pouvait aussi présenter des éléments habituellement importants pour un propriétaire : une ancienne propriétaire attestant qu’elle payait régulièrement son loyer, ainsi qu’un programme d’aide au logement assurant des revenus gouvernementaux au bailleur.

Le problème soulevé par ce dossier tient précisément à cette confrontation. Un système a émis une évaluation défavorable, tandis que plusieurs informations concrètes semblaient plaider en faveur de la stabilité de la candidate. Pourtant, aucun mécanisme de recours n’était proposé dans le message reçu par Mary Louis, pas plus qu’une explication permettant de savoir quels éléments avaient pesé contre elle.

Comment fonctionne un score locatif automatisé ?

Les propriétaires et les gestionnaires immobiliers utilisent depuis longtemps des vérifications de solvabilité, d’antécédents de location ou de revenus. Les logiciels de sélection automatisée prolongent cette logique : ils transforment un ensemble de données en un indicateur destiné à accélérer le tri des candidatures.

Dans le langage courant, ces outils sont souvent qualifiés d’« IA ». Techniquement, un tel système peut reposer sur des règles statistiques, des modèles de prédiction ou des techniques d’apprentissage automatique. Cette distinction compte, mais elle ne change pas l’enjeu principal pour la personne concernée : un calcul automatisé peut influencer, voire déterminer, l’accès à un logement.

Le score ne devrait pas être confondu avec une vérité sur la capacité d’une personne à payer son loyer. C’est une estimation produite à partir de données passées et de choix de conception. Les concepteurs doivent décider quelles données intégrer, comment les pondérer, quelle valeur attribuer à un incident financier et à partir de quel seuil un candidat sera exclu. Ces choix ne sont jamais entièrement neutres.

Dans l’affaire SafeRent, l’opacité a renforcé le sentiment d’arbitraire. Les locataires potentiels ne savaient pas ce que recouvrait le chiffre communiqué. Les professionnels de la gestion immobilière, de leur côté, pouvaient eux aussi se retrouver dépendants d’un outil dont ils ne connaissaient pas les paramètres détaillés. L’automatisation crée alors une distance supplémentaire entre le propriétaire, qui cherche à limiter son risque, et le candidat, qui doit pouvoir expliquer sa situation réelle.

Pourquoi le risque de discrimination existe-t-il ?

La plainte collective à laquelle Mary Louis s’est associée ne soutenait pas qu’un algorithme agirait consciemment par hostilité envers un groupe. Elle avançait un mécanisme plus difficile à déceler : un système apparemment identique pour tous peut reproduire des inégalités déjà présentes dans les données qu’il exploite.

Les plaignants, plus de 400 locataires noirs et hispaniques utilisant des bons de logement, ont estimé que SafeRent les désavantageait injustement. Ils reprochaient notamment au score de dévaloriser des éléments pertinents de leur stabilité financière, comme les garanties liées à l’aide au logement ou les références locatives positives.

Le contexte social américain est déterminant. Les minorités raciales sont plus fréquemment confrontées à des scores de crédit faibles et sont aussi davantage susceptibles d’utiliser des dispositifs d’aide au logement. Si un système attache une importance excessive à certains signaux financiers, sans apprécier les protections concrètes dont bénéficie un bailleur, il peut exclure plus souvent des populations déjà confrontées à des obstacles structurels.

L’absence d’une donnée explicitement raciale ne suffit donc pas à garantir l’équité. Des variables qui paraissent neutres peuvent fonctionner comme des indicateurs indirects d’inégalités sociales ou raciales. C’est ce que l’on appelle un effet discriminatoire indirect : la règle est formulée de façon générale, mais ses conséquences touchent plus lourdement certains groupes.

Une action collective contre SafeRent

Face au rejet de sa demande, Mary Louis a choisi la voie judiciaire. Elle a rejoint un groupe de plus de 400 locataires de couleur, parmi lesquels des personnes noires et hispaniques bénéficiant de bons de logement. Leur recours visait SafeRent, l’entreprise à l’origine du système de notation.

L’enjeu dépassait largement la recherche d’un appartement par une seule personne. Les plaignants voulaient faire reconnaître qu’un logiciel de sélection peut, en pratique, fermer l’accès au logement à des ménages pourtant capables de payer leur loyer. Ils contestaient également le manque de transparence entourant la décision : lorsqu’un candidat ne connaît ni les données retenues ni les raisons précises de son exclusion, il lui devient particulièrement difficile de corriger une erreur ou de défendre son dossier.

Cette affaire rappelle qu’une décision automatisée ne fait pas disparaître la responsabilité humaine. Le propriétaire, le gestionnaire et l’entreprise qui fournit l’outil interviennent tous dans la chaîne de décision. Le recours à un logiciel ne devrait pas servir à rendre une sélection impossible à expliquer ou à contester.

Un règlement de 2,3 millions de dollars sans reconnaissance de responsabilité

SafeRent a finalement accepté un règlement de 2,3 millions de dollars. L’entreprise n’a pas reconnu de responsabilité légale. Cet élément est important : un règlement met fin à un litige selon les conditions convenues par les parties, mais il ne constitue pas nécessairement une décision judiciaire établissant formellement une faute.

L’accord prévoit néanmoins un changement concret. Pendant cinq ans, SafeRent ne doit plus utiliser son système de scoring pour les candidats à la location utilisant des bons de logement. La mesure ne revient pas à interdire tous les outils de sélection locative ni à résoudre, à elle seule, les problèmes de transparence du secteur. Elle vise une pratique particulière et une population particulièrement exposée aux effets du système contesté.

Pour les organisations qui défendent les droits des locataires, ce règlement représente une avancée. Il montre qu’un outil algorithmique peut être contesté lorsqu’il semble produire des effets inéquitables et qu’une entreprise peut être amenée à modifier ses pratiques, même sans admettre une violation de la loi.

Quelles protections face aux décisions automatisées dans le logement ?

Aux États-Unis, le Fair Housing Act interdit les discriminations dans l’accès au logement. Cette protection concerne notamment la race, la couleur, l’origine nationale, la religion, le sexe, le handicap et la situation familiale. Mais appliquer ces principes à un score algorithmique est complexe : il faut pouvoir comprendre le fonctionnement du système, mesurer ses effets et établir un lien entre la règle utilisée et l’inégalité observée.

L’affaire SafeRent met aussi en lumière un décalage entre la diffusion rapide de ces outils et les moyens de contrôle disponibles. Les lois générales contre les discriminations existent, mais elles n’ont pas toutes été conçues à l’époque où un refus pouvait être généré en quelques secondes par un modèle opaque, puis transmis automatiquement à un candidat.

Le débat ne concerne pas seulement les locataires. Une majorité des 92 millions de personnes à faible revenu aux États-Unis est exposée à des décisions automatisées dans des domaines essentiels, dont l’emploi, le logement et les aides publiques. Plus une décision touche aux conditions de vie fondamentales, plus la possibilité de demander une explication et de faire examiner un cas particulier devient importante.

Pour une personne confrontée à un refus de location fondé sur un score, plusieurs précautions peuvent être utiles : conserver le courriel ou l’avis de refus, demander quelles informations ont été prises en compte, vérifier d’éventuelles erreurs dans son dossier et se rapprocher d’une organisation locale de défense des droits au logement ou d’un conseil juridique. Les règles applicables dépendent toutefois du pays et, aux États-Unis, de l’État ou de la ville concernés.

Ce qu’il faut surveiller après l’affaire SafeRent

Le règlement conclu avec SafeRent pourrait encourager d’autres locataires à contester des décisions automatisées qu’ils estiment discriminatoires. Il pourrait aussi pousser les entreprises du secteur à mieux documenter leurs critères et les gestionnaires immobiliers à ne pas s’en remettre aveuglément à une note unique.

Trois sujets seront particulièrement décisifs. Le premier est la transparence : un candidat doit-il pouvoir connaître les raisons concrètes de son refus et les données qui ont conduit au score ? Le deuxième est la possibilité de correction : une information erronée, ancienne ou incomplète peut-elle être rectifiée avant qu’elle ne ferme la porte d’un logement ? Le troisième est l’évaluation des effets : les entreprises mesurent-elles l’impact de leurs outils sur les groupes protégés ?

L’histoire de Mary Louis ne se résume donc pas à la différence entre deux nombres, 324 et 443. Elle pose une question de société : lorsqu’un algorithme aide à décider qui peut se loger, peut-on accepter que le calcul reste invisible pour celles et ceux dont il transforme la vie ? Le règlement de SafeRent apporte une réponse limitée mais tangible. Il place surtout l’équité et la responsabilité au cœur d’un secteur où les décisions numériques prennent une place croissante.