Comment nous avons mis en place le premier algorithme de recommandation d’agences immobilières en France
Au cours d’une conférence à School of PO en février dernier, Oussama Ammar parlait de la recommandation sur Netflix. Le contenu de la plateforme était auparavant recommandé en fonction de ce que les utilisateurs déclaraient aimer, sauf que ces déclarations différaient de leur comportement réel : les Français déclarent ainsi aimer les films d’auteur mais n’en regardent pas. Netflix a donc changé son algorithme de recommandation. Cette problématique est plus que jamais d’actualité avec la multiplication des plateformes : qui ne se demande pas comment sont recommandés les appartements sur Airbnb, les conducteurs sur Blablacar ou les personnes sur Tinder ?
Chez MeilleursAgents nous avons mis en place une recommandation d’agences immobilières : voilà notre retour d’expérience.
1. Pourquoi mettre en place un algorithme de recommandation d’agences ?
Le matching : une problématique de plateforme
Nous avons décidé de mettre en place un algorithme de recommandation d’agences immobilières pour répondre à un problème : nos utilisateurs ne comprenaient pas le classement des agences affichées sur notre site et nous voulions augmenter les chances qu’un particulier rencontre une agence. En tant que plateforme notre rôle est que deux populations se rencontrent au bon endroit et au bon moment. La qualité de ce matching est donc essentielle car elle permet de donner de la visibilité à une population A en échange d’une potentielle contrepartie de la population B. L’affichage de la population A doit alors correspondre aux besoins de la population B, intervenir au bon moment et présenter le bon niveau d’informations pour ne pas noyer l’utilisateur (Launchworks).
Par exemple en tant que passager sur le site de Blablacar, je cherche le bon covoiturage, c’est à dire celui qui correspond à mon trajet, au moment où cela m’intéresse et dans les conditions qui me conviennent. En tant que conducteur, je cherche à être visible auprès de passagers potentiels, qui cherchent un trajet similaire au mien, au moment où cela m’intéresse et à mes conditions.
Si le matching est efficace, la recommandation paraît non seulement évidente pour l’utilisateur, mais elle paraît également juste. Lorsqu’une des deux populations d’une plateforme est lésée, la confiance dans la plateforme s’érode.
Impact sur nos produits
Mettre en place le matching sur une plateforme implique de se poser trois questions sur chaque écran où nous avons une recommandation d’agences :
- Recall : quelles agences peuvent apparaître sur cette page ? (exemple : agences payantes uniquement)
- Sort : comment les agences sont-elles triées ? (exemple : aléatoire)
- Display : comment les agences sont-elles affichées ? (exemple : un logo, un nom, les avis clients et le nombre de ventes de l’agence).
Quel que soit le choix, il est également essentiel d’avoir une cohérence d’une étape à l’autre du parcours : un changement de tri ou d’affichage est perturbant d’un écran à l’autre et amène l’utilisateur à s’interroger sur la recommandation qui lui est faite, ce qui peut engendrer une perte de confiance dans le site.
Nous nous sommes donc accordés sur un recall différent en fonction des offres souscrites par nos agences partenaires, un sort différent en fonction du niveau géographique et un display unique sur tout le site afin d’être plus cohérent.
Incohérences et blocages créés par l’absence de recommandation
Sur le site de MeilleursAgents, nous proposons d’accompagner le propriétaire qui veut vendre son bien à toutes les étapes de son projet immobilier. Le vendeur peut s’informer sur les prix autour de chez lui, faire une estimation en ligne, puis chercher des agences immobilières qui feront une estimation du bien “dans la vraie vie”. Les agences immobilières ont donc la possibilité d’être visibles à trois endroits : les pages prix, le résultat du parcours d’estimation et l’annuaire des agences.
- Pages prix : avant de mettre en place notre algorithme de recommandation sur toute la plateforme, les agences étaient affichées aléatoirement sur les pages prix. Des tests utilisateurs nous ont appris que les particuliers ne voyaient même pas le bloc agences car l’affichage aléatoire donnait un aspect très “publicitaire”, or les utilisateurs ont tendance à ignorer ce type de contenu.
- En résultat d’estimation et sur l’annuaire des agences, les agences étaient affichées selon un autre algorithme essentiellement fondé sur la distance entre l’agence et l’adresse du bien du particulier. Non seulement cet ordre n’était pas bien compris par les utilisateurs, mais il n’était pas forcément pertinent. Par exemple, dans une petite ville où trois agences immobilières sont situées dans la même rue principale en centre ville, classer ces agences de la plus proche à la plus éloignée par rapport à une adresse n’est pas pertinent pour le particulier.
La combinaison entre une absence de recommandation (l’aléatoire) et une recommandation complexe entraînait un matching peu efficace. Notre objectif était donc de mettre en place un nouvel algorithme qui soit pertinent pour le particulier, compris par tous et cohérent à tous les points de contact.
2. Comment définir les principes de cet algorithme ?
Spécificité de MeilleursAgents : deux populations qui ne veulent pas se rencontrer
Notre particularité chez MeilleursAgents est de vouloir mettre en relation deux populations qui ne veulent parfois pas se rencontrer : 75% des particuliers commencent par essayer de vendre par eux même. Il se passe en moyenne 6 mois entre le moment où le particulier décide de vendre son bien et le moment où il signe l’acte de vente. Parmi ces 75% de particuliers, 55% feront finalement appel à une agence en cours de route car vendre son bien s’avère difficile et chronophage (sources : étude interne et étude Opinionway pour MeilleursAgents, 2018). Dans une majorité de cas le choix de recourir à une agence immobilière est donc un choix subi et non un choix assumé, d’autant que les agents immobiliers pâtissent d’une très mauvaise image et que les Français ont du mal à faire confiance à la profession.
La majorité des particuliers ne vont pas sur le site de MeilleursAgents pour chercher la meilleure agence pour vendre leur bien, ce qui a constitué un obstacle non négligeable. Il fallait donc comprendre parfaitement les besoins et comportements du particulier afin de mettre en place une recommandation pertinente au bon endroit et au bon moment.
Phase de discovery : les besoins du particulier vendeur
Pour définir les principes de l’algorithme de recommandation d’agences nous avons donc cherché à comprendre le parcours d’un propriétaire vendeur : quel est le contexte d’une vente immobilière, pourquoi passer ou non par une agence, quels sont les critères de choix d’une agence ? Pour obtenir des réponses, nous avons mené des interviews qualitatives en interne et en externe, décortiqué les avis clients pour faire ressortir les termes clés, lancé un questionnaire quantitatif, organisé des tests utilisateurs sur les parcours du site et analysé ces parcours quantitativement avec Google Analytics.
L’aspect le plus intéressant de cette phase de discovery a été que le particulier lui même avait du mal à définir ce qui le poussait à choisir une agence plutôt qu’une autre. Tous nous répondaient que la proximité de l’agence avec le bien à vendre était le critère le plus important, mais en creusant ce point à l’aide des 5 pourquoi nous nous sommes rendu compte que le particulier associait proximité avec expertise : “si une agence est proche du bien à vendre, elle a dû vendre dans le secteur et connaît donc bien les spécificités du quartier”. Or nos données sur les ventes de nos 11 000 agences partenaires nous permettent de dire qu’une agence ne vend pas forcément uniquement autour de chez elle. Pourquoi recommander au particulier qui vend son bien à Paris 13, une agence qui est localisée à Paris 13 mais ne vend que des biens à Paris 17 ? Nous avons donc décidé de recommander des agences en fonction de la localisation et de la nature de leurs ventes, lesquelles matérialisent réellement l’expertise locale d’une agence.
En échangeant avec des agences immobilières nous avons précisé ce critère en y ajoutant la notion de similarité : un vendeur ne sera pas intéressé par une agence spécialiste en petits appartements s’il vend une grande maison. Nous avons donc intégré le type de bien et la surface du bien, en plus des fourchettes de prix au m2. Notre recommandation (le sort) varie donc en fonction du niveau géographique : à un niveau ville, quartier ou rue, nous recommandons des agences ayant vendu le plus de biens dans le secteur. À un niveau adresse, nous recommandons des agences ayant vendu les biens les plus similaires, sachant que plus l’utilisateur nous donne d’informations sur son bien, plus cette similarité est précise.
Enfin, nous avons décidé d’exclure les avis clients des critères pris en compte dans la recommandation car il s’agit d’une donnée subjective et non objective. La majorité des utilisateurs n’y croient pas, particulièrement quand les avis sont positifs : “ce sont des faux avis”, “les avis négatifs ne sont pas affichés” ou “ces avis sont sans intérêt pour mon cas”. Cependant les avis clients sont toujours consultés, nous les avons donc inclus dans le display.
Objectif et kpi de la mise en place de la recommandation
À ce stade, avoir un indicateur clef de performance est essentiel : selon si l’indicateur choisi est le taux de contact des agences, le nombre de vues sur les pages affichant des agences ou le taux d’accès aux vitrines digitales des agences, la façon de traiter le sujet varie. Nous avons choisi de prendre en compte le taux d’accès aux vitrines digitales des agences. En effet, le taux de contact est corrélé aux informations intrinsèques de chaque agence (quelle photo est utilisée pour présenter l’agence, les ventes de l’agence sont-elles renseignées, les avis clients sont-ils positifs ? ) et le nombre de vues sur les pages affichant des agences est corrélé à des éléments externes (saisonnalité, campagne de publicité en cours). Le taux d’accès à une vitrine reflétait donc mieux la qualité et la cohérence de notre recommandation.
3. La mise en place de la recommandation d’agences : retours d’expérience
Tests effectués avant le déploiement à 100%
Avant une mise en production à 100% sur toute la France, nous avons procédé par étapes :
- tests utilisateurs en interne et en externe pour s’assurer que l’affichage des agences était clair et pertinent pour l’utilisateur,
- interviews qualitatives des agences pour s’assurer de la pertinence des critères pris en compte dans l’algorithme,
- questionnaires quantitatifs auprès des agences pour confirmer les résultats des interviews,
- simulations de la répartition des parts de voix des agences pour évaluer l’impact du nouvel algorithme sur les statistiques de visibilité des agences,
- ab test sur trois villes en France pour mesurer l’impact du nouvel algorithme sur le taux d’accès aux vitrines des agences depuis les pages prix. Ce test a montré que le nouvel algorithme augmentait de 68% l’accès aux vitrines des agences.
Les résultats de ces différentes phases ont ensuite été communiqués à toute l’entreprise afin de convaincre les équipes de la pertinence de cette nouvelle recommandation. Les arguments ont été intégrés dans les trames des commerciaux, de nombreuses formations ont été faites et un plan de communication a été mis en place pour nos agences partenaires.
Développement d’outils internes
Pour assurer un suivi détaillé des résultats obtenus avec notre nouvel algorithme, nous avions besoin d’un debugger qui puisse nous donner plus d’informations que ce que nous affichions sur le site. Nous avons donc pris le temps de construire un outil qui affiche les agences recommandées à une adresse avec le détail des scores de similarité de chaque vente : très utile pour expliquer des cas qui nous paraissaient étranges ou pour ajuster la pondération de tel ou tel coefficient.
Par exemple, au bout de quelques mois nous nous sommes rendus compte que le bonus accordé à une agence ayant vendu exactement à l’adresse n’était pas assez fort. Par conséquent, si un particulier faisait une estimation à l’adresse de son bien, une agence ayant vendu beaucoup de biens dans le secteur ressortait avant une petite agence avec peu de ventes mais ayant vendu pile à l’adresse. Avec l’aide du debugger pour tester différents cas, nous avons donc augmenté ce bonus afin d’afficher dans tous les cas l’agence ayant vendu à l’adresse, ce qui constitue une information très importante pour le particulier.
Quelques mois plus tard, nous avons développé au cours d’un hackathon en interne une carte qui permet de représenter la visibilité d’une agence avec notre nouvel algorithme. Parce que les sujets d’algorithme sont toujours complexes à expliquer, nous nous sommes rendus compte qu’une carte visuelle expliquant dans quels cas l’agence allait apparaître ou non sur le site permettait à nos conseillers de rassurer nos clients agences.
Alignement de l’entreprise
Un changement aussi structurant implique un alignement très fort en interne. Le changement majeur par rapport à l’affichage aléatoire est qu’il y a nécessairement des gagnants et des perdants car les agences ayant plus de ventes sont plus affichées que celles n’en ayant pas ou peu. Lorsque vous choisissez un appartement sur Airbnb, vous pouvez êtres réticent à choisir un appartement sans photos ou sans avis : de la même façon, vous serez réticent à contacter une agence avec peu de ventes ou peu d’avis. En tant que tiers de confiance, nous ne pouvons donc pas recommander au particulier une agence qui ne lui convient pas de façon quasi certaine. Ce sujet est compliqué et appelle à imaginer potentiellement d’autres offres que la visibilité pour ce segment d’agences. Au moment de la mise en production à 100% de l’algorithme, l’entreprise était alignée sur les objectifs du projet, les principes de l’algorithme et les impacts de sa mise en place. Toutefois je pense que nous avons sous-estimé l’importance de rappeler régulièrement ces éléments. Les projets et les personnes se renouvellent et il est crucial de maintenir le niveau de formation nécessaire pour expliquer que le matching est essentiel pour la plateforme et que les principes de cet algorithme sont les bons.
Un algorithme de recommandation peut être amélioré tant que les principes fondateurs sont maintenus et que la recommandation reste pertinente pour les utilisateurs. Mettre en place un algorithme qui ne servirait que la visibilité d’une population A n’apporterait pas de valeur à la population B, laquelle ne fournirait pas la fameuse contrepartie. Si Netflix voulait à tout prix donner de la visibilité à tous ses contenus de façon égale, le temps de visionnage serait sans doute moins important. C’est en recommandant des résultats en fonction de critères pertinents, car issus d’une recherche utilisateurs, qu’en tant que plateforme nous pouvons améliorer nos KPIs et nous positionner comme tiers de confiance !
Quelques liens
https://usbeketrica.com/article/netflix-devoile-comment-son-algorithme-vous-rend-accros
https://help.netflix.com/fr/node/100639
https://www.launchworks.co/insights/the-rocket-model-for-digital-platforms/
