Facebook accélère la validation des données de mappage avec des outils d'apprentissage automatique Map With AI et RapiD

Des millions de routes dans le monde n’ont pas encore été cartographiées, ce qui pose un réel problème, en particulier dans les pays en développement. Le manque de données cartographiques peut nuire aux interventions en cas de catastrophe, à la planification communautaire et aux économies locales. Et bien que des projets gérés par le gouvernement et financés par les impôts, tels que le Royaume-Uni, décrivent d’énormes corpus, ils ont en grande partie échoué à les distribuer librement et largement.

C’est ce qui motive les efforts de crowdsourcing tels que OpenStreetMap, qui recrute chaque jour des milliers de volontaires pour répertorier les routes, les bâtiments et les ponts. C’est un processus ardu, mais soutenu par Facebook, qui a collaboré avec les communautés et les partenaires pour peaufiner un outil – Map With AI – qui automatise plusieurs des étapes les plus fastidieuses.

Maintenant, après presque deux ans de développement, Facebook met aujourd'hui Map With AI à la disposition de la communauté OpenStreetMap. Il inclut l'accès aux cartes routières générées par l'intelligence artificielle en Afghanistan, au Bangladesh, en Indonésie, au Mexique, au Nigéria, en Tanzanie et en Ouganda (d'autres pays étant à venir "dans le temps"), ainsi que RapiD, une version de l'édition d'OpenStreetMap basée sur l'IA. outil iD.

Ci-dessus: Le réseau routier autour du mont Muria, en Indonésie. La luminosité des lignes magenta indique la confiance du modèle.

Crédit d'image: Facebook

«De nombreuses régions rurales du monde sont difficiles à cartographier sur le terrain. Comme je l'ai déjà constaté dans mon travail précédent avec la Croix-Rouge, les défis incluent les sites isolés, le manque d'électricité et d'accès à Internet, ainsi que des environnements économiques et politiques compliqués », a déclaré Drishtie Patel, responsable produits de l'infrastructure de localisation et de cartes sur Facebook. «Les lacunes dans les données cartographiques peuvent affecter tout, y compris l'intervention en cas de catastrophe, la planification communautaire et l'aide à l'économie locale.»

Comme l'expliquent Patel et ses collègues dans un billet de blog, Map With AI est conçu pour rendre l'ajout et la modification de routes rapides et relativement simples. Il y parvient en partie en exploitant une nouvelle méthode de prévision des réseaux routiers à partir des images satellite disponibles dans le commerce auprès de Maxar, ce qui lui permet de prendre en compte les différences de routes régionales.

Un réseau de neurones convolutifs de 34 couches au cœur de Map With AI isole les routes dans des instantanés géospatiaux avec une résolution de 2 pieds carrés par pixel, puis génère des cartes rasterisées montrant la confiance des prédictions pour chaque pixel. (Dans la carte des résultats de la prévision, la confiance du modèle correspond à la luminosité des lignes magenta.) Par la suite, les cartes sont converties en représentations mathématiques – vecteurs – compatibles avec la base de données géospatiale d’OpenStreetMap via des techniques de post-traitement.

Facebook indique qu'en 18 mois en Thaïlande, son équipe a utilisé Map With AI pour explorer le reste des 600 000 kilomètres de routes du pays (dont plus de 300 000 kilomètres de routes manquantes) et plus de 90% des routes manquantes en Indonésie, ce qui est un processus les estimations auraient pris trois à cinq années supplémentaires si elles avaient été complétées à la main. En outre, la société a déclaré que suite aux graves inondations survenues au Kerala en Inde l’année dernière, Map With AI a accéléré la cartographie de la région par l’équipe d’intervention humanitaire d’OpenStreetMap.

Ci-dessus: partie des données utilisées pour former le modèle d'IA à reconnaître correctement les routes.

Crédit d'image: Facebook

Des données cartographiques telles que celles recueillies en Thaïlande (qui ont été examinées manuellement par une équipe d’experts humains) peuvent être utilisées pour améliorer la précision du système de segmentation des routes, notent Patel et ses collègues, mais uniquement pour la région dans laquelle elles ont été collectées; cela tend à ne pas généraliser bien. Pour résoudre ce problème, l'équipe Map With AI a étudié différentes manières d'incorporer des données OpenStreetMap supplémentaires lors de la formation du modèle.

La solution s’est révélée être une technique faiblement supervisée consistant à identifier des régions avec des données précises et adéquates et à convertir les vecteurs routiers de la base de données OpenStreetMap en libellés de segmentation sémantique rasterisés. Plus précisément, un ensemble de pavés de 2 048 pixels sur 2 048 pixels (avec une résolution d'environ 24 pouces par pixel) a été collecté et filtré pour ceux contenant moins de 25 routes cartographiées, qui ont été jetés. Les vecteurs routiers ont été pixellisés pour chaque mosaïque restante et les masques ainsi obtenus ont été utilisés comme étiquettes d’entraînement. Enfin, chaque image satellite source a été rognée de façon aléatoire à 1 024 pixels sur 1 024 pixels, soit environ 1,8 million de carreaux couvrant plus de 700 000 milles carrés sur six continents.

L'équipe Facebook a pixellisé chaque vecteur de route en cinq pixels pour créer des masques de segmentation, ce qui était plus compliqué qu'il n'y paraît. Les routes varient en largeur et en contour d’une manière que les vecteurs rastérisés ne peuvent pas capturer parfaitement et parce que les routes de différentes régions ont été cartographiées à partir de différentes sources d’imagerie satellite, elles ne sont pas toujours parfaitement alignées sur l’imagerie de données d’entraînement.

Facebook affirme qu'avec les étiquettes bruitées générées par le processus de collecte de données, il a été capable de produire des résultats concurrentiels avec de nombreux participants au DeepGlobe Satellite Challenge, un concours lancé à la Conférence sur la vision par ordinateur et la reconnaissance des formes de 2018 qui vise à l'art en analyse d'images satellitaires. Après quelques ajustements, le modèle de l’équipe a enregistré une amélioration relative de 62% et de 13,7% en absolu par rapport à un modèle identique formé sur le jeu de données open source DeepGlobe (qui ne contenait que des données routières provenant d’Inde, d’Indonésie et de Thaïlande).

«Une technologie de cette envergure, de cette complexité et de cette précision n'est devenue disponible que ces dernières années», a déclaré Danil Kirsanov, responsable technique chez Map With. «Ce niveau de détail signifie qu'il peut repérer des routes non pavées, ainsi que des ruelles et même des chemins piétonniers.»

Volontaires humains

Mais aucun modèle n'est parfait. C’est là que RapiD entre en jeu.

Une fois que le système de Facebook a identifié les routes potentielles, elles doivent être validées avant d’être soumises à OpenStreetMap. Les différences locales ou régionales peuvent influer sur le classement correct des routes. Certains résultats permettent de tracer par erreur d’autres éléments d’image satellite tels que des lits de rivières asséchés, des plages étroites et des canaux, ou encore des points de connexion et des sentiers manquants.

Pour faciliter ce processus et compléter les outils de validation de cartographie existants, tels que Java OpenStreetMap Editor et HOT Tasking Manager, Facebook a créé RapiD, une extension open source de l'éditeur de carte iD. Utilisant un processus appelé "conflation", il associe les résultats du modèle aux données déjà disponibles dans OpenStreetMap, conseillant à la fois de joindre de nouvelles routes avec des données existantes et empêchant le remplacement des données routières existantes par des routes suggérées.

L’éditeur RapiD permet aux réviseurs de visualiser les routes mélangées, de mettre en évidence de nouvelles modifications et d’utiliser de nouvelles commandes et raccourcis pour les tâches courantes de nettoyage des données, telles que l’ajustement de la classification de la route au contexte. Les contrôles d’intégrité détectent les problèmes potentiels liés aux résultats du modèle, en veillant à ce que les modifications de carte soient cohérentes et précises.

«Globalement, un bon outillage donne plus de pouvoir aux cartographes, réduit les tâches fastidieuses et fastidieuses de dessin de routes sur la base de données satellitaires, augmente la précision de la forme des routes et offre des options pour identifier les routes suggérées, même si les cartographes décident de ne pas utiliser ces suggestions». a écrit Facebook dans un article de blog. «Il était important de fournir des outils qui ne limitent pas les capacités et le jugement des mappeurs professionnels. Nous allons améliorer continuellement RapiD en nous basant sur les commentaires de ces mappeurs pour rendre le processus plus fluide. Nous pensons que l'outillage résultant améliore l'utilité de l'imagerie satellite pour la cartographie. "

Facebook indique que les données cartographiques validées par Map With AI – qui seront accessibles au public – pourraient contribuer à éclairer les projets de développement et de planification urbaine et à améliorer les produits Facebook utilisant OpenStreetMap tels que Marketplace, Local et Pages.

Ci-dessus: Visualisation de la distribution géographique des données d'entraînement pour la segmentation routière.
modèle.

Crédit d'image: Facebook

«L’outil RapiD a été développé en collaboration avec les membres de la communauté de la cartographie qui travaillent dans ce domaine depuis de nombreuses années. Parce que cet outil a été construit avec leur contribution, il a déjà un impact », a déclaré Tyler Radford, directeur exécutif de l'équipe humanitaire OpenStreetMap.

«RapiD est un grand pas en avant dans la réalisation de cet objectif», a ajouté Radford. «En augmentant ce qui était auparavant un processus entièrement manuel – le traçage des routes à partir d'images satellitaires – RapiD combine le meilleur de l'apprentissage automatique avec le meilleur des compétences humaines. Il surcharge les cartographes.

Map With AI s'appuie sur les autres efforts de Facebook pour faciliter la cartographie avec AI, ainsi que sur son projet de cartographie de la densité de population en cours et son utilisation d'images satellitaires pour détecter les inondations à la suite de l'ouragan Harvey au Texas et les dégâts causés par les incendies à Santa Rosa en Californie en 2017. (Facebook a déjà noué des partenariats avec des organisations telles que la Harvard School of Public Health, l’Unicef, la Banque mondiale et d’autres pour produire des cartes en temps réel permettant de lutter contre les maladies à l’aide d’images satellitaires, de vision par ordinateur, de données de recensement et de données propriétaires.) explique qu'il développe de nouvelles techniques et architectures d'apprentissage automatique adaptées à la problématique de la télédétection et qu'il est également envisagé de les appliquer à un «travail de cartographie à l'échelle mondiale» avec un outillage auxiliaire.

OpenStreetMap – qui est soutenu par la fondation à but non lucratif OpenStreetMap Foundation – lancée en 2004, compte aujourd'hui plus de 5 millions d'utilisateurs enregistrés collectant des données via une enquête manuelle, des appareils GPS, des photographies aériennes et d'autres sources gratuites. Les cartes assemblées sont disponibles sous licence de base de données ouverte pour une utilisation dans les applications traditionnelles et les données par défaut incluses avec les récepteurs GPS. Outre Facebook, des entreprises telles que Craigslist, OsmAnd, Geocaching, MapQuest Open, Flickr, MapQuest, MapBox, Moovit, Tableau, Niantic, Snapchat, Webots, le logiciel statistique JMP et Foursquare ont fait appel à la base de données d’OpenStreetMap pour des tâches de routage de base et de routage.