Suppression de réflexions à partir de photos prises par les fenêtres, MIT Nouvelles

les chercheurs du MIT ont créé un nouvel algorithme qui, dans un large éventail de cas, peut supprimer automatiquement des réflexions à partir de photos numériques. Sur la gauche, la photo originale prise par une fenêtre, avec clairement le reflet du photographe visible. A droite, la réflexion a été séparé de la photo.

Avec l'aimable autorisation des chercheurs

Nouvel algorithme exploite plusieurs réflexions en images individuelles pour distinguer la réflexion de la transmission.

Il est difficile de prendre une photo à travers une fenêtre sans ramasser les reflets des objets derrière vous. Pour résoudre ce problème, les photographes professionnels enveloppent parfois leurs lentilles de caméra dans des tissus sombres aux fenêtres par apposées tasses de bande ou d'aspiration. Mais ce n'est pas une option terriblement attrayante pour un voyageur en utilisant un appareil photo point-and-shoot pour capturer la vue depuis une chambre d'hôtel ou un siège dans un train.

« À Boston, les fenêtres sont généralement des fenêtres à double vitrage pour l'isolation thermique pendant l'hiver », dit-Yichang Shih, qui a terminé son doctorat en informatique au MIT ce printemps et est le premier auteur sur le papier. « Avec ce genre de fenêtre, il y a une réflexion venant de la vitre intérieure et une autre réflexion à partir de la vitre extérieure. Mais les fenêtres épaisses sont généralement assez pour produire une double réflexion, aussi. Le côté intérieur donnera une réflexion, et le côté extérieur donnera une réflexion aussi bien. »

Sans les informations supplémentaires fournies par la réflexion en double, le problème de l'élimination de la réflexion est pratiquement insoluble, Shih explique. « Vous avez une image de plein air et une autre image de l'intérieur, et ce que vous capturez est la somme de ces deux images, » dit-il. « Si A + B est égal à C, alors comment allez-vous récupérer A et B d'un seul C? C'est mathématiquement difficile. Nous n'avons pas suffisamment de contraintes pour parvenir à une conclusion « .

Amincir le champ

La deuxième réflexion impose la contrainte nécessaire. Maintenant, le problème devient récupération de A, B et C à partir d'un seul D. Mais la valeur de A pour un pixel doit être la même que la valeur de B pour un pixel d'une distance fixe à une distance dans une direction prescrite. Cette contrainte réduit considérablement la gamme de solutions que l'algorithme doit prendre en compte.

Néanmoins, une foule de solutions restent encore. Pour la maison dans l'un d'eux, Shih et ses co-auteurs - professeurs de l'informatique et du génie Frédo Durand et Bill Freeman, qui étaient les conseillers de thèse de Shih, et Dilip Krishnan, un ancien postdoc dans le groupe de Freeman qui est maintenant à Google Recherche - présupposant que l'image réfléchie et l'image capturée par la fenêtre ont les régularités statistiques de ce qu'on appelle des images naturelles.

L'intuition de base est que, au niveau des petits groupes de pixels, dans les images naturelles non modifiées - représentations des milieux naturels et construits - brusques changements de couleur sont rares. Et quand ils se produisent, ils se produisent le long des limites claires. Donc, si un petit bloc de pixels arrive à contenir une partie du bord entre un objet bleu et un objet rouge, tout un côté du bord sera bleu, et tout de l'autre côté sera rougeâtre.

Dans la vision par ordinateur, la méthode standard pour essayer de saisir cette intuition est la notion de gradients d'image, qui caractérisent chaque bloc de pixels selon la direction principale du changement de couleur et le taux de changement. Mais Shih et ses collègues ont constaté que cette approche ne fonctionne pas très bien.

En fin de compte, ils se sont installés sur une nouvelle technique de co-développée par Daniel Zoran. un postdoc dans le groupe de Freeman. Zoran et Yair Weiss de la Hebrew University of Jerusalem créé un algorithme qui divise les images en 8-par-8 blocs de pixels; pour chaque bloc, on calcule la corrélation entre chaque pixel et chacun des autres. Les statistiques globales pour l'ensemble des 8 par 8 blocs 50.000 images de formation se sont avérés un moyen fiable de distinguer les réflexions à partir d'images prises à travers le verre.

Dans leur article, Shih et ses collègues rapportent effectuant des recherches sur Google et la base de données de photos Flickr en utilisant des termes comme « problèmes de photographie de réflexion de la fenêtre. » Après avoir exclu les résultats qui ne sont pas photos prises à travers le verre, ils avaient 197 images, dont 96 présentaient des doubles réflexions qui ont été assez loin déportées pour leur algorithme de travail.

« Les gens ont travaillé sur les méthodes pour éliminer ces réflexions à partir de photos, mais il y avait eu des inconvénients dans les approches antérieures », affirme Yoav Schechner, professeur de génie électrique à l'Technion d'Israël. « Certaines méthodes tentent l'aide d'un seul coup. Il est très difficile, donc les résultats antérieurs avaient un succès partiel, et il n'y avait aucun moyen automatisé de dire si la scène récupérée est celle réfléchie par la fenêtre ou celle derrière la fenêtre. Ce travail fait un bon travail sur plusieurs fronts « .