Télécharger le fichier pdf d’un mémoire de fin d’études
Quelques technologies utilisees en realit augmentee
Les techniques de suivi varient selon les technologies d’acquisition des donnees. En e et, en milieu exterieur, il est possible d’avoir recourt a d’autres sources d’informations autres que le visuelle pour pouvoir estimer avec plus de precision la position et l’orientation de la cible dans la scene.
Technologie radio
L’utilisation de la technologie radio comme le Radio Frequency Identi cation ou RFID permet de localiser une cible en lui attribuant une radio-etiquette composee d’une puce electronique et d’une antenne. Chaque etiquette a une identit unique qui l’a di erencie des autres etiquettes. L’etiquette transmet les donnees par radio a un lecteur RFID qui l’identi e et la localise. La distance et la vitesse de lecture varient selon la frequence de transmission de l’etiquette : 125 kHz pour une etiquette de basse frequence, 13,56MHZ pour la haute frequence et 868 MHZ pour la RFID. La geolocalisation. Ces technologies permettent de localiser geographiquement un point de l’espace par son altitude, sa latitude, son longitude, sa orientation par rapport au Nord magnetique etc.
Le Global Position System (GPS) est un systeme qui permet de donner la position globale d’un terminal dans l’espace gr^ace a un reperage a partir de la position de satellites. La precision pour un GPS standard est d’environ 15 metres.
Le Global System for Mobile Communications ou GSM permet de reperer un telephone mobile par triangulation a partir de la position de trois antennes. Sa precision est de 200m au minimum.
Wi-Fi. Le principe de la localisation par Wi-Fi est similaire a celle de la localisation par GSM. La localisation se fait par reperage des bornes d’acces Wi- auxquelles le terminal est connect .
Technologie inertielle
Cette technologie permet d’obtenir la position, la vitesse, l’acceleration et l’orientation d’un terminal par rapport au repere de la centrale inertielle. La centrale inertielle est un dispositif de mesure composee d’un accelerometre trois axes, d’un gyroscope trois axes et d’un magnetometre trois axes. L’accelerometre permet de mesurer l’acceleration par rapport aux trois axes. Le magnetometre permet de mesurer la champ magnetique. L’orientation est obtenue gr^ace aux donnees recueillies a partir de l’accelerometre et la magnetometre. Le gyroscope donne la position angulaire de son referentiel (selon ces trois axes) par rapport a un referentiel inertiel.
Technologie ultrason
La localisation se fait par le calcul de temps de vol d’une onde entre le terminal muni d’un capteur telemetrique et la cible. Sa precision est d’environ 3 cm et leur portee s’etend jusqu’a 250 cm environ.
Technologie optique
Le suivi optique se base sur des indices visuelles comme les marqueurs, les points, les contours, les regions texturees.
Technique de suivi optique
D’une manier generale, on peut classer les methodes de suivi base vision en deux categories : suivi sans modele et suivi base modele.
Suivi sans modele. Il s’agit de suivi sans connaissance ou avec une connaissance par-tielle a priori de la scene. Le processus est compose a la fois de l’estimation de la pose de camera et de la reconstruction 3D de la scene.
Il existe deux types de methodes : la methode Simultaneous Localization and Mapping ou SLaM et la methode Structure from Motion ou SfM. A la base, les methodes en SLAM sont utilisees dans le domaine de la robotique pour localiser un systeme autonome et de construire la scene 3D dans laquelle il est immerg . Les techniques SfM se referent au processus d’estimation des structures 3D a partir de sequence d’images et d’autres informations comme les signaux de mouvements locaux obtenus par l’intermediaire de capteurs. La plupart des applications en realit augmentee utilisees en milieu exterieur utilisent ces methodes car l’environnent dans lequel ils sont immerges est tres vaste, et que, on n’a pas toujours une connaissance complete de l’environnement. Gr^ace a ces methodes, on est capable de partir d’un modele 3D partiel de l’environnement, et d’evoluer dans le milieu tout en la reconstruisant progressivement.
Dans [3], Gabriele Bleser et Didier Stricker presentent une methode qui combine a la fois une approche SLAM, une approche SfM avec une approche de suivi basee modele. Leur systeme utilise un modele 3D simpli e et textur de l’environnement. Le diagramme ci-dessous montre les etapes suivies par le systeme au cours du traitement d’une image d’une sequence.
TECHNIQUE DE SUIVI OPTIQUE
Le systeme est initialise puis la camera suit la cible dans l’environnent combinant divers donnees venant d’une centrale inertielle au moyen d’un ltre de Kalman etendu. Une reconstruction progressive de l’environnement est realisee au fur et a mesure que le systeme evolue dans le milieu. Leur approche se compose d’une phase d’initialisation semi-automatique et d’une phase de suivi. Une orientation est donnee, le suivi visuel s’enclenche des que la camera est dans une orientation proche de celle-ci. Leur systeme de suivi visuel est base sur une mise en correspondance d’imagettes obtenues a partir de pyramides d’images texturees du modele avec les images de la sequence video. Les points sont suivis par recadrage d’une petite fen^etre de sa texture environnante depuis un rendu du modele textur et puis ils sont enregistres dans l’image de la camera. Une methode fondee sur la technique de Newton-Raphson est appliquee sur plusieurs resolutions d’image pour surmonter les grands deplacements de points caracteristiques. Un test par seuillage est ajoute pour completer l’optimisation a n de detecter les valeurs aberrantes.
Figure 2.3 { Comparaison de texture de rendu avec des images de bas niveau [3]
L’estimation de la pose est obtenue gr^ace au fusion de correspondance 2D/3D a partir de l’analyse d’image et les mesures inertielles. La pose estimee est ensuite utilisee pour generer un rendu textur du modele.
Suivi avec modele. L’utilisation de modeles permet d’ameliorer la robustesse et les performances des methodes d’estimation de pose. Les donnees 2D extraites de l’image de la scene sont mises en correspondance avec les donnees 3D extraites du modele 3D de la scene.
Plusieurs techniques sur la mise en correspondance de points sont mentionnees dans [17]. Le suivi avec modele peut se faire de deux manieres : le suivi avec marqueurs qui utilise des indices visuelles arti cielles incrustees dans la scene et le suivi sans marqueur qui exploite les caracteristiques naturelles existantes de la scene telles que les coins, les lignes, …, qui sont souvent representees par des points, des contours ou par des textures.
Suivi avec marqueur
Les marqueurs sont des cibles arti ciels placees dans la scene facilement reperables et identi ables par une camera. D’une maniere generale, l’estimation de la pose se fait comme suit [18] :
detection des marqueurs
mise en correspondance 2D/3D
estimation de la pose de la camera
H. Wuest [13] classe les marqueurs en deux categories : d’un c^ote les marqueurs actifs qui sont des sources de lumiere independantes et necessitent une source d’energie externe, tandis que les marqueurs passifs sont detectes uniquement par la lumiere re echie ou di usee. Les Light Emitting Diodes ou LED peuvent servir de marqueurs car ils ont une intensit de luminosite elevee en contraste avec le reste de la scene et donc ils sont facilement reperables. Des LED infrarouges peuvent aussi servir de marqueurs. Ils ne g^enent pas le champ de vision de l’utilisateur car ils ne sont pas visibles a l’ il nu. Nous avons par exemple les lunettes de realit augmentee castAR [19] qui detectent des marqueurs infrarouges LED dans la scene. Les marqueurs passifs peuvent ^etre classi es en deux categories : les marqueurs de forme carree et les marqueurs de forme circulaire. Pour les marqueurs de type carre, ils sont formes d’une carte blanche sur laquelle est imprimee un carre a bordure noire epaisse. Recemment, un nouveau marqueur carre a vu le jour, les LARESI-Marker [4]. L’estimation de la pose passe d’abord par une mise en correspondance 3D/2D et les resultats seront ensuite utilises pour localiser la camera par rapport au repere lie a la scene. Les parametres extrinseques de la camera sont ob-tenus gr^ace aux dimensions du marqueur et aux vecteurs liant les extremites du marqueur.
Figure 2.4 { LARESI-Marker [4]
Il existe plusieurs varietes de marqueur circulaire comme ceux utilises par la librairie InterSense [4]. L.calvet et al. [5] presentent les marqueurs C2T ags qui sont des cercles concentriques facilement detectables, identi ables m^eme en cas d’occultation partielle. Leur modele de marqueur tient compte du plan du support 3D du cercle.
Figure 2.5 { C2T ag [5]
Le suivi de la camera se fait a partir d’un ensemble d’au moins deux marqueurs coplanaires C2T ag. En e et, ils sont necessaires pour pallier le probleme d’ambigu te sur presence d’occultation presence de ou de bouge le plan de rotation de ces marqueurs. Cela permet d’accelerer la localisation du motif dans une image et d’avoir un nombre de points su sant pour estimer les ellipses. Les di erentes etapes de suivi a partir de marqueurs C2T ag sont les suivantes :
Identi cation de vues-cle Suivi a partir des vues-cle
L’identi cation de vues-cle est une etape e ectuee pour les sequences video lorsque les contraintes de temps de calcul sont elevees. Elle permet de ra ner la structure 3D de la scene et les poses de la camera le long d’une sequence. Des vues-cle sont selectionnees selon un critere calcule a partir du norme du vecteur de la droite a l’in ni du plan de la derniere vue-cle selectionnee et de la droite a l’in ni du plan de l’image courante. Le suivi se fait a partir de ces vues-cle. Une reconstruction 2D permet de detecter et d’ajuster les images des cercles. Une estimation du plan de support et un calibrage intrinseque de la camera permet de faire une reconstruction 3D des cercles. Le mouvement de la camera et la structure de la scene sont ensuite optimises par ajustement des faisceaux : on e ectue un parametrage 3D de deux cercles coplanaires de m^eme rayon avec une distance inter-centre xee. Les parametres obtenus vont ensuite servir a estimer une pose intermediaire.
Figure 2.7 { Suivi a partir de marqueur C2T ags
Avantages et Inconvenants. Les marqueurs sont faciles a mettre en uvre. Mais leur utilisation est limitee, surtout pour le suivi en milieu exterieur. En e et, on doit donc attribuer a chaque cible potentiel un marqueur pour que la camera puisse les reconna^tre et les suivre ce qui n’est pas tres pratique. De plus lorsque la camera est trop eloignee, elle risque de les ignorer.
Suivi de points
D’une maniere generale, cette methode consiste a suivre des points extraits d’une image dans une autre image en cherchant leurs correspondances a la projection de points pertinents visibles d’un modele selon un point de vue de la camera. D’apres [13], le suivi de cible base sur des points peut ^etre classi e en deux : la methode de recherche locale et la methode de detection par reference correspondante. La methode de recherche locale est basee sur le suivi des points a proximite d’une zone connue. On utilise l’apparence de point d’une image pour les detecter dans une autre image en utilisant le principe de conservation de luminosite. La similitude est estimee en faisant une correspondance par correlation des points extraits dans une image avec ceux extraits dans une autre. La methode par reference ne necessite pas de prediction de position comme pour la recherche locale mais plut^ot consiste a retrouver les points dans l’ensemble de l’image en utilisant des descripteurs. Un descripteur est un vecteur de caracteristiques compose d’elements d’informations qui sont rassembles au voisinage du point detect .
D’une maniere generale, l’etape de suivi se compose d’une etape d’initialisation au cours de laquelle des points cles sont extraits a partir des images de references, completee par une etape d’apprentissage permettant d’aboutir a un ensemble de donnees de points, et d’une etape de suivi par correspondance de points.
Dans [6], L. Vacchetti et al. ont developp un algorithme qui utilise un maillage surfacique de la cible et la mise en correspondance de points. L’utilisateur est invite a choisir un ensemble d’images representant l’objet cible selon un ou plusieurs points de vue de la camera. A chaque image cle est associee une pose qui est determinee hors ligne. Un detecteur de coin est utilise pour extraire les points caracteristiques 2D dans les images cles et un rendu du modele de la cible est construit.
Le suivi est initialise en placant manuellement l’objet cible dans une position qui est proche de l’une des images cles dans la base. Dans le cas ou la position actuelle de la camera est trop loin de toute image cle connue c’est-a-dire que le nombre de points apparies entre l’image courante et l’image cle est en dessous d’un seuil xe, une image cle en ligne est generee a partir de l’image precedente pour laquelle le point de vue est estim plus able. La pose de la camera pour l’image courante est estimee a partir de la projection de point selon la pose estimee pour l’image precedente. Le systeme extrait des points caracteristiques dans l’image en entree, qui sont ensuite adaptes a ceux qui maximisent une correlation croisee normalisee dans une image cle. L’image-cle prise en compte est l’image cle la plus proche de la position et de l’orientation de la camera estimee pour l’image precedente en utilisant la distance de Maharanis. La pose courante est ensuite estimee a partir des correspondances entre les deux images. L’estimateur de Tukey est utilise pour minimiser la distance entre les positions des points mesurees dans l’image et celles des points appartenant au nuage de points composant le modele pour l’etat precedent et l’etat actuel, permettant ainsi d’estimer conjointement la pose precedente et la pose courante de la camera. Avantages et inconvenients. Cette methode permet de suivre des points pertinents d’un objet comme les coins par exemple. Elle est assez robuste face aux occultations mais sensible au changement de luminosite et ne convient pas pour le suivi d’objets mal textures qui sont composes de materiaux re echissant.
Suivi de contours
Il s’agit de suivre les lignes de contours de la cible dans la scene. A la base, le contour est caracteris par une discontinuite de la fonction d’intensit d’une image suivant une direction donnee. L’estimation de la pose de la camera se fait en cherchant le meilleur alignement entre les contours du modele projet et les contours extraits de l’image. Pour ce faire, on projete le modele 3D de l’objet dans l’image courant avec la pose estimee r. Chaque ligne projetee du modele li(r) est ensuite echantillonnee en i points 2D. Puis a partir de chaque point xi on procede a une recherche monodimensionnelle le long de la normale au contour projet a n de trouver des points de correspondance potentiel dans l’image. On procede ensuite a la minimisation des distances entre les points x0i et les lignes projetees li(r).
|
Table des matières
1 Généralités
1.1 Notion de réalité augmenté
1.1.1 Définition
1.1.2 Problèmes courants
1.2 Architecture d’une application en réalité augmentée
1.2.1 Architecture matériel
1.2.2 Des composants technologiques
2 Technique de suivi
2.1 La pose de la caméra
2.2 Quelques technologies utilisées en réalité augmentée
2.3 Technique de suivi optique
2.3.1 Suivi avec marqueur
2.3.2 Suivi de points
2.3.3 Suivi de contours
2.3.4 Suivi de motifs texturés
2.4 Technique de suivi hybride
2.4.1 Combinaison de technique de suivi par vision
2.4.2 Combinaison de technique suivi par vision avec des capteurs
2.4.3 Synthèse
3 Suivi de véhicules
3.1 Détection
3.1.1 Détection de caractéristiques
3.1.2 Détection de mouvement
3.1.3 Synthèse
3.2 Suivi
3.2.1 Suivi avec connaissance a priori
3.2.2 Suivi sans connaissance a priori
3.2.3 Synthèse
3.3 Discussion
4 Résolution du problème
4.1 Réalisation
4.1.1 Fonctionnement de l’application
4.1.1.1 C^oté serveur
4.1.1.2 C^oté client
4.1.2 Système de suivi de véhicule
4.1.2.1 Détection de véhicule
4.1.2.2 Suivi de véhicule
4.1.3 Estimation de la pose de la caméra
4.2 Résultats
4.2.1 Cas de suivi avec effets de poussière et effet d’ombre
4.2.2 Cas d’occultation
4.2.3 Cas de mouvement rapide et brusque
4.2.4 Cas avec changement de luminosité
4.3 Synthèse
4.4 Autres alternatives
4.4.1 Mean-Shift
4.4.2 CamShift
4.4.3 Résultats
4.4.4 Synthèse
Télécharger le rapport complet
