Traitement d’images et analyse sub-pixel

La technique d’imagerie par transmission permet de visualiser la projection 2D des objets. Pour étudier les différents objets présents sur une image, il convient de les séparer. Cette séparation est réalisée aux travers de méthodes de segmentation. Despotović et al. (2015) a récemment publié une revue d’articles listant les principales méthodes de segmentations utilisées pour analyser les images IRM du cerveau humain. Bien que le domaine d’application soit éloigné du sujet présenté ici, la classification des méthodes de segmentation qui y est faite n’en reste pas moins transposable à n’importe quel autre champ de recherche. Cette classification peut être résumée comme suit :

– Méthodes basées sur l’intensité des pixels.

– Méthodes basées sur la surface des objets.

– Méthodes de segmentations hybrides.

– Méthodes basées sur des atlas.

Les méthodes basées sur l’intensité des pixels cherchent à classifier chaque pixel en se basant sur son intensité lumineuse. La plupart de ces méthodes font appel à l’histogramme de niveau de gris de l’image pour la segmenter en différentes régions associées à des modes de l’histogramme, comme illustré en figure 29. D’autre basées sur la croissance de régions connexes ont pour principe de regrouper en 1 seule région tous les pixels adjacents d’intensité similaire (nécessitant un point de départ) ; ou encore celles basées sur des méthodes de classification qui identifient les différents objets d’une image en comparant l’image à segmenter à des images déjà segmentées issues d’une base de données. Ces méthodes identifient les zones de même intensité et/ou texture sur les images pour réaliser la segmentation.

Les méthodes basées sur la surface des objets comprennent toutes les méthodes utilisant les contours et surfaces actives (déformables) ainsi que les méthodes Level-Set (Chan et al. (2001), Yushkevisch et al. (2006), Kass et al. (1988), Li et al. (2010)). Dans ces méthodes, chaque objet se voit préalablement attribué une description qui lui est propre (intensité, texture, région de l’espace, géométrie, …). Ensuite, un ensemble de courbes est superposé à l’image pour la segmenter et toutes les zones identifiées sont comparées aux descriptions des objets. Pour les zones ne respectant pas les descriptions, leurs contours sont alors déformés itérativement pour chercher la surface qui correspondra le plus aux descriptions recherchées. Les contours utilisés sont des courbes (ou surfaces en 3 dimensions) paramétriques qui sont déformées sous l’action de forces internes et externes à la zone de l’image considérée pour respecter les descriptions des objets. Les objets de l’image et leurs contours sont considérés comme des fonctions que l’on cherche à minimiser, cette minimisation traduit la meilleure approximation réalisée sur l’image à partir des descriptions des objets données initialement. L’image est segmentée lorsqu’un critère de minimisation de ces fonctions est atteint.

Les méthodes basées sur des atlas consistent à comparer l’image étudiée à une banque de données similaires servant de référence afin de segmenter les différentes régions de l’image. Les méthodes de segmentations hybrides combinent plusieurs méthodes de segmentations. L’objectif est d’utiliser les complémentarités de ces méthodes pour contourner les désavantages de chacune et ainsi améliorer la qualité de la segmentation.

La phase de traitement d’images développée au CORIA par Blaisot et al. (1998), Yon (2003), Blaisot et al. (2005), Fdida et al. (2009) et Blaisot (2012) fait partie des méthodes de seuillage basées sur l’intensité des pixels. Elle consiste à extraire les objets liquides en adaptant localement le niveau du seuillage grâce à la prise en compte de la réponse impulsionnelle du système optique ainsi que du défaut de mise au point. Pour cela, un modèle d’imagerie est utilisé pour obtenir des informations de corrections de l’interface et de profondeur de champ à partir d’une configuration de caméra unique. Ce modèle est basé sur le formalisme de Fourier (Goodman (1968)) et utilise le concept de la fonction d’étalement du point (PSF). Il permet de mesurer la taille des gouttes indépendamment de leur position, c’est-à-dire pour les gouttes floues ou non floues, comme montré notamment dans Fdida et al. (2009). Cette phase de traitement d’images se découpe en plusieurs étapes :

– Normalisation des images.

– Localisation des objets liquides.

– Segmentation locale des objets de l’image.

La qualité de ce traitement joue un rôle essentiel sur la qualité des analyses. Ce traitement est facilité pour des images fortement contrastées et présentant une bonne mise au point du système liquide, comme détaillé dans Yon (2003) et Fdida et al. (2009).

Le fond lumineux d’une image est souvent inhomogène, présentant des variations d’intensité lumineuse d’une image à l’autre ou d’une partie à l’autre d’une même image. L’étape de normalisation des images consiste à supprimer ces inhomogénéités afin d’obtenir un fond lumineux uniforme. Cette étape nécessite l’utilisation d’une image de fond lumineux de référence (sans objets à analyser) et d’une image du bruit du capteur (image prise dans le noir complet) afin de calculer l’intensité lumineuse normalisée de chaque pixel (  ,   ) : Où , , , sont respectivement les intensités de l’image normalisée, de l’image expérimentale, de l’image de fond lumineux de référence et de l’image du bruit. La grandeur permet de fixer le niveau de l’intensité du fond lumineux lors de la reconversion de l’image normalisée en niveau de gris. Le paramètre corrige les éventuelles fluctuations d’intensité lumineuses d’une image à l’autre : sa valeur est obtenue en divisant le niveau de référence de l’image de fond lumineux par celui de l’image expérimentale, le niveau de référence pouvant être le niveau de gris maximum de l’image, le mode principal de l’histogramme de niveau de gris de l’image (niveau de gris le plus peuplé) ou encore le niveau de gris moyen d’une zone de l’image (jamais perturbée par la présence d’objets liquides).

La localisation des objets liquides permet de différencier les pixels appartenant au fond lumineux  de ceux appartenant aux objets liquides. La méthode de localisation utilisée combine deux techniques de seuillage afin de trouver un maximum d’objets sur l’image :
– Seuillage via la forme de l’histogramme.
– Seuillage par transformée en Ondelette.
Le seuillage d’une image consiste à transformer une image en niveau de gris en une image segmentée où chaque classe d’objets possède sa propre valeur de niveau de gris. Dans le cas où seules deux classes existent (fond d’un côté et objets de l’autre), on parle de « binarisation » d’image.

C’est la méthode la plus simple de seuillage d’image. Elle est basée sur l’étude de l’histogramme de niveau de gris de l’image. Cette étude consiste à rechercher les valeurs de niveaux de gris, appelés seuils, qui séparent les classes d’objets désirées. Dans le cas d’un seuillage simple global (1 seul seuil pour toute l’image), la segmentation d’une image ( , ) est définie comme : 0, ( , ) < ′( , ) = {1, ( , ) ≥ (80) =( −)+ (81)
Où ′ est l’image segmentée avec deux niveaux (1 pour le fond lumineux et 0 pour les objets), le seuil normalisé (0 < < 1) déterminant le seuil de niveau de gris dépendant des niveaux de gris maximum et minimum de l’image à segmenter. L’utilisation d’une valeur de seuil plus élevée augmente le nombre d’objets détectés mais augmente également la sensibilité de la segmentation au bruit de fond l’image. Ceci peut se traduire par le regroupement de deux objets proches en 1 seul ou encore par l’apparition de taches dans le fond lumineux, comme l’illustre la figure 30.

L’intérêt d’une image labélisée est qu’elle autorise l’analyse séparée de chacun des objets liquides identifiés : l’image labélisée va alors servir de masque pour isoler une portion de l’image contenant un objet liquide de l’image normalisée avec son environnement proche (Yon (2003)). A partir de cette portion d’image, on peut choisir de calculer le contour à un niveau pixel de cet objet ou le contour à un niveau sub-pixel. Le choix d’utiliser ou non l’information sub-pixel du contour des objets dépend de la résolution de ces objets ainsi que des analyses qui en seront faites par la suite.
La détermination du contour pixel peut être suffisante pour les images issues de caméra à haute résolution. La particularité de la méthode développée au CORIA est que le seuil de niveau de gris utilisé dans l’équation (81) sera ici déterminé localement pour chacun des objets labélisés étudiés. Ce seuil dépendra des niveaux et locaux à la portion d’image correspondant à cet objet et une correction est appliquée en fonction du défaut de mise au point de l’objet (Fdida et al. (2009)). Cette segmentation est calibrée pour placer le contour des objets au plus près de la position de l’interface.

L’intérêt des méthodes de segmentations sub-pixel est de permettre une description plus fine des interfaces par rapport aux segmentations classiques au niveau pixel. Le « gain » d’informations résulte de l’interpolation du contour à un niveau sub-pixel à partir des informations de l’image initiale. On peut distinguer deux grandes approches de ce problème :
– Segmentation directe de l’image au niveau sub-pixel.
– Reconstruction sur-résolue de l’image complète, puis segmentation classique.
La segmentation directe au niveau sub-pixel va chercher à interpoler un contour sub-pixel local et retourner une image segmentée sub-pixel. La plupart des méthodes sont basées sur les modèles itératifs à contours déformables, dit « snake ». Ils ont été introduit par Kass et al. (1988) pour le cas d’images 2D avant d’être rapidement généralisé en 3D (Li et al. (2010), Terzopoulos et al. (1988)). Ces méthodes sont basées sur la déformation d’une ligne spline (appelée level-set) qui respecte un critère de minimisation d’énergie (force interne au contour) et se déplace dans l’image jusqu’aux contours en fonctions des attributs (gradients de niveaux de gris, textures, …) de l’image (force externe au contour).
Initialement, ces méthodes level-set se sont avérées sensibles à la position initiale du contour et au bruit de l’image. Ensuite, elles ont été améliorées afin d’utiliser les informations venant des surfaces des objets à détecter dans l’image (Mumford et al. (1989), Chan et al. (2001)). Deux grandes familles de méthodes level-set découlent de ces évolutions :
– Modèles de contours : ils utilisent les gradients d’intensité des contours de l’image pour guider la déformation des contours (Caselles et al. (1997), Kimmel et al. (1995), Malladi et al. (1995)). Elles sont sensibles au bruit et nécessite de fort gradient de niveau de gris aux interfaces.
– Modèles de régions : ils cherchent des régions homogènes pour guider la déformation des contours (Ronfard (1994), Vese et al. (2002)). Elles sont sensibles aux inhomogénéités de l’image.
De manière générale, les méthodes de segmentation par level-set, itératives par natures, sont gourmandes en ressources de calcul.
La reconstruction sur-résolue d’une image à faible résolution consiste à créer une image à une résolution plus élevée à partir d’une ou plusieurs images à faible résolution (Ziwei et al. (2014)). En règle générale, l’image sur-résolue obtenue est directement utilisée à d’autres fins (imagerie satellite par exemple) qu’une simple segmentation comme nous allons le faire ici. Le développement de ces techniques a débuté avec Harris (1964) et Goodman (1968) avec l’utilisation d’une seule image. Elles ont été améliorées par Tsai et al. (1984) grâce à l’utilisation de séquences d’images d’une même scène décalées spatialement. Le début des années 2000 voit le développement de techniques de sur-résolution utilisant des méthodes d’apprentissages (Freeman (2000), Chang et al. (2004)) comme les chaines de Markov. Ces dernières sont utilisées dans des domaines plus spécifiques (reconnaissance faciale) où elles peuvent bénéficier d’une banque de données pour l’apprentissage.
A partir de cette brève littérature, les méthodes choisies pour la comparaison sub-pixel sont les suivantes :
– La méthode développée au CORIA (Blaisot et al. (2005), Blaisot (2012), Fdida et al. (2009)).
– Une méthode level-set de Li et al. (2010) qui est peu sensible au choix du contour initial et aux inhomogénéités de niveaux de gris présentes sur l’image. Cette méthode converge rapidement (pour une level-set) et est précise jusqu’au quart de pixel avec un bon jeu de paramètres.
– Une méthode de sur-résolution bi-cubique. Elle est utilisée comme référence (Timofte et al. (2014), Zhang et al. (2016)) pour les comparaisons des techniques de sur-résolution et présente les avantages d’être simple, très rapide et déjà implémentée dans la plupart des logiciels de traitement d’images (ImageJ, Gimp, Photoshop).
– Une méthode de sur-résolution de Timofte et al. (2014) utilisant une méthode d’apprentissage. C’est une méthode rapide (pour une méthode d’apprentissage) et présentant le plus fort PSNR (ratio signal maximal sur bruit) des méthodes de ce type.

La méthode de calcul du contour sub-pixel utilisée au CORIA a été développée par Blaisot et al. (2005) et Blaisot (2012) et utilise comme information de départ le contour pixel local défini pour chacun des objets labélisés. Pour chaque pixel du contour, les pixels adjacents (8-connexe) sont inspectés et ceux appartenant au fond de l’image sont identifiés. Pour chaque couple de pixels « contour – fond » est définie une interpolation linéaire entre les deux niveaux de gris de l’image normalisée pour ces deux pixels. A partir de cette interpolation, les coordonnées sub-pixel du contour sont déterminées au point où la valeur de niveau de gris interpolée est égale à la valeur du seuil local de segmentation, comme illustré en figure 34. Une fois les contours sub-pixel calculés pour chacun des objets trouvés lors de l’étape de localisation, une image à résolution sub-pixel est générée.