Image processing for a RGB-Z mixed matrix - CNRS - Centre national de la recherche scientifique Accéder directement au contenu
Thèse Année : 2021

Image processing for a RGB-Z mixed matrix

Traitement d'image pour une matrice mixte RGB-Z

Valentin Rebiere
  • Fonction : Auteur
  • PersonId : 1147372
  • IdRef : 263399109

Résumé

A Red, Green, Blue and Depth (RGB-Z) system is a vision system-on-chip (V-SoC) that captures both color and depth information. Recently, the idea of combining color and depth acquisition at the pixel level and in the same array has emerged. Such a sensor would allow a more compact integration while reducing the calibration problems compared to a system composed of two sensors. However, such integration raises new constraints at different technical levels. In this thesis, we focus on the problems of reconstructing the missing color information due to the heterogeneity of the pixel matrix. Currently, there is no monolithic RGB-Z sensor on the market as described in the thesis. In a first step, we have proposed different RGB-Z arrays. These arrays are based on two different Z-pixel architectures. The sampling and the size of the Z pixels vary according to the proposed matrices. In a second step, several algorithms for reconstructing the missing information inspired by the state of the art have been adapted and implemented to the proposed matrices. These solutions are not satisfactory. For this purpose, an adaptive algorithm to reconstruct the missing color information using a new operator called semi-gradient is proposed. This operator allows to better reconstruct the structures located along the narrow edges. Finally, a first hardware implementation is proposed to evaluate the latency of the algorithm.
Un système RGB-Z est un système de vision sur puce (V-SoC) qui capture à la fois les informations de couleur et de profondeur. Récemment, l’idée de combiner l’acquisition de la couleur et de la profondeur au niveau du pixel et dans la même matrice a émergé. Un tel capteur permettrait une intégration plus compacte tout en réduisant les problèmes de calibration par rapport à un système composés de deux capteurs. Cependant, une telle intégration soulève de nouvelles contraintes à différent niveaux techniques. Dans cette thèse, nous nous focalisons sur les problèmes de reconstruction de l'information de couleur manquante due à l'hétérogénéité de la matrice de pixels. Actuellement, il n'existe pas sur le marché de capteur RGB-Z monolithique tel que décrit dans la thèse. Dans un premier temps, nous avons proposé différentes matrices RGB-Z. Ces matrices sont basées sur deux architectures de pixels Z différentes. La distribution et la taille des pixels Z varient en fonction des matrices proposées. Dans un deuxième temps, plusieurs algorithmes de reconstruction de l’information manquante inspirés de l'état de l'art ont été adaptés et implémentés aux matrices proposées. Ces solutions ne sont pas satisfaisantes. Pour cela, un algorithme adaptatif pour reconstruire l'information de couleur manquante en utilisant un nouvel opérateur appelé semi-gradient est proposé. Cet opérateur permet de mieux reconstruire les structures situées le long des bords fins. Enfin, une première implémentation matérielle est proposée pour évaluer la latence de l'algorithme.
Fichier principal
Vignette du fichier
REBIERE_Valentin_these_2021.pdf (28.73 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03715654 , version 1 (06-07-2022)

Identifiants

  • HAL Id : tel-03715654 , version 1

Citer

Valentin Rebiere. Image processing for a RGB-Z mixed matrix. Signal and Image processing. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS468⟩. ⟨tel-03715654⟩
98 Consultations
33 Téléchargements

Partager

Gmail Facebook X LinkedIn More