SlideShare une entreprise Scribd logo
1  sur  4
I / POUR LA SCIENCE N° 538 / AOÛT 2022
L
es vacances battent leur plein, et tous,
nous tentons d’immortaliser avec plus
ou moins de bonheur esthétique, qui
le paysage, qui les enfants dans l’eau, qui la
spécialité régionale si alléchante… D’un
simple geste, l’appareil est dégainé, allumé
et la photo prise. De ce moment, tout un
monde d’algorithmes entre en action et
fera qu’au bout du processus, vous obtien-
drez une photo que, éventuellement, vous
partagerez. En quoi consistent ces algo-
rithmes ? Quels sont leurs rôles ? Comment
fonctionnent-ils ? Pour répondre, suivons
pas à pas une photographie dans les
méandres de son parcours. Tout com-
mence par l’acquisition de l’image...
De même que nos yeux sont dotés
d’une rétine qui reçoit les rayons lumineux
réfléchis par un objet, un appareil photo
quel qu’il soit est équipé d’un capteur,
l’équivalent de la pellicule en photographie
argentique. Ce composant électronique est
constitué de millions de photosites, des
sortes de « cellules » sensibles qui réa-
gissent à la quantité de lumière qu’elles
recueillent et convertissent en un nombre
entier, enregistré dans la mémoire de l’ap-
pareil. Ainsi, un capteur transforme une
image en un tableau de valeurs, ou matrice,
dont chaque case, définie par une coordon-
née horizontale x et une autre verticale y,
correspond à un pixel (pour picture ele-
ment, c’est-à-dire « élément d’image »), un
pour chaque photosite. Plus leur nombre
est important, plus la définition de l’image
est grande.
L’appareil enregistre aussi des infor-
mations (on parle de « métadonnées »),
comme la marque et le modèle de l’appa-
reil et de l’objectif, la date, l’heure, le lieu…
de la prise de vue. Ces informations ajou-
tées aux données brutes du capteur for-
ment un fichier RAW. À ce stade, l’image
n’est qu’un ensemble de valeurs d’inten-
sité, de la plus sombre à la plus lumineuse.
En d’autres termes, l’image obtenue ini-
tialement par un capteur nu est tout en
nuances de gris.
50 NUANCES DE GRIS,
ET BIEN PLUS
Elle va ensuite être traitée par plu-
sieurs algorithmes pour conduire à
l’image finale, l’image presque « par-
faite », celle qui donnera l’illusion de la
réalité, et à son stockage. Tout se passe
le plus souvent, au moins pour les néo-
phytes, dans l’appareil, grâce à divers
logiciels embarqués, dont la mise en
œuvre dépend parfois des métadonnées
qui accompagnent l’image.
CAHIER PARTENAIRE
Depuis l’avènement des appareils numériques, et plus encore celui
des smartphones, la photographie s’est massivement répandue.
Mais peu connaissent le travail des nombreux algorithmes qui
interviennent entre le « déclic » et la publication sur les réseaux sociaux.
Tina Nikoukhah
Quand une photo
sort de l’ombre
La matrice de Bayer consiste en un filtre,
une mosaïque colorée, apposé sur le capteur.
À chaque pixel de ce dernier est superposé
un élément monochromatique.
Pixel
Une première étape consiste à trans-
former l’image en nuances de gris en une
autre, en couleurs. La technologie
employée s’inspire de la perception
humaine, en associant à chaque valeur
de la matrice une des trois couleurs pri-
maires, rouge, vert ou bleu. Pour ce faire,
l’ensemble du capteur est recouvert d’un
filtre, une sorte de mosaïque d’éléments
colorés (un par photosite) dont il existe
différents agencements, le plus courant
étant la matrice de Bayer, composée de
50 % de vert, 25 % de rouge et 25 % de
bleu (voir la figure ci-dessous). La prédo-
minance du vert dans ce pavage tient au
fait que la vision humaine y est plus sen-
sible. De la sorte, chaque photosite ne
détecte que l’intensité de la couleur pri-
maire associée. En conséquence, chaque
pixel de l’image brute ne possède qu’une
composante, rouge, verte ou bleue.
L’objectif est d’obtenir pour chacun
de ces pixels monochromes, un triplet (r,
v, b) de valeurs pour respectivement les
POUR LA SCIENCE N° 538 / AOÛT 2022 / II
trois couleurs primaires. Pour ce faire, un
logiciel entre en action afin de procéder à
un dématriçage lors duquel les données
colorimétriques de chacun des pixels
monochromes sont interpolées avec celles
des voisins de façon à estimer les deux
composantes manquantes (voir l’encadré
page suivante). Chaque valeur r, v et b
obtenue est codée informatiquement avec
8 bits, et est donc comprise entre 0 et
255 (28
= 256). Au terme de cette opéra-
tion, une image couleur est en fin de
compte composée de trois matrices, ou
canaux, superposées : une avec les valeurs
qui représentent le rouge, une autre pour
le vert et une dernière pour le bleu.
Conformément à la théorie de la syn-
thèse additive, également à l’œuvre dans
les écrans de télévision et d’ordinateur, la
variation de l’intensité lumineuse associée
à chaque canal offre accès à toutes les cou-
leurs du spectre visible. Ainsi, le triplet de
valeur (96, 93, 62) correspond à un vert
kaki. Nous sommes proches d’une image
prête à être montrée, mais il reste encore
quelques traitements à appliquer.
EN ROUTE
VERS LE CHEF-D’ŒUVRE
L’image nécessite parfois un calibrage
de ses couleurs, pour par exemple atté-
nuer une dominante, ainsi qu’une balance
des blancs afin d’obtenir une image aux
couleurs fidèles à la scène indépendam-
ment des conditions d’éclairage. D’autres
traitements sont classiquement intégrés à
la chaîne : il peut s’agir d’une correction
de l’exposition ou d’une compensation des
imperfections optiques des objectifs. Dans
ce dernier cas, le logiciel inclut souvent
une base de données des objectifs afin de
s’affranchir des distorsions optiques et des
aberrations chromatiques, celles-ci se tra-
duisant par des franges colorées indési-
rables autour des éléments d’une image.
Ce n’est pas tout. Viennent ensuite une
correction gamma, qui rend la luminosité
© T. Nikoukhah
Une photo à la sortie du capteur (en haut), et après divers traitements.
Interstices est la revue scientifique en ligne éditée
par Inria (institut national de recherche en sciences
et technologies du numérique), avec ses partenaires.
Ses articles sont rédigés par des scientifiques et
couvrent un large panorama de la recherche en
informatique et mathématiques appliquées, donnant
des clés pour comprendre les enjeux liés au numérique.
Interstices est en libre accès sur https://interstices.info
III / POUR LA SCIENCE N° 538 / AOÛT 2022
CAHIER PARTENAIRE
Le dématriçage consiste à convertir chacun des pixels
monochromes de l’image brute (a) en une superposition de trois
couleurs primaires, rouge, vert et bleu (b).
On obtient bien un triplet de valeurs trois couleurs primaires (d).
Dans les faits, les méthodes utilisées sont plus complexes
et souvent combinées avec d’autres traitements comme
un débruitage ou une amélioration de la netteté.
Pour ce faire, on procède à une interpolation. Ainsi, les composantes
verte v5 et bleue b5 de la position 5, qui n’a ici qu’une composante
rouge r5 (c), peuvent être calculées de la façon suivante :
v5=(v2+v4+v6+v8)/4
b5=(b1+b3+b7+b9)/4
DÉMATRIÇAGE
PAR INTERPOLATION
de la scène plus conforme à celle perçue
par la vision humaine, et d’autres opéra-
tions qui améliorent la netteté, diminuent
l’effet de « grain » (on parle de « débrui-
tage »), enlèvent le flou, rehaussent le
contraste, suppriment des petits défauts
locaux… jusqu’à obtenir l’image désirée et
satisfaisante pour tous, ou du moins pour
son auteur. Et celui-ci souhaite évidem-
ment conserver son « chef-d’œuvre ». La
question du stockage se pose alors.
Il s’agit de ranger toutes les informa-
tions relatives à l’image (la matrice des
triplets de valeurs chromatiques et des
données Exif) dans la mémoire, mais il
existe plusieurs façons de le faire.
L’affichage de l’image consiste ensuite à
« défaire » ce rangement : une image « ran-
gée » ne se « voit » pas, un peu comme une
image pliée et rangée dans une enveloppe
a besoin d’être sortie et dépliée pour être
visionnée ! Pour y parvenir, le logiciel de
visualisation doit connaître votre méthode
de rangement, ce que l’on appelle le for-
mat, et dont l’un des plus répandus est Tiff
(pour tag(ged) image file format).
MIEUX RANGER POUR
GAGNER DE LA PLACE
Cependant, un tel format est volumi-
neux et atteint facilement plusieurs
dizaines de mégaoctets (Mo). Un smart-
phone de 16 gigaoctets (Go) de mémoire
est vite saturé. Pour y remédier, on pré-
fère donc compresser les fichiers, c’est-à-
dire les ranger de façon à diminuer
l’espace occupé sur le support numérique.
Pour les images, un standard de compres-
sion est JPEG (pour joint photographic
experts group).
L’algorithme JPEG dépend d’un para-
mètre de qualité  Q, dont les valeurs
s’étendent de 1 à 100 : plus celui-ci est
petit, plus l’image perd de sa qualité (voir
la figure page ci-contre). En effet, la com-
pression entraîne des pertes d’informa-
tions, notamment celles concernant des
détails peu visibles pour l’œil humain.
Comment fonctionne la compression ?
D’abord, l’image RVB est convertie en
une autre base nommée YCbCr, composée,
d’une part, d’un canal de luminance noté Y
(une grandeur correspondant à la sensa-
tion visuelle de luminosité, en réalité
l’image en niveau de gris) et, d’autre part,
de deux canaux de couleurs (ou de chromi-
nance) notés Cb et Cr. L’intérêt de ce nou-
vel espace de couleur est une décorrélation
a b
c
V
V V
B
B
V
V
V
R
R
R
R
b1
r5 v6
v4
b7
b3
b9
v2
v8
B
B B
B
B
B
B
B
B
B
B
B
V
V V
V
V
V
V
V
V
V
V
V
R
R R
R
R
R
R
R
R
R
R
R
b1
b5
b7
b3
b9
v5
v2
v8
v6
v4
r5
d
POUR LA SCIENCE N° 538 / AOÛT 2022 / IV
©
T.
Nikoukhah
entre l’information de luminosité et celle
de la couleur. Or l’œil est plus sensible à la
première qu’à la seconde. La compression
d’une image consiste donc à dégrader la
chrominance tout en gardant une bonne
qualité. Plus précisément, les canaux de
couleurs sont sous-échantillonnés pour
occuper moins d’espace : l’idée ici est d’uni-
formiser la chrominance de pixels voisins,
par exemple 4 alignés, sans tenir compte de
la luminance.
Durant l’étape suivante, chacun des
trois canaux est découpé en blocs de
8 × 8 pixels qui subissent un traitement
mathématique, en l’occurrence une
variante de la transformée de Fourier, qui
les transforme en une somme de fonc-
tions cosinus distinctes par leur fré-
quence. C’est important, car les basses
fréquences correspondent globalement à
l’image, comme si on la voyait floue, alors
que les hautes fréquences représentent
les détails, ce qui varie, les contours...
C’est sur les très hautes fréquences, ren-
voyant à des éléments de l’image auxquels
l’œil humain est très peu sensible que
portera essentiellement la compression.
Celle-ci consiste en une quantification
(un signal continu est remplacé par les
valeurs d’un petit ensemble discret, ce qui
réduit le volume d’informations) dépen-
dant du paramètre Q évoqué précédem-
ment. La quantification est l’étape
irréversible de l’algorithme au cours de
laquelle se produit la majeure partie de la
perte d’information. Chaque bloc est
ensuite codé grâce à d’autres types d’algo-
rithmes, sans perte de données.
L’histoire de la vie d’une image ne
s’arrête pas là. Les applications telles que
Instagram, Facebook ou Snapchat pro-
posent de recadrer l’image, la redresser et
lui appliquer différents filtres. Toutes ces
actions reposent également sur des algo-
rithmes de traitement d’images. Lors de la
publication sur les réseaux sociaux, ces
derniers appliquent eux aussi des trans-
formations : ils peuvent redimensionner
les images, les compresser à nouveau et la
plupart du temps, suppriment les méta-
données Exif. Plus largement, énormé-
ment d’autres opérations sont effectuées,
mais restent tenues secrètes par les entre-
prises, tout comme l’ordre dans lequel
elles sont appliquées.
L’ensemble des méthodes évoquées ici,
etbiend’autres,sontdessujetsderecherche
importants, toujours d’actualité. De
nouvelles procédures sont constamment
développées afin de répondre à l’arrivée de
nouvelles technologies, au désir d’avoir des
images de meilleure qualité et aux possibi-
lités de partage qu’offre Internet.
DES ALGORITHMES
POUR TOUS
Plus largement, chaque domaine où
les images sont centrales, comme la
médecine, l’astronomie, l’observation
satellitaire… dispose de sa batterie d’algo-
rithmes pour former, améliorer, afficher
et coder les images. D’autres outils aident
à analyser les images pour en extraire de
l’information, par exemple détecter des
objets ou des mouvements.
Les scientifiques qui étudient ces
divers sujets publient des articles, dont
certains sont disponibles en ligne, sur le
site du journal de référence en matière de
traitement d’images : IPOL (pour Image
Processing On Line). Cette publication a la
particularité de proposer la lecture de la
description de la méthode, mais aussi le
téléchargement du programme informa-
tique présenté, et même de tester chacune
des méthodes avec ses propres images
directement via le site web. Alors à vous de
jouer avec vos clichés de vacances !
La qualité et la taille d’une image compressée en JPEG varient
selon un paramètre Q compris entre 1 et 100.
Effectuer une opération sur
une image revient donc à effectuer
une opération sur une matrice
Q10 : 398 ko Q50 : 1,2 Mo Q90 : 5,3 Mo
Tina Nikoukhah
Doctorante en traitement
d’images au centre Borelli,
à l’ENS Paris-Saclay.
Retrouvez l’original de cet article ici :
https://bit.ly/Interstices-Images

Contenu connexe

Similaire à Extrait Pour la science n°538 - Quand une photo sort de l’ombre

Les unités courantes en informatique
Les unités courantes en informatiqueLes unités courantes en informatique
Les unités courantes en informatiquealexartiste
 
Note de Synthèse
Note de SynthèseNote de Synthèse
Note de Synthèsehichamb33
 
Bases de données image : structuration de l'espace des descripteurs et recher...
Bases de données image : structuration de l'espace des descripteurs et recher...Bases de données image : structuration de l'espace des descripteurs et recher...
Bases de données image : structuration de l'espace des descripteurs et recher...Guillaume MOCQUET
 
TP1 Traitement d'images Génie Logiciel avec Matlab
TP1 Traitement d'images Génie Logiciel avec MatlabTP1 Traitement d'images Génie Logiciel avec Matlab
TP1 Traitement d'images Génie Logiciel avec MatlabMariem ZAOUALI
 
Formation Workshop "Photographie" Orienté mobile
Formation Workshop "Photographie" Orienté mobileFormation Workshop "Photographie" Orienté mobile
Formation Workshop "Photographie" Orienté mobileMehdi Ayache
 
Traitement d'images CCD avec PixInsight
Traitement d'images CCD avec PixInsightTraitement d'images CCD avec PixInsight
Traitement d'images CCD avec PixInsightDidier Walliang
 
La photo numérique : de la prise de vue au partage Web
La photo numérique : de la prise de vue au partage WebLa photo numérique : de la prise de vue au partage Web
La photo numérique : de la prise de vue au partage WebRegis Pailler
 
Quantification histograme
Quantification histogrameQuantification histograme
Quantification histogrameGata Hipogata
 
OpenCR__Rapport_soutenance_Finale
OpenCR__Rapport_soutenance_FinaleOpenCR__Rapport_soutenance_Finale
OpenCR__Rapport_soutenance_FinaleChady Dimachkie
 
La vision par ordinateur en télédétection spatiale : état des lieux
La vision par ordinateur en télédétection spatiale : état des lieuxLa vision par ordinateur en télédétection spatiale : état des lieux
La vision par ordinateur en télédétection spatiale : état des lieuxVisionGEOMATIQUE2014
 

Similaire à Extrait Pour la science n°538 - Quand une photo sort de l’ombre (20)

Les unités courantes en informatique
Les unités courantes en informatiqueLes unités courantes en informatique
Les unités courantes en informatique
 
Note de Synthèse
Note de SynthèseNote de Synthèse
Note de Synthèse
 
Bases de données image : structuration de l'espace des descripteurs et recher...
Bases de données image : structuration de l'espace des descripteurs et recher...Bases de données image : structuration de l'espace des descripteurs et recher...
Bases de données image : structuration de l'espace des descripteurs et recher...
 
TP1 Traitement d'images Génie Logiciel avec Matlab
TP1 Traitement d'images Génie Logiciel avec MatlabTP1 Traitement d'images Génie Logiciel avec Matlab
TP1 Traitement d'images Génie Logiciel avec Matlab
 
Cours photoshop
Cours photoshopCours photoshop
Cours photoshop
 
Initiation à la retouche d’images.Utilisation de Paint.net
Initiation à la retouche d’images.Utilisation de Paint.netInitiation à la retouche d’images.Utilisation de Paint.net
Initiation à la retouche d’images.Utilisation de Paint.net
 
Photofiltre
Photofiltre Photofiltre
Photofiltre
 
Chapitre4
Chapitre4Chapitre4
Chapitre4
 
Initiation à la retouche d’images
Initiation à la retouche d’imagesInitiation à la retouche d’images
Initiation à la retouche d’images
 
Formation Workshop "Photographie" Orienté mobile
Formation Workshop "Photographie" Orienté mobileFormation Workshop "Photographie" Orienté mobile
Formation Workshop "Photographie" Orienté mobile
 
Traitement d'images CCD avec PixInsight
Traitement d'images CCD avec PixInsightTraitement d'images CCD avec PixInsight
Traitement d'images CCD avec PixInsight
 
La photo numérique : de la prise de vue au partage Web
La photo numérique : de la prise de vue au partage WebLa photo numérique : de la prise de vue au partage Web
La photo numérique : de la prise de vue au partage Web
 
Capteurs
CapteursCapteurs
Capteurs
 
Vision par ordinateur
Vision par ordinateurVision par ordinateur
Vision par ordinateur
 
Quantification histograme
Quantification histogrameQuantification histograme
Quantification histograme
 
Bitmaps
BitmapsBitmaps
Bitmaps
 
OpenCR__Rapport_soutenance_Finale
OpenCR__Rapport_soutenance_FinaleOpenCR__Rapport_soutenance_Finale
OpenCR__Rapport_soutenance_Finale
 
Initiation à la retouche d’images.2012
Initiation à la retouche d’images.2012Initiation à la retouche d’images.2012
Initiation à la retouche d’images.2012
 
La vision par ordinateur en télédétection spatiale : état des lieux
La vision par ordinateur en télédétection spatiale : état des lieuxLa vision par ordinateur en télédétection spatiale : état des lieux
La vision par ordinateur en télédétection spatiale : état des lieux
 
Technique vidéo1.pptx
Technique vidéo1.pptxTechnique vidéo1.pptx
Technique vidéo1.pptx
 

Plus de Inria

Inria | Annual report 2022
Inria | Annual report 2022Inria | Annual report 2022
Inria | Annual report 2022Inria
 
Inria | Rapport d'activités 2022
Inria |  Rapport d'activités 2022Inria |  Rapport d'activités 2022
Inria | Rapport d'activités 2022Inria
 
Rapport d'auto-évaluation Hcérès | L'essentiel
Rapport d'auto-évaluation Hcérès | L'essentielRapport d'auto-évaluation Hcérès | L'essentiel
Rapport d'auto-évaluation Hcérès | L'essentielInria
 
Le numérique est-il un progrès durable
Le numérique est-il un progrès durableLe numérique est-il un progrès durable
Le numérique est-il un progrès durableInria
 
Extrait CHUT n°10 - sciences moins polluantes
Extrait CHUT n°10 - sciences moins polluantesExtrait CHUT n°10 - sciences moins polluantes
Extrait CHUT n°10 - sciences moins polluantesInria
 
Inria | Activity report 2021
Inria | Activity report 2021Inria | Activity report 2021
Inria | Activity report 2021Inria
 
Inria | Rapport d'activités 2021
Inria |  Rapport d'activités 2021Inria |  Rapport d'activités 2021
Inria | Rapport d'activités 2021Inria
 
Inria | White paper Agriculture and Digital Technology (January 2022)
Inria | White paper Agriculture and Digital Technology  (January 2022)Inria | White paper Agriculture and Digital Technology  (January 2022)
Inria | White paper Agriculture and Digital Technology (January 2022)Inria
 
Inria | Livre blanc Agriculture et numérique (janvier 2022)
Inria | Livre blanc Agriculture et numérique (janvier 2022)Inria | Livre blanc Agriculture et numérique (janvier 2022)
Inria | Livre blanc Agriculture et numérique (janvier 2022)Inria
 
Inria | White paper Internet of Things (November 2021)
Inria | White paper Internet of Things (November 2021)Inria | White paper Internet of Things (November 2021)
Inria | White paper Internet of Things (November 2021)Inria
 
Inria | Livre blanc Internet des objets (novembre 2021)
Inria | Livre blanc Internet des objets (novembre 2021)Inria | Livre blanc Internet des objets (novembre 2021)
Inria | Livre blanc Internet des objets (novembre 2021)Inria
 
Inria - Livre blanc intelligence artificielle (seconde édition 2021)
Inria - Livre blanc intelligence artificielle (seconde édition 2021)Inria - Livre blanc intelligence artificielle (seconde édition 2021)
Inria - Livre blanc intelligence artificielle (seconde édition 2021)Inria
 
Inria - White paper Artificial Intelligence (second edition 2021)
Inria - White paper Artificial Intelligence  (second edition 2021)Inria - White paper Artificial Intelligence  (second edition 2021)
Inria - White paper Artificial Intelligence (second edition 2021)Inria
 
Inria - Activity report 2020
Inria - Activity report 2020Inria - Activity report 2020
Inria - Activity report 2020Inria
 
Inria - Rapport d'activités 2020
Inria - Rapport d'activités 2020Inria - Rapport d'activités 2020
Inria - Rapport d'activités 2020Inria
 
Inria - Livre blanc éducation et numérique
Inria - Livre blanc éducation et numériqueInria - Livre blanc éducation et numérique
Inria - Livre blanc éducation et numériqueInria
 
Inria - Plug'in #7
Inria - Plug'in #7Inria - Plug'in #7
Inria - Plug'in #7Inria
 
Inria - 2019 activity report
Inria - 2019 activity reportInria - 2019 activity report
Inria - 2019 activity reportInria
 
Inria - Rapport d'activités 2019
Inria - Rapport d'activités 2019Inria - Rapport d'activités 2019
Inria - Rapport d'activités 2019Inria
 
Inria - BD Infos personnelles
Inria - BD Infos personnellesInria - BD Infos personnelles
Inria - BD Infos personnellesInria
 

Plus de Inria (20)

Inria | Annual report 2022
Inria | Annual report 2022Inria | Annual report 2022
Inria | Annual report 2022
 
Inria | Rapport d'activités 2022
Inria |  Rapport d'activités 2022Inria |  Rapport d'activités 2022
Inria | Rapport d'activités 2022
 
Rapport d'auto-évaluation Hcérès | L'essentiel
Rapport d'auto-évaluation Hcérès | L'essentielRapport d'auto-évaluation Hcérès | L'essentiel
Rapport d'auto-évaluation Hcérès | L'essentiel
 
Le numérique est-il un progrès durable
Le numérique est-il un progrès durableLe numérique est-il un progrès durable
Le numérique est-il un progrès durable
 
Extrait CHUT n°10 - sciences moins polluantes
Extrait CHUT n°10 - sciences moins polluantesExtrait CHUT n°10 - sciences moins polluantes
Extrait CHUT n°10 - sciences moins polluantes
 
Inria | Activity report 2021
Inria | Activity report 2021Inria | Activity report 2021
Inria | Activity report 2021
 
Inria | Rapport d'activités 2021
Inria |  Rapport d'activités 2021Inria |  Rapport d'activités 2021
Inria | Rapport d'activités 2021
 
Inria | White paper Agriculture and Digital Technology (January 2022)
Inria | White paper Agriculture and Digital Technology  (January 2022)Inria | White paper Agriculture and Digital Technology  (January 2022)
Inria | White paper Agriculture and Digital Technology (January 2022)
 
Inria | Livre blanc Agriculture et numérique (janvier 2022)
Inria | Livre blanc Agriculture et numérique (janvier 2022)Inria | Livre blanc Agriculture et numérique (janvier 2022)
Inria | Livre blanc Agriculture et numérique (janvier 2022)
 
Inria | White paper Internet of Things (November 2021)
Inria | White paper Internet of Things (November 2021)Inria | White paper Internet of Things (November 2021)
Inria | White paper Internet of Things (November 2021)
 
Inria | Livre blanc Internet des objets (novembre 2021)
Inria | Livre blanc Internet des objets (novembre 2021)Inria | Livre blanc Internet des objets (novembre 2021)
Inria | Livre blanc Internet des objets (novembre 2021)
 
Inria - Livre blanc intelligence artificielle (seconde édition 2021)
Inria - Livre blanc intelligence artificielle (seconde édition 2021)Inria - Livre blanc intelligence artificielle (seconde édition 2021)
Inria - Livre blanc intelligence artificielle (seconde édition 2021)
 
Inria - White paper Artificial Intelligence (second edition 2021)
Inria - White paper Artificial Intelligence  (second edition 2021)Inria - White paper Artificial Intelligence  (second edition 2021)
Inria - White paper Artificial Intelligence (second edition 2021)
 
Inria - Activity report 2020
Inria - Activity report 2020Inria - Activity report 2020
Inria - Activity report 2020
 
Inria - Rapport d'activités 2020
Inria - Rapport d'activités 2020Inria - Rapport d'activités 2020
Inria - Rapport d'activités 2020
 
Inria - Livre blanc éducation et numérique
Inria - Livre blanc éducation et numériqueInria - Livre blanc éducation et numérique
Inria - Livre blanc éducation et numérique
 
Inria - Plug'in #7
Inria - Plug'in #7Inria - Plug'in #7
Inria - Plug'in #7
 
Inria - 2019 activity report
Inria - 2019 activity reportInria - 2019 activity report
Inria - 2019 activity report
 
Inria - Rapport d'activités 2019
Inria - Rapport d'activités 2019Inria - Rapport d'activités 2019
Inria - Rapport d'activités 2019
 
Inria - BD Infos personnelles
Inria - BD Infos personnellesInria - BD Infos personnelles
Inria - BD Infos personnelles
 

Extrait Pour la science n°538 - Quand une photo sort de l’ombre

  • 1. I / POUR LA SCIENCE N° 538 / AOÛT 2022 L es vacances battent leur plein, et tous, nous tentons d’immortaliser avec plus ou moins de bonheur esthétique, qui le paysage, qui les enfants dans l’eau, qui la spécialité régionale si alléchante… D’un simple geste, l’appareil est dégainé, allumé et la photo prise. De ce moment, tout un monde d’algorithmes entre en action et fera qu’au bout du processus, vous obtien- drez une photo que, éventuellement, vous partagerez. En quoi consistent ces algo- rithmes ? Quels sont leurs rôles ? Comment fonctionnent-ils ? Pour répondre, suivons pas à pas une photographie dans les méandres de son parcours. Tout com- mence par l’acquisition de l’image... De même que nos yeux sont dotés d’une rétine qui reçoit les rayons lumineux réfléchis par un objet, un appareil photo quel qu’il soit est équipé d’un capteur, l’équivalent de la pellicule en photographie argentique. Ce composant électronique est constitué de millions de photosites, des sortes de « cellules » sensibles qui réa- gissent à la quantité de lumière qu’elles recueillent et convertissent en un nombre entier, enregistré dans la mémoire de l’ap- pareil. Ainsi, un capteur transforme une image en un tableau de valeurs, ou matrice, dont chaque case, définie par une coordon- née horizontale x et une autre verticale y, correspond à un pixel (pour picture ele- ment, c’est-à-dire « élément d’image »), un pour chaque photosite. Plus leur nombre est important, plus la définition de l’image est grande. L’appareil enregistre aussi des infor- mations (on parle de « métadonnées »), comme la marque et le modèle de l’appa- reil et de l’objectif, la date, l’heure, le lieu… de la prise de vue. Ces informations ajou- tées aux données brutes du capteur for- ment un fichier RAW. À ce stade, l’image n’est qu’un ensemble de valeurs d’inten- sité, de la plus sombre à la plus lumineuse. En d’autres termes, l’image obtenue ini- tialement par un capteur nu est tout en nuances de gris. 50 NUANCES DE GRIS, ET BIEN PLUS Elle va ensuite être traitée par plu- sieurs algorithmes pour conduire à l’image finale, l’image presque « par- faite », celle qui donnera l’illusion de la réalité, et à son stockage. Tout se passe le plus souvent, au moins pour les néo- phytes, dans l’appareil, grâce à divers logiciels embarqués, dont la mise en œuvre dépend parfois des métadonnées qui accompagnent l’image. CAHIER PARTENAIRE Depuis l’avènement des appareils numériques, et plus encore celui des smartphones, la photographie s’est massivement répandue. Mais peu connaissent le travail des nombreux algorithmes qui interviennent entre le « déclic » et la publication sur les réseaux sociaux. Tina Nikoukhah Quand une photo sort de l’ombre La matrice de Bayer consiste en un filtre, une mosaïque colorée, apposé sur le capteur. À chaque pixel de ce dernier est superposé un élément monochromatique. Pixel Une première étape consiste à trans- former l’image en nuances de gris en une autre, en couleurs. La technologie employée s’inspire de la perception humaine, en associant à chaque valeur de la matrice une des trois couleurs pri- maires, rouge, vert ou bleu. Pour ce faire, l’ensemble du capteur est recouvert d’un filtre, une sorte de mosaïque d’éléments colorés (un par photosite) dont il existe différents agencements, le plus courant étant la matrice de Bayer, composée de 50 % de vert, 25 % de rouge et 25 % de bleu (voir la figure ci-dessous). La prédo- minance du vert dans ce pavage tient au fait que la vision humaine y est plus sen- sible. De la sorte, chaque photosite ne détecte que l’intensité de la couleur pri- maire associée. En conséquence, chaque pixel de l’image brute ne possède qu’une composante, rouge, verte ou bleue. L’objectif est d’obtenir pour chacun de ces pixels monochromes, un triplet (r, v, b) de valeurs pour respectivement les
  • 2. POUR LA SCIENCE N° 538 / AOÛT 2022 / II trois couleurs primaires. Pour ce faire, un logiciel entre en action afin de procéder à un dématriçage lors duquel les données colorimétriques de chacun des pixels monochromes sont interpolées avec celles des voisins de façon à estimer les deux composantes manquantes (voir l’encadré page suivante). Chaque valeur r, v et b obtenue est codée informatiquement avec 8 bits, et est donc comprise entre 0 et 255 (28 = 256). Au terme de cette opéra- tion, une image couleur est en fin de compte composée de trois matrices, ou canaux, superposées : une avec les valeurs qui représentent le rouge, une autre pour le vert et une dernière pour le bleu. Conformément à la théorie de la syn- thèse additive, également à l’œuvre dans les écrans de télévision et d’ordinateur, la variation de l’intensité lumineuse associée à chaque canal offre accès à toutes les cou- leurs du spectre visible. Ainsi, le triplet de valeur (96, 93, 62) correspond à un vert kaki. Nous sommes proches d’une image prête à être montrée, mais il reste encore quelques traitements à appliquer. EN ROUTE VERS LE CHEF-D’ŒUVRE L’image nécessite parfois un calibrage de ses couleurs, pour par exemple atté- nuer une dominante, ainsi qu’une balance des blancs afin d’obtenir une image aux couleurs fidèles à la scène indépendam- ment des conditions d’éclairage. D’autres traitements sont classiquement intégrés à la chaîne : il peut s’agir d’une correction de l’exposition ou d’une compensation des imperfections optiques des objectifs. Dans ce dernier cas, le logiciel inclut souvent une base de données des objectifs afin de s’affranchir des distorsions optiques et des aberrations chromatiques, celles-ci se tra- duisant par des franges colorées indési- rables autour des éléments d’une image. Ce n’est pas tout. Viennent ensuite une correction gamma, qui rend la luminosité © T. Nikoukhah Une photo à la sortie du capteur (en haut), et après divers traitements. Interstices est la revue scientifique en ligne éditée par Inria (institut national de recherche en sciences et technologies du numérique), avec ses partenaires. Ses articles sont rédigés par des scientifiques et couvrent un large panorama de la recherche en informatique et mathématiques appliquées, donnant des clés pour comprendre les enjeux liés au numérique. Interstices est en libre accès sur https://interstices.info
  • 3. III / POUR LA SCIENCE N° 538 / AOÛT 2022 CAHIER PARTENAIRE Le dématriçage consiste à convertir chacun des pixels monochromes de l’image brute (a) en une superposition de trois couleurs primaires, rouge, vert et bleu (b). On obtient bien un triplet de valeurs trois couleurs primaires (d). Dans les faits, les méthodes utilisées sont plus complexes et souvent combinées avec d’autres traitements comme un débruitage ou une amélioration de la netteté. Pour ce faire, on procède à une interpolation. Ainsi, les composantes verte v5 et bleue b5 de la position 5, qui n’a ici qu’une composante rouge r5 (c), peuvent être calculées de la façon suivante : v5=(v2+v4+v6+v8)/4 b5=(b1+b3+b7+b9)/4 DÉMATRIÇAGE PAR INTERPOLATION de la scène plus conforme à celle perçue par la vision humaine, et d’autres opéra- tions qui améliorent la netteté, diminuent l’effet de « grain » (on parle de « débrui- tage »), enlèvent le flou, rehaussent le contraste, suppriment des petits défauts locaux… jusqu’à obtenir l’image désirée et satisfaisante pour tous, ou du moins pour son auteur. Et celui-ci souhaite évidem- ment conserver son « chef-d’œuvre ». La question du stockage se pose alors. Il s’agit de ranger toutes les informa- tions relatives à l’image (la matrice des triplets de valeurs chromatiques et des données Exif) dans la mémoire, mais il existe plusieurs façons de le faire. L’affichage de l’image consiste ensuite à « défaire » ce rangement : une image « ran- gée » ne se « voit » pas, un peu comme une image pliée et rangée dans une enveloppe a besoin d’être sortie et dépliée pour être visionnée ! Pour y parvenir, le logiciel de visualisation doit connaître votre méthode de rangement, ce que l’on appelle le for- mat, et dont l’un des plus répandus est Tiff (pour tag(ged) image file format). MIEUX RANGER POUR GAGNER DE LA PLACE Cependant, un tel format est volumi- neux et atteint facilement plusieurs dizaines de mégaoctets (Mo). Un smart- phone de 16 gigaoctets (Go) de mémoire est vite saturé. Pour y remédier, on pré- fère donc compresser les fichiers, c’est-à- dire les ranger de façon à diminuer l’espace occupé sur le support numérique. Pour les images, un standard de compres- sion est JPEG (pour joint photographic experts group). L’algorithme JPEG dépend d’un para- mètre de qualité  Q, dont les valeurs s’étendent de 1 à 100 : plus celui-ci est petit, plus l’image perd de sa qualité (voir la figure page ci-contre). En effet, la com- pression entraîne des pertes d’informa- tions, notamment celles concernant des détails peu visibles pour l’œil humain. Comment fonctionne la compression ? D’abord, l’image RVB est convertie en une autre base nommée YCbCr, composée, d’une part, d’un canal de luminance noté Y (une grandeur correspondant à la sensa- tion visuelle de luminosité, en réalité l’image en niveau de gris) et, d’autre part, de deux canaux de couleurs (ou de chromi- nance) notés Cb et Cr. L’intérêt de ce nou- vel espace de couleur est une décorrélation a b c V V V B B V V V R R R R b1 r5 v6 v4 b7 b3 b9 v2 v8 B B B B B B B B B B B B V V V V V V V V V V V V R R R R R R R R R R R R b1 b5 b7 b3 b9 v5 v2 v8 v6 v4 r5 d
  • 4. POUR LA SCIENCE N° 538 / AOÛT 2022 / IV © T. Nikoukhah entre l’information de luminosité et celle de la couleur. Or l’œil est plus sensible à la première qu’à la seconde. La compression d’une image consiste donc à dégrader la chrominance tout en gardant une bonne qualité. Plus précisément, les canaux de couleurs sont sous-échantillonnés pour occuper moins d’espace : l’idée ici est d’uni- formiser la chrominance de pixels voisins, par exemple 4 alignés, sans tenir compte de la luminance. Durant l’étape suivante, chacun des trois canaux est découpé en blocs de 8 × 8 pixels qui subissent un traitement mathématique, en l’occurrence une variante de la transformée de Fourier, qui les transforme en une somme de fonc- tions cosinus distinctes par leur fré- quence. C’est important, car les basses fréquences correspondent globalement à l’image, comme si on la voyait floue, alors que les hautes fréquences représentent les détails, ce qui varie, les contours... C’est sur les très hautes fréquences, ren- voyant à des éléments de l’image auxquels l’œil humain est très peu sensible que portera essentiellement la compression. Celle-ci consiste en une quantification (un signal continu est remplacé par les valeurs d’un petit ensemble discret, ce qui réduit le volume d’informations) dépen- dant du paramètre Q évoqué précédem- ment. La quantification est l’étape irréversible de l’algorithme au cours de laquelle se produit la majeure partie de la perte d’information. Chaque bloc est ensuite codé grâce à d’autres types d’algo- rithmes, sans perte de données. L’histoire de la vie d’une image ne s’arrête pas là. Les applications telles que Instagram, Facebook ou Snapchat pro- posent de recadrer l’image, la redresser et lui appliquer différents filtres. Toutes ces actions reposent également sur des algo- rithmes de traitement d’images. Lors de la publication sur les réseaux sociaux, ces derniers appliquent eux aussi des trans- formations : ils peuvent redimensionner les images, les compresser à nouveau et la plupart du temps, suppriment les méta- données Exif. Plus largement, énormé- ment d’autres opérations sont effectuées, mais restent tenues secrètes par les entre- prises, tout comme l’ordre dans lequel elles sont appliquées. L’ensemble des méthodes évoquées ici, etbiend’autres,sontdessujetsderecherche importants, toujours d’actualité. De nouvelles procédures sont constamment développées afin de répondre à l’arrivée de nouvelles technologies, au désir d’avoir des images de meilleure qualité et aux possibi- lités de partage qu’offre Internet. DES ALGORITHMES POUR TOUS Plus largement, chaque domaine où les images sont centrales, comme la médecine, l’astronomie, l’observation satellitaire… dispose de sa batterie d’algo- rithmes pour former, améliorer, afficher et coder les images. D’autres outils aident à analyser les images pour en extraire de l’information, par exemple détecter des objets ou des mouvements. Les scientifiques qui étudient ces divers sujets publient des articles, dont certains sont disponibles en ligne, sur le site du journal de référence en matière de traitement d’images : IPOL (pour Image Processing On Line). Cette publication a la particularité de proposer la lecture de la description de la méthode, mais aussi le téléchargement du programme informa- tique présenté, et même de tester chacune des méthodes avec ses propres images directement via le site web. Alors à vous de jouer avec vos clichés de vacances ! La qualité et la taille d’une image compressée en JPEG varient selon un paramètre Q compris entre 1 et 100. Effectuer une opération sur une image revient donc à effectuer une opération sur une matrice Q10 : 398 ko Q50 : 1,2 Mo Q90 : 5,3 Mo Tina Nikoukhah Doctorante en traitement d’images au centre Borelli, à l’ENS Paris-Saclay. Retrouvez l’original de cet article ici : https://bit.ly/Interstices-Images