Traitement d’images et
média visualisation
Everardo REYES
Université Paris 8 / Lab. Paragraphe
• Intro : L’image numérique et quelques problèmes
• Méthodes : cas de l’image en mouvement
• Utilisations : média visualis...
L’image numérique
Célèbre analyse de la publicité de pâtes Panzani
Roland Barthes, “Rhétorique de l’image”, 1964
Dénotation : ce que l’on voit
Connotation : la signification socio-culturelle
Sens de “italianité”
Analyse du tableau “Blumen Mythos” de Paul Klee (1918)
Felix Thürlemann, 1982
Relations entre plan de l’expression et
plan du contenu
Emploi la distinction entre signes
plastiques et signes figuratifs
Rappel sur Charles Peirce
représentation par connexion directe à l’objet
Indice
Symbole
représentation par convention
Icôn...
Icône Symbole
Indice
L’expression et le contenu des médias
peuvent être vus comme des indices,
icônes et symboles
Une phot...
Définition technique
“An image f(x, y) that has been discretized, where x and y are spatial
coordinates and the value of f...
Images numériques : points de départ
Un médium instable : en plein développement
Dépendent des logiciels de traitement et ...
• Ce qui est visible par l’humain n’est pas “tout”
Problèmes de perception visuelle
• Comment décrire une image ?
• Méta-données techniques : e.g. EXIF
• Méta-données visuelles
• Méta-données culturelles
Pr...
390 propriétés visuelles quantifiées
Jeremy Douglass, SSI, 2011
• Méta-données culturelles :
• relations sémantiques
• relations pragmatiques
• relations textuelles : inter, hyper, meta,...
Problèmes de traitement
L’image un espace cartésien et dynamique :
Unités basiques : pixels : positionnés sur les axes X e...
Impression à demi-tons. 1850-1880
Balayage électronique [ tubes cathodiques ]. 1890-1920
Ceci n’est pas un pixel
Ceci n’est pas un pixel…
c’est la “trace” ou footprint
d’un filtre de reconstruction
Exemples de filtres de reconstruction
Alvy R. Smith, 1995
Problèmes d’échelle
• Échanges : le numérique comme format commun
• Augmentation : des données, appareils, dispositifs, pr...
Méthodes :
cas de l’image en mouvement
• Niveau de l’image résultante/en expérimentation
• Niveau des logiciels
• Niveau des langages de programmation
• Niveau d...
Parcours historique : représentation
graphique du mouvement
Développement des mathématiques et géométrie
Euclid, The Elements, c. 300 BC
Première représentation du mouvement
Nicolas Oresme, Tractatus de configurationibus qualitatum et motuum, c. 1360
Géométrie + Algèbre = Plan cartésien
René Descartes, La Géométrie, 1637
Capture du mouvement
Myographe
Étienne-Jules Marey, La méthode graphique, 1876
Myographe
Étienne-Jules Marey, La méthode graphique, 1876
Séquence de photographes
Eadweard Muybridge, The Horse in motion, 1878
Abstraction de l’image
Étienne-Jules Marey, Movement, 1895
Chronophotographe
Étienne-Jules Marey, 1896
Capture précise du mouvement
Frank Gilbreth, cyclographs, 1912
Modèles du mouvement
Sculpture d’une mouette en mouvement
Étienne-Jules Marey, 1880
Cyclographe construit avec des câbles
Frank Gilbreth, 1912
Art et mouvement
Les formes apparaissent à côté ou se superposent
Marcel Duchamp, Nu descendant un escalier, 1912
La forme du mouvement devient un objet expressif
Paul Klee, Blumen Mythos, 1918
Abstraction et symbolisme des formes
Wassily Kandinsky, Composition VIII, 1923
Techniques de traitement
d’images et vidéo
Edge Detection
Image Enhancement
Image Restoration
Image Segmentation
Image Synthesis
Image Transformations
assemblying
de...
Video segmentation
Video Object Segmentation with Shortest Path
Zhang, Zao & Cao, 2012
Video summarization
Video summarization using singular value decomposition
Gong & Liu, 2000
Video cubes
Fels & Mase, 1999
Color / Motion Amplification
Rubinstein, Freeman, et. al., 2012
https://lambda.qrilab.com/site/
Infrared Reflectography, Art Institute of Chicago
Pablo Picasso, “The old blind guitarist”, 1903
Utilisations contemporaines :
cas de la média visualisation,
du design spéculatif et interfaces
graphiques
I OM
Approche aux images numériques
Approche aux images numériques
Une ou plusieurs
fichiers d’images
numériques
Logiciels,
Codes,
Algorithmes
Design/art spéc...
Approche aux images numériques
I OM
Fichiers images
Séquences vidéo
Live streaming
Modèles 3D
Données
Images 2D
Modèles 3D...
• Que font les logiciels aux images ?
• Comment les images influencent-elles la culture ?
Questions et problématiques
• Que font les logiciels aux images ?
• Nouveaux modèles de représentation ?
• Nouveaux procédés issus des SHS ?
• Nouvell...
• Notion introduite en 2005 par la Software Studies Initiative
• Analyse de média visuels à travers des médias visuels
• E...
Image Averaging du clip vidéo Smells Like Teen Spirit
Musique : Nirvana. Réalisateur : S. Bayer, 1991
E. Reyes, 2013
Image Mosaic du clip vidéo Smells Like Teen Spirit
E. Reyes, 2013
Vidéo-clip Come As You Are
Vue orthogonale des photogrammes
Image Slicing de plusieurs clip vidéos de Nirvana
Réalisateurs: S. Bayer and K. Kerslake, 1991-1992
E. Reyes, 2013
Interactive Explorations
Hybrid Media Visualization, E. Reyes, 2013
Carte réseau avec images
E. Reyes, 2013
203 paintings by Paul Klee
Interactive visualization, E. Reyes, 2015
http://ereyes.net/kleeviz/
203 paintings by Paul Klee
Interactive visualization, E. Reyes, 2015
http://ereyes.net/kleeviz/
Image Plot of the 2000 Rock Albums
Data from AllMusic.com, E. Reyes, 2013
Experimental Media Visualizations
E. Reyes, 2014
as
motion structures
VFX in the Film Inception (Nolan, 2010)
E. Reyes, 2011
Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011
Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011
Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011
Charles Csuri, Hummingbird, 1967
E. Reyes, 2011
Peter Weibel, Endless Sandwich, 1969
E. Reyes, 2011
Bill Viola, Acceptance, 2008
E. Reyes, 2011
Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011
3D Print of Motion Structure
E. Reyes, 2011
J’ai extrait 200 captures d’écran de Google, de 1998 et 2015
J’ai produit un modèle 3D
comme une image texture [ Dondero &...
Texture dans un hypercube
Fait avec Processing 3.0
Vidéo / séquence d’images
Electric Sheep (Scott Draves)
Modèle 3D généré à partir d’une
séquence d’images d’Electric Sheep (Scott Draves)
Visualisation spéculative dans un
espace 3D généré d’une séquence d’images
Fait avec ImageJ et MeshLab
Visualisation spéculative dans un
espace 3D généré d’une séquence d’images
Fait avec ImageJ et MeshLab
Visualisation spéculative dans un
espace 3D généré d’une séquence d’images
Fait avec ImageJ et MeshLab
• Enrichir la description en ajoutant des critères humaines et culturels ?
• Critique des logiciels et procédures ?
• Anal...
Merci de votre attention
Everardo REYES
Université Paris 8 / Lab. Paragraphe
ereyes.net
Traitement d’images et média visualisation
Traitement d’images et média visualisation
Prochain SlideShare
Chargement dans…5
×

Traitement d’images et média visualisation

537 vues

Publié le

Présentation publique à l'École Normale Supérieure de Paris le 22 octobre 2015.

Publié dans : Formation
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
537
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
11
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Traitement d’images et média visualisation

  1. 1. Traitement d’images et média visualisation Everardo REYES Université Paris 8 / Lab. Paragraphe
  2. 2. • Intro : L’image numérique et quelques problèmes • Méthodes : cas de l’image en mouvement • Utilisations : média visualisation, design expérimental, images-interfaces Plan
  3. 3. L’image numérique
  4. 4. Célèbre analyse de la publicité de pâtes Panzani Roland Barthes, “Rhétorique de l’image”, 1964
  5. 5. Dénotation : ce que l’on voit Connotation : la signification socio-culturelle Sens de “italianité”
  6. 6. Analyse du tableau “Blumen Mythos” de Paul Klee (1918) Felix Thürlemann, 1982
  7. 7. Relations entre plan de l’expression et plan du contenu Emploi la distinction entre signes plastiques et signes figuratifs
  8. 8. Rappel sur Charles Peirce représentation par connexion directe à l’objet Indice Symbole représentation par convention Icône représentation par ressemblance
  9. 9. Icône Symbole Indice L’expression et le contenu des médias peuvent être vus comme des indices, icônes et symboles Une photo, par exemple, peut ressembler à son objet, mais le papier sur lequel l’image a été fixée est une indice du temps et des procédures techniques, elle est symbole d’une époque historique, économique, culturelle, politique.
  10. 10. Définition technique “An image f(x, y) that has been discretized, where x and y are spatial coordinates and the value of f at (x, y) is proportional to the brightness of the scene at that point. It is represented by a series of 2D arrays, one for each color band… Each element of the array is called pixel or pel, derived from the term “picture element”. Thus, a digital image looks like this…” [ Petrou & Petrou, 2010 ]
  11. 11. Images numériques : points de départ Un médium instable : en plein développement Dépendent des logiciels de traitement et outils de capture Leur matière est quantifiée ➜ des données
  12. 12. • Ce qui est visible par l’humain n’est pas “tout” Problèmes de perception visuelle
  13. 13. • Comment décrire une image ? • Méta-données techniques : e.g. EXIF • Méta-données visuelles • Méta-données culturelles Problèmes de description File Name Canon.jpg Camera Model Canon EOS DIGITAL REBEL Date/Time 2003:12:04 06:46:52 Shooting Mode Bulb Shutter Speed 4 Aperture 14.0 Metering Mode Center-weighted average Exposure Compensation 0 ISO 100 Lens 18.0 - 55.0 mm Focal Length 34.0 mm Image Size8x8 Quality RAW Flash No Flash White Balance Auto Focus Mode Manual Focus Color Tone Normal Color Space sRGB File Size 2.6 kB File Number 118-1861 Drive Mode Continuous Shooting Owner Name Phil Harvey Serial Number 0560018150
  14. 14. 390 propriétés visuelles quantifiées Jeremy Douglass, SSI, 2011
  15. 15. • Méta-données culturelles : • relations sémantiques • relations pragmatiques • relations textuelles : inter, hyper, meta, para • subjectivité • contexte de production • inspirations • interprétations • réception • expériences esthétiques Problèmes de description
  16. 16. Problèmes de traitement L’image un espace cartésien et dynamique : Unités basiques : pixels : positionnés sur les axes X et Y L’espace se rafraîchit à 60Hz Tous les niveaux sont affectés : Acquisition, traitement, affichage, impression Images numériques ➜ régime de la pixélité : Déterminées par la grille tramée [ raster grid ] Ce n’est pas une propriété du numérique
  17. 17. Impression à demi-tons. 1850-1880
  18. 18. Balayage électronique [ tubes cathodiques ]. 1890-1920
  19. 19. Ceci n’est pas un pixel
  20. 20. Ceci n’est pas un pixel… c’est la “trace” ou footprint d’un filtre de reconstruction
  21. 21. Exemples de filtres de reconstruction Alvy R. Smith, 1995
  22. 22. Problèmes d’échelle • Échanges : le numérique comme format commun • Augmentation : des données, appareils, dispositifs, pratiques • Accès : à plusieurs logiciels et outils • Combinaisons : médias et techniques des différentes disciplines
  23. 23. Méthodes : cas de l’image en mouvement
  24. 24. • Niveau de l’image résultante/en expérimentation • Niveau des logiciels • Niveau des langages de programmation • Niveau des périphériques et hardware Les méthodes s’appliquent à plusieurs niveaux…
  25. 25. Parcours historique : représentation graphique du mouvement
  26. 26. Développement des mathématiques et géométrie Euclid, The Elements, c. 300 BC
  27. 27. Première représentation du mouvement Nicolas Oresme, Tractatus de configurationibus qualitatum et motuum, c. 1360
  28. 28. Géométrie + Algèbre = Plan cartésien René Descartes, La Géométrie, 1637
  29. 29. Capture du mouvement
  30. 30. Myographe Étienne-Jules Marey, La méthode graphique, 1876
  31. 31. Myographe Étienne-Jules Marey, La méthode graphique, 1876
  32. 32. Séquence de photographes Eadweard Muybridge, The Horse in motion, 1878
  33. 33. Abstraction de l’image Étienne-Jules Marey, Movement, 1895
  34. 34. Chronophotographe Étienne-Jules Marey, 1896
  35. 35. Capture précise du mouvement Frank Gilbreth, cyclographs, 1912
  36. 36. Modèles du mouvement
  37. 37. Sculpture d’une mouette en mouvement Étienne-Jules Marey, 1880
  38. 38. Cyclographe construit avec des câbles Frank Gilbreth, 1912
  39. 39. Art et mouvement
  40. 40. Les formes apparaissent à côté ou se superposent Marcel Duchamp, Nu descendant un escalier, 1912
  41. 41. La forme du mouvement devient un objet expressif Paul Klee, Blumen Mythos, 1918
  42. 42. Abstraction et symbolisme des formes Wassily Kandinsky, Composition VIII, 1923
  43. 43. Techniques de traitement d’images et vidéo
  44. 44. Edge Detection Image Enhancement Image Restoration Image Segmentation Image Synthesis Image Transformations assemblying deconvolving denoising detecting (contours, ridge) exporting extracting filtering flipping generating measuring quantifying rotating scaling segmenting (binarization) sharpening smoothing tracking translating Techniques communes
  45. 45. Video segmentation Video Object Segmentation with Shortest Path Zhang, Zao & Cao, 2012
  46. 46. Video summarization Video summarization using singular value decomposition Gong & Liu, 2000
  47. 47. Video cubes Fels & Mase, 1999
  48. 48. Color / Motion Amplification Rubinstein, Freeman, et. al., 2012 https://lambda.qrilab.com/site/
  49. 49. Infrared Reflectography, Art Institute of Chicago Pablo Picasso, “The old blind guitarist”, 1903
  50. 50. Utilisations contemporaines : cas de la média visualisation, du design spéculatif et interfaces graphiques
  51. 51. I OM Approche aux images numériques
  52. 52. Approche aux images numériques Une ou plusieurs fichiers d’images numériques Logiciels, Codes, Algorithmes Design/art spéculatif, Interfaces graphiques, Données descriptives
  53. 53. Approche aux images numériques I OM Fichiers images Séquences vidéo Live streaming Modèles 3D Données Images 2D Modèles 3D Interfaces graphiques Séquences animées Prototypes Outils de théorisation Structures de données Algorithmes Codes Logiciels Machines rhétoriques M O
  54. 54. • Que font les logiciels aux images ? • Comment les images influencent-elles la culture ? Questions et problématiques
  55. 55. • Que font les logiciels aux images ? • Nouveaux modèles de représentation ? • Nouveaux procédés issus des SHS ? • Nouvelles interfaces graphiques ? • Visualisation spéculative ? • Comment les images influencent-elles la culture ? • Esthétique du numérique ? • Nouveaux modèles d’enseignement ? • Archéologie des médias ? • Modélisation culturelle des données ? • Transformations des aspects sémiotiques ? • Problèmes matériels et historiques ? Questions et problématiques
  56. 56. • Notion introduite en 2005 par la Software Studies Initiative • Analyse de média visuels à travers des médias visuels • Emploie : analytique visuelle et traitement numérique d’images • Construction des espaces visuels des données • Quelques modèles : Image Averaging, Mosaicing, Slicing, Plotting, Meshing Média Visualisation
  57. 57. Image Averaging du clip vidéo Smells Like Teen Spirit Musique : Nirvana. Réalisateur : S. Bayer, 1991 E. Reyes, 2013
  58. 58. Image Mosaic du clip vidéo Smells Like Teen Spirit E. Reyes, 2013
  59. 59. Vidéo-clip Come As You Are Vue orthogonale des photogrammes
  60. 60. Image Slicing de plusieurs clip vidéos de Nirvana Réalisateurs: S. Bayer and K. Kerslake, 1991-1992 E. Reyes, 2013
  61. 61. Interactive Explorations Hybrid Media Visualization, E. Reyes, 2013
  62. 62. Carte réseau avec images E. Reyes, 2013
  63. 63. 203 paintings by Paul Klee Interactive visualization, E. Reyes, 2015 http://ereyes.net/kleeviz/
  64. 64. 203 paintings by Paul Klee Interactive visualization, E. Reyes, 2015 http://ereyes.net/kleeviz/
  65. 65. Image Plot of the 2000 Rock Albums Data from AllMusic.com, E. Reyes, 2013
  66. 66. Experimental Media Visualizations E. Reyes, 2014
  67. 67. as
  68. 68. motion structures
  69. 69. VFX in the Film Inception (Nolan, 2010) E. Reyes, 2011
  70. 70. Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011
  71. 71. Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011
  72. 72. Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011
  73. 73. Charles Csuri, Hummingbird, 1967 E. Reyes, 2011
  74. 74. Peter Weibel, Endless Sandwich, 1969 E. Reyes, 2011
  75. 75. Bill Viola, Acceptance, 2008 E. Reyes, 2011
  76. 76. Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011
  77. 77. 3D Print of Motion Structure E. Reyes, 2011
  78. 78. J’ai extrait 200 captures d’écran de Google, de 1998 et 2015 J’ai produit un modèle 3D comme une image texture [ Dondero & Fontanille, 2012 ] Le dispositifs de visualisation permet d’observer des traces évolutives, mais manque de repères pour compléter son iconisation dans la temporalité [ injection par sémiotiques extérieures [Klinkenberg, 1996] ] GoogleViz
  79. 79. Texture dans un hypercube Fait avec Processing 3.0
  80. 80. Vidéo / séquence d’images Electric Sheep (Scott Draves)
  81. 81. Modèle 3D généré à partir d’une séquence d’images d’Electric Sheep (Scott Draves)
  82. 82. Visualisation spéculative dans un espace 3D généré d’une séquence d’images Fait avec ImageJ et MeshLab
  83. 83. Visualisation spéculative dans un espace 3D généré d’une séquence d’images Fait avec ImageJ et MeshLab
  84. 84. Visualisation spéculative dans un espace 3D généré d’une séquence d’images Fait avec ImageJ et MeshLab
  85. 85. • Enrichir la description en ajoutant des critères humaines et culturels ? • Critique des logiciels et procédures ? • Analyse des pratiques logiciels comme énonciation ? • Repenser la relation entre perception et monde naturel • Visualisation des logiciels et algorithmes de traitement d’images. • Simulation culturelles : tendances, événements, etc. ? • Description du contexte : ouvrir nouvelles voies à la découverte de productions ? Conclusion : apports des humanités
  86. 86. Merci de votre attention Everardo REYES Université Paris 8 / Lab. Paragraphe ereyes.net

×