Traitement d’images et média visualisation

388 vues

Publié le

Présentation publique à l'École Normale Supérieure de Paris le 22 octobre 2015.

Publié dans : Formation
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
388
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
8
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Traitement d’images et média visualisation

  1. 1. Traitement d’images et média visualisation Everardo REYES Université Paris 8 / Lab. Paragraphe
  2. 2. • Intro : L’image numérique et quelques problèmes • Méthodes : cas de l’image en mouvement • Utilisations : média visualisation, design expérimental, images-interfaces Plan
  3. 3. L’image numérique
  4. 4. Célèbre analyse de la publicité de pâtes Panzani Roland Barthes, “Rhétorique de l’image”, 1964
  5. 5. Dénotation : ce que l’on voit Connotation : la signification socio-culturelle Sens de “italianité”
  6. 6. Analyse du tableau “Blumen Mythos” de Paul Klee (1918) Felix Thürlemann, 1982
  7. 7. Relations entre plan de l’expression et plan du contenu Emploi la distinction entre signes plastiques et signes figuratifs
  8. 8. Rappel sur Charles Peirce représentation par connexion directe à l’objet Indice Symbole représentation par convention Icône représentation par ressemblance
  9. 9. Icône Symbole Indice L’expression et le contenu des médias peuvent être vus comme des indices, icônes et symboles Une photo, par exemple, peut ressembler à son objet, mais le papier sur lequel l’image a été fixée est une indice du temps et des procédures techniques, elle est symbole d’une époque historique, économique, culturelle, politique.
  10. 10. Définition technique “An image f(x, y) that has been discretized, where x and y are spatial coordinates and the value of f at (x, y) is proportional to the brightness of the scene at that point. It is represented by a series of 2D arrays, one for each color band… Each element of the array is called pixel or pel, derived from the term “picture element”. Thus, a digital image looks like this…” [ Petrou & Petrou, 2010 ]
  11. 11. Images numériques : points de départ Un médium instable : en plein développement Dépendent des logiciels de traitement et outils de capture Leur matière est quantifiée ➜ des données
  12. 12. • Ce qui est visible par l’humain n’est pas “tout” Problèmes de perception visuelle
  13. 13. • Comment décrire une image ? • Méta-données techniques : e.g. EXIF • Méta-données visuelles • Méta-données culturelles Problèmes de description File Name Canon.jpg Camera Model Canon EOS DIGITAL REBEL Date/Time 2003:12:04 06:46:52 Shooting Mode Bulb Shutter Speed 4 Aperture 14.0 Metering Mode Center-weighted average Exposure Compensation 0 ISO 100 Lens 18.0 - 55.0 mm Focal Length 34.0 mm Image Size8x8 Quality RAW Flash No Flash White Balance Auto Focus Mode Manual Focus Color Tone Normal Color Space sRGB File Size 2.6 kB File Number 118-1861 Drive Mode Continuous Shooting Owner Name Phil Harvey Serial Number 0560018150
  14. 14. 390 propriétés visuelles quantifiées Jeremy Douglass, SSI, 2011
  15. 15. • Méta-données culturelles : • relations sémantiques • relations pragmatiques • relations textuelles : inter, hyper, meta, para • subjectivité • contexte de production • inspirations • interprétations • réception • expériences esthétiques Problèmes de description
  16. 16. Problèmes de traitement L’image un espace cartésien et dynamique : Unités basiques : pixels : positionnés sur les axes X et Y L’espace se rafraîchit à 60Hz Tous les niveaux sont affectés : Acquisition, traitement, affichage, impression Images numériques ➜ régime de la pixélité : Déterminées par la grille tramée [ raster grid ] Ce n’est pas une propriété du numérique
  17. 17. Impression à demi-tons. 1850-1880
  18. 18. Balayage électronique [ tubes cathodiques ]. 1890-1920
  19. 19. Ceci n’est pas un pixel
  20. 20. Ceci n’est pas un pixel… c’est la “trace” ou footprint d’un filtre de reconstruction
  21. 21. Exemples de filtres de reconstruction Alvy R. Smith, 1995
  22. 22. Problèmes d’échelle • Échanges : le numérique comme format commun • Augmentation : des données, appareils, dispositifs, pratiques • Accès : à plusieurs logiciels et outils • Combinaisons : médias et techniques des différentes disciplines
  23. 23. Méthodes : cas de l’image en mouvement
  24. 24. • Niveau de l’image résultante/en expérimentation • Niveau des logiciels • Niveau des langages de programmation • Niveau des périphériques et hardware Les méthodes s’appliquent à plusieurs niveaux…
  25. 25. Parcours historique : représentation graphique du mouvement
  26. 26. Développement des mathématiques et géométrie Euclid, The Elements, c. 300 BC
  27. 27. Première représentation du mouvement Nicolas Oresme, Tractatus de configurationibus qualitatum et motuum, c. 1360
  28. 28. Géométrie + Algèbre = Plan cartésien René Descartes, La Géométrie, 1637
  29. 29. Capture du mouvement
  30. 30. Myographe Étienne-Jules Marey, La méthode graphique, 1876
  31. 31. Myographe Étienne-Jules Marey, La méthode graphique, 1876
  32. 32. Séquence de photographes Eadweard Muybridge, The Horse in motion, 1878
  33. 33. Abstraction de l’image Étienne-Jules Marey, Movement, 1895
  34. 34. Chronophotographe Étienne-Jules Marey, 1896
  35. 35. Capture précise du mouvement Frank Gilbreth, cyclographs, 1912
  36. 36. Modèles du mouvement
  37. 37. Sculpture d’une mouette en mouvement Étienne-Jules Marey, 1880
  38. 38. Cyclographe construit avec des câbles Frank Gilbreth, 1912
  39. 39. Art et mouvement
  40. 40. Les formes apparaissent à côté ou se superposent Marcel Duchamp, Nu descendant un escalier, 1912
  41. 41. La forme du mouvement devient un objet expressif Paul Klee, Blumen Mythos, 1918
  42. 42. Abstraction et symbolisme des formes Wassily Kandinsky, Composition VIII, 1923
  43. 43. Techniques de traitement d’images et vidéo
  44. 44. Edge Detection Image Enhancement Image Restoration Image Segmentation Image Synthesis Image Transformations assemblying deconvolving denoising detecting (contours, ridge) exporting extracting filtering flipping generating measuring quantifying rotating scaling segmenting (binarization) sharpening smoothing tracking translating Techniques communes
  45. 45. Video segmentation Video Object Segmentation with Shortest Path Zhang, Zao & Cao, 2012
  46. 46. Video summarization Video summarization using singular value decomposition Gong & Liu, 2000
  47. 47. Video cubes Fels & Mase, 1999
  48. 48. Color / Motion Amplification Rubinstein, Freeman, et. al., 2012 https://lambda.qrilab.com/site/
  49. 49. Infrared Reflectography, Art Institute of Chicago Pablo Picasso, “The old blind guitarist”, 1903
  50. 50. Utilisations contemporaines : cas de la média visualisation, du design spéculatif et interfaces graphiques
  51. 51. I OM Approche aux images numériques
  52. 52. Approche aux images numériques Une ou plusieurs fichiers d’images numériques Logiciels, Codes, Algorithmes Design/art spéculatif, Interfaces graphiques, Données descriptives
  53. 53. Approche aux images numériques I OM Fichiers images Séquences vidéo Live streaming Modèles 3D Données Images 2D Modèles 3D Interfaces graphiques Séquences animées Prototypes Outils de théorisation Structures de données Algorithmes Codes Logiciels Machines rhétoriques M O
  54. 54. • Que font les logiciels aux images ? • Comment les images influencent-elles la culture ? Questions et problématiques
  55. 55. • Que font les logiciels aux images ? • Nouveaux modèles de représentation ? • Nouveaux procédés issus des SHS ? • Nouvelles interfaces graphiques ? • Visualisation spéculative ? • Comment les images influencent-elles la culture ? • Esthétique du numérique ? • Nouveaux modèles d’enseignement ? • Archéologie des médias ? • Modélisation culturelle des données ? • Transformations des aspects sémiotiques ? • Problèmes matériels et historiques ? Questions et problématiques
  56. 56. • Notion introduite en 2005 par la Software Studies Initiative • Analyse de média visuels à travers des médias visuels • Emploie : analytique visuelle et traitement numérique d’images • Construction des espaces visuels des données • Quelques modèles : Image Averaging, Mosaicing, Slicing, Plotting, Meshing Média Visualisation
  57. 57. Image Averaging du clip vidéo Smells Like Teen Spirit Musique : Nirvana. Réalisateur : S. Bayer, 1991 E. Reyes, 2013
  58. 58. Image Mosaic du clip vidéo Smells Like Teen Spirit E. Reyes, 2013
  59. 59. Vidéo-clip Come As You Are Vue orthogonale des photogrammes
  60. 60. Image Slicing de plusieurs clip vidéos de Nirvana Réalisateurs: S. Bayer and K. Kerslake, 1991-1992 E. Reyes, 2013
  61. 61. Interactive Explorations Hybrid Media Visualization, E. Reyes, 2013
  62. 62. Carte réseau avec images E. Reyes, 2013
  63. 63. 203 paintings by Paul Klee Interactive visualization, E. Reyes, 2015 http://ereyes.net/kleeviz/
  64. 64. 203 paintings by Paul Klee Interactive visualization, E. Reyes, 2015 http://ereyes.net/kleeviz/
  65. 65. Image Plot of the 2000 Rock Albums Data from AllMusic.com, E. Reyes, 2013
  66. 66. Experimental Media Visualizations E. Reyes, 2014
  67. 67. as
  68. 68. motion structures
  69. 69. VFX in the Film Inception (Nolan, 2010) E. Reyes, 2011
  70. 70. Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011
  71. 71. Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011
  72. 72. Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011
  73. 73. Charles Csuri, Hummingbird, 1967 E. Reyes, 2011
  74. 74. Peter Weibel, Endless Sandwich, 1969 E. Reyes, 2011
  75. 75. Bill Viola, Acceptance, 2008 E. Reyes, 2011
  76. 76. Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011
  77. 77. 3D Print of Motion Structure E. Reyes, 2011
  78. 78. J’ai extrait 200 captures d’écran de Google, de 1998 et 2015 J’ai produit un modèle 3D comme une image texture [ Dondero & Fontanille, 2012 ] Le dispositifs de visualisation permet d’observer des traces évolutives, mais manque de repères pour compléter son iconisation dans la temporalité [ injection par sémiotiques extérieures [Klinkenberg, 1996] ] GoogleViz
  79. 79. Texture dans un hypercube Fait avec Processing 3.0
  80. 80. Vidéo / séquence d’images Electric Sheep (Scott Draves)
  81. 81. Modèle 3D généré à partir d’une séquence d’images d’Electric Sheep (Scott Draves)
  82. 82. Visualisation spéculative dans un espace 3D généré d’une séquence d’images Fait avec ImageJ et MeshLab
  83. 83. Visualisation spéculative dans un espace 3D généré d’une séquence d’images Fait avec ImageJ et MeshLab
  84. 84. Visualisation spéculative dans un espace 3D généré d’une séquence d’images Fait avec ImageJ et MeshLab
  85. 85. • Enrichir la description en ajoutant des critères humaines et culturels ? • Critique des logiciels et procédures ? • Analyse des pratiques logiciels comme énonciation ? • Repenser la relation entre perception et monde naturel • Visualisation des logiciels et algorithmes de traitement d’images. • Simulation culturelles : tendances, événements, etc. ? • Description du contexte : ouvrir nouvelles voies à la découverte de productions ? Conclusion : apports des humanités
  86. 86. Merci de votre attention Everardo REYES Université Paris 8 / Lab. Paragraphe ereyes.net

×