Présentation publique à l'École Normale Supérieure de Paris le 22 octobre 2015.

1. Traitement d’images et
média visualisation
Everardo REYES
Université Paris 8 / Lab. Paragraphe

2. • Intro : L’image numérique et quelques problèmes
• Méthodes : cas de l’image en mouvement
• Utilisations : média visualisation, design
expérimental, images-interfaces
Plan

3. L’image numérique

4. Célèbre analyse de la publicité de pâtes Panzani
Roland Barthes, “Rhétorique de l’image”, 1964

5. Dénotation : ce que l’on voit
Connotation : la signification socio-culturelle
Sens de “italianité”

6. Analyse du tableau “Blumen Mythos” de Paul Klee (1918)
Felix Thürlemann, 1982

7. Relations entre plan de l’expression et
plan du contenu
Emploi la distinction entre signes
plastiques et signes figuratifs

8. Rappel sur Charles Peirce
représentation par connexion directe à l’objet
Indice
Symbole
représentation par convention
Icône
représentation par ressemblance

9. Icône Symbole
Indice
L’expression et le contenu des médias
peuvent être vus comme des indices,
icônes et symboles
Une photo, par exemple, peut ressembler
à son objet, mais le papier sur lequel
l’image a été fixée est une indice du
temps et des procédures techniques, elle
est symbole d’une époque historique,
économique, culturelle, politique.

10. Définition technique
“An image f(x, y) that has been discretized, where x and y are spatial
coordinates and the value of f at (x, y) is proportional to the
brightness of the scene at that point. It is represented by a series of
2D arrays, one for each color band… Each element of the array is
called pixel or pel, derived from the term “picture element”. Thus, a
digital image looks like this…”
[ Petrou & Petrou, 2010 ]

11. Images numériques : points de départ
Un médium instable : en plein développement
Dépendent des logiciels de traitement et outils de capture
Leur matière est quantifiée ➜ des données

12. • Ce qui est visible par l’humain n’est pas “tout”
Problèmes de perception visuelle

13. • Comment décrire une image ?
• Méta-données techniques : e.g. EXIF
• Méta-données visuelles
• Méta-données culturelles
Problèmes de description
File Name Canon.jpg
Camera Model Canon EOS DIGITAL REBEL
Date/Time 2003:12:04 06:46:52
Shooting Mode Bulb
Shutter Speed 4
Aperture 14.0
Metering Mode Center-weighted average
Exposure Compensation 0
ISO 100
Lens 18.0 - 55.0 mm
Focal Length 34.0 mm
Image Size8x8
Quality RAW
Flash No Flash
White Balance Auto
Focus Mode Manual Focus
Color Tone Normal
Color Space sRGB
File Size 2.6 kB
File Number 118-1861
Drive Mode Continuous Shooting
Owner Name Phil Harvey
Serial Number 0560018150

14. 390 propriétés visuelles quantifiées
Jeremy Douglass, SSI, 2011

15. • Méta-données culturelles :
• relations sémantiques
• relations pragmatiques
• relations textuelles : inter, hyper, meta, para
• subjectivité
• contexte de production
• inspirations
• interprétations
• réception
• expériences esthétiques
Problèmes de description

16. Problèmes de traitement
L’image un espace cartésien et dynamique :
Unités basiques : pixels : positionnés sur les axes X et Y
L’espace se rafraîchit à 60Hz
Tous les niveaux sont affectés :
Acquisition, traitement, affichage, impression
Images numériques ➜ régime de la pixélité :
Déterminées par la grille tramée [ raster grid ]
Ce n’est pas une propriété du numérique

17. Impression à demi-tons. 1850-1880

18. Balayage électronique [ tubes cathodiques ]. 1890-1920

19. Ceci n’est pas un pixel

20. Ceci n’est pas un pixel…
c’est la “trace” ou footprint
d’un filtre de reconstruction

21. Exemples de filtres de reconstruction
Alvy R. Smith, 1995

22. Problèmes d’échelle
• Échanges : le numérique comme format commun
• Augmentation : des données, appareils, dispositifs, pratiques
• Accès : à plusieurs logiciels et outils
• Combinaisons : médias et techniques des différentes disciplines

23. Méthodes :
cas de l’image en mouvement

24. • Niveau de l’image résultante/en expérimentation
• Niveau des logiciels
• Niveau des langages de programmation
• Niveau des périphériques et hardware
Les méthodes s’appliquent
à plusieurs niveaux…

25. Parcours historique : représentation
graphique du mouvement

26. Développement des mathématiques et géométrie
Euclid, The Elements, c. 300 BC

27. Première représentation du mouvement
Nicolas Oresme, Tractatus de configurationibus qualitatum et motuum, c. 1360

28. Géométrie + Algèbre = Plan cartésien
René Descartes, La Géométrie, 1637

29. Capture du mouvement

30. Myographe
Étienne-Jules Marey, La méthode graphique, 1876

31. Myographe
Étienne-Jules Marey, La méthode graphique, 1876

32. Séquence de photographes
Eadweard Muybridge, The Horse in motion, 1878

33. Abstraction de l’image
Étienne-Jules Marey, Movement, 1895

34. Chronophotographe
Étienne-Jules Marey, 1896

35. Capture précise du mouvement
Frank Gilbreth, cyclographs, 1912

36. Modèles du mouvement

37. Sculpture d’une mouette en mouvement
Étienne-Jules Marey, 1880

38. Cyclographe construit avec des câbles
Frank Gilbreth, 1912

39. Art et mouvement

40. Les formes apparaissent à côté ou se superposent
Marcel Duchamp, Nu descendant un escalier, 1912

41. La forme du mouvement devient un objet expressif
Paul Klee, Blumen Mythos, 1918

42. Abstraction et symbolisme des formes
Wassily Kandinsky, Composition VIII, 1923

43. Techniques de traitement
d’images et vidéo

44. Edge Detection
Image Enhancement
Image Restoration
Image Segmentation
Image Synthesis
Image Transformations
assemblying
deconvolving
denoising
detecting (contours, ridge)
exporting
extracting
filtering
flipping
generating
measuring
quantifying
rotating
scaling
segmenting (binarization)
sharpening
smoothing
tracking
translating
Techniques communes

45. Video segmentation
Video Object Segmentation with Shortest Path
Zhang, Zao & Cao, 2012

46. Video summarization
Video summarization using singular value decomposition
Gong & Liu, 2000

47. Video cubes
Fels & Mase, 1999

48. Color / Motion Amplification
Rubinstein, Freeman, et. al., 2012
https://lambda.qrilab.com/site/

49. Infrared Reflectography, Art Institute of Chicago
Pablo Picasso, “The old blind guitarist”, 1903

50. Utilisations contemporaines :
cas de la média visualisation,
du design spéculatif et interfaces
graphiques

51. I OM
Approche aux images numériques

52. Approche aux images numériques
Une ou plusieurs
fichiers d’images
numériques
Logiciels,
Codes,
Algorithmes
Design/art spéculatif,
Interfaces graphiques,
Données descriptives

53. Approche aux images numériques
I OM
Fichiers images
Séquences vidéo
Live streaming
Modèles 3D
Données
Images 2D
Modèles 3D
Interfaces graphiques
Séquences animées
Prototypes
Outils de théorisation
Structures de données
Algorithmes
Codes
Logiciels
Machines rhétoriques
M O

54. • Que font les logiciels aux images ?
• Comment les images influencent-elles la culture ?
Questions et problématiques

55. • Que font les logiciels aux images ?
• Nouveaux modèles de représentation ?
• Nouveaux procédés issus des SHS ?
• Nouvelles interfaces graphiques ?
• Visualisation spéculative ?
• Comment les images influencent-elles la culture ?
• Esthétique du numérique ?
• Nouveaux modèles d’enseignement ?
• Archéologie des médias ?
• Modélisation culturelle des données ?
• Transformations des aspects sémiotiques ?
• Problèmes matériels et historiques ?
Questions et problématiques

56. • Notion introduite en 2005 par la Software Studies Initiative
• Analyse de média visuels à travers des médias visuels
• Emploie : analytique visuelle et traitement numérique d’images
• Construction des espaces visuels des données
• Quelques modèles :
Image Averaging, Mosaicing, Slicing, Plotting, Meshing
Média Visualisation

57. Image Averaging du clip vidéo Smells Like Teen Spirit
Musique : Nirvana. Réalisateur : S. Bayer, 1991
E. Reyes, 2013

58. Image Mosaic du clip vidéo Smells Like Teen Spirit
E. Reyes, 2013

59. Vidéo-clip Come As You Are
Vue orthogonale des photogrammes

60. Image Slicing de plusieurs clip vidéos de Nirvana
Réalisateurs: S. Bayer and K. Kerslake, 1991-1992
E. Reyes, 2013

61. Interactive Explorations
Hybrid Media Visualization, E. Reyes, 2013

62. Carte réseau avec images
E. Reyes, 2013

64. 203 paintings by Paul Klee
Interactive visualization, E. Reyes, 2015
http://ereyes.net/kleeviz/

65. 203 paintings by Paul Klee
Interactive visualization, E. Reyes, 2015
http://ereyes.net/kleeviz/

66. Image Plot of the 2000 Rock Albums
Data from AllMusic.com, E. Reyes, 2013

67. Experimental Media Visualizations
E. Reyes, 2014

68. as

69. motion structures

70. VFX in the Film Inception (Nolan, 2010)
E. Reyes, 2011

71. Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011

72. Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011

73. Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011

74. Charles Csuri, Hummingbird, 1967
E. Reyes, 2011

75. Peter Weibel, Endless Sandwich, 1969
E. Reyes, 2011

76. Bill Viola, Acceptance, 2008
E. Reyes, 2011

77. Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011

78. 3D Print of Motion Structure
E. Reyes, 2011

79. J’ai extrait 200 captures d’écran de Google, de 1998 et 2015
J’ai produit un modèle 3D
comme une image texture [ Dondero & Fontanille, 2012 ]
Le dispositifs de visualisation permet d’observer des traces
évolutives, mais manque de repères pour compléter son
iconisation dans la temporalité [ injection par sémiotiques
extérieures [Klinkenberg, 1996] ]
GoogleViz

81. Texture dans un hypercube
Fait avec Processing 3.0

82. Vidéo / séquence d’images
Electric Sheep (Scott Draves)

83. Modèle 3D généré à partir d’une
séquence d’images d’Electric Sheep (Scott Draves)

84. Visualisation spéculative dans un
espace 3D généré d’une séquence d’images
Fait avec ImageJ et MeshLab

85. Visualisation spéculative dans un
espace 3D généré d’une séquence d’images
Fait avec ImageJ et MeshLab

86. Visualisation spéculative dans un
espace 3D généré d’une séquence d’images
Fait avec ImageJ et MeshLab

87. • Enrichir la description en ajoutant des critères humaines et culturels ?
• Critique des logiciels et procédures ?
• Analyse des pratiques logiciels comme énonciation ?
• Repenser la relation entre perception et monde naturel
• Visualisation des logiciels et algorithmes de traitement d’images.
• Simulation culturelles : tendances, événements, etc. ?
• Description du contexte : ouvrir nouvelles voies à la découverte de productions ?
Conclusion : apports des humanités

88. Merci de votre attention
Everardo REYES
Université Paris 8 / Lab. Paragraphe
ereyes.net