Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Stereoscopic Style Transfer AIStereoscopic Style Transfer AI
Art is not what you see?Art is not what you see?
Edgar DegasEdgar Degas
@Mar nFoertsch @originalone1984
What is this all about?What is this all about?
@Mar nFoertsch @originalone1984
Hardware Hacking TeamHardware Hacking Team
TNG Technology Consulting GmbHTNG Technology Consulting GmbH
Jonas Mayer Thomas...
AgendaAgenda
Introduc on
Deep Learning in a Nutshell
Style Transfer
Code & Technology
RetrospectionRetrospection
Augmented Rift (2015)Augmented Rift (2015)
@Mar nFoertsch @originalone1984
RetrospectionRetrospection
Augmented Rift (2015)Augmented Rift (2015)
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Style TransferStyle Transfer
@Mar nFoertsch @originalone1984
1. Von Vincent van Gogh - bgEuwDxel9...
IntroductionIntroduction
Style TransferStyle Transfer
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Style TransferStyle Transfer
@Mar nFoertsch @originalone1984
1. Edvard Munch - WebMuseum at ibibl...
IntroductionIntroduction
Style TransferStyle Transfer
@Mar nFoertsch @originalone1984
1. Pablo Picasso, Frau mit grünem Hu...
IntroductionIntroduction
DeepArt.ioDeepArt.io
 
@Mar nFoertsch @originalone1984
IntroductionIntroduction
How Paintings workHow Paintings work
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
1.
2.
By B...
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
1. By Jaco...
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
1. By Jaco...
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
 
@Mar nFoertsch @originalone1984
1. https...
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
IntroductionIntroduction
Deep Learning in a NutshellDeep Learning in a Nutshell
@Mar nFoertsch @originalone1984
Style TransferStyle Transfer
Offline Role Play Game (Content Image)Offline Role Play Game (Content Image)
@Mar nFoertsch @...
Style TransferStyle Transfer
Offline Role Play Game (Style Image)Offline Role Play Game (Style Image)
@Mar nFoertsch @orig...
Technical ImplementationTechnical Implementation
@Mar nFoertsch @originalone1984
Technical ImplementationTechnical Implementation
Style Transfer WorkflowStyle Transfer Workflow
@Mar nFoertsch @originalon...
Technical ImplementationTechnical Implementation
Style Transfer Workflow by Gatys et al. (2015)Style Transfer Workflow by ...
Technical ImplementationTechnical Implementation
VGG19 WorkflowVGG19 Workflow
@Mar nFoertsch @originalone1984
Technical ImplementationTechnical Implementation
VGG19 - Live Demo!VGG19 - Live Demo!
@Mar nFoertsch @originalone1984
Technical ImplementationTechnical Implementation
Calculating Content Loss with VGG19Calculating Content Loss with VGG19
@M...
Technical ImplementationTechnical Implementation
Calculating Content Loss with VGG19Calculating Content Loss with VGG19
@M...
Technical ImplementationTechnical Implementation
Calculating Style Loss with VGG19Calculating Style Loss with VGG19
@Mar n...
Technical ImplementationTechnical Implementation
Problems are Time Consumption and NondeterminismProblems are Time Consump...
Technical ImplementationTechnical Implementation
Fast Style Transfer Workflow by Ulyanov et al. (2016)Fast Style Transfer ...
Code & TechnologyCode & Technology
Architecture of the CNNArchitecture of the CNN
@Mar nFoertsch @originalone1984
Code & TechnologyCode & Technology
Temporal Style Transfer for VideosTemporal Style Transfer for Videos
@Mar nFoertsch @or...
Training DatasetsTraining Datasets
COCO Common Objects in ContextCOCO Common Objects in Context
@Mar nFoertsch @originalon...
Demonstration TimeDemonstration Time
Realtime Style TransferRealtime Style Transfer
@Mar nFoertsch @originalone1984
1. htt...
Code & TechnologyCode & Technology
Dell VisorDell Visor
@Mar nFoertsch @originalone1984
Code & TechnologyCode & Technology
Architecture OverviewArchitecture Overview
@Mar nFoertsch @originalone1984
Code & TechnologyCode & Technology
TrainingTraining
@Mar nFoertsch @originalone1984
Experiment TimeExperiment Time
Let's do something crazy!Let's do something crazy!
@Mar nFoertsch @originalone1984
Experiment TimeExperiment Time
Let's do something crazy!Let's do something crazy!
@Mar nFoertsch @originalone1984
Experiment TimeExperiment Time
Let's do something crazy!Let's do something crazy!
@Mar nFoertsch @originalone1984
Martin Förtsch, Thomas Endres - Stereoscopic Style Transfer AI - Codemotion Amsterdam 2019
Martin Förtsch, Thomas Endres - Stereoscopic Style Transfer AI - Codemotion Amsterdam 2019
Prochain SlideShare
Chargement dans…5
×

Martin Förtsch, Thomas Endres - Stereoscopic Style Transfer AI - Codemotion Amsterdam 2019

67 vues

Publié le

What if Virtual Reality glasses could transform your environment into a three-dimensional work of art in realtime in the style of a painting from Van Gogh? One of the many interesting developments in the field of Deep Learning is the so called "Style Transfer". It describes a possibility to create a patchwork (or pastiche) from two images. While one of these images defines the the artistic style of the result picture, the other one is used for extracting the image content. A team from TNG Technology Consulting managed to build an AI showcase using OpenCV and Tensorflow to realize such goggles.

Publié dans : Technologie
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Martin Förtsch, Thomas Endres - Stereoscopic Style Transfer AI - Codemotion Amsterdam 2019

  1. 1. Stereoscopic Style Transfer AIStereoscopic Style Transfer AI Art is not what you see?Art is not what you see?
  2. 2. Edgar DegasEdgar Degas @Mar nFoertsch @originalone1984
  3. 3. What is this all about?What is this all about? @Mar nFoertsch @originalone1984
  4. 4. Hardware Hacking TeamHardware Hacking Team TNG Technology Consulting GmbHTNG Technology Consulting GmbH Jonas Mayer Thomas Endres Martin Förtsch Thomas Reifenberger Florian Gather Markus Spanier Christoph Bergemann Holger Frydrich Mathias Arens Andreas Würl Mirco Michel Leopold Kellers
  5. 5. AgendaAgenda Introduc on Deep Learning in a Nutshell Style Transfer Code & Technology
  6. 6. RetrospectionRetrospection Augmented Rift (2015)Augmented Rift (2015) @Mar nFoertsch @originalone1984
  7. 7. RetrospectionRetrospection Augmented Rift (2015)Augmented Rift (2015) @Mar nFoertsch @originalone1984
  8. 8. IntroductionIntroduction Style TransferStyle Transfer @Mar nFoertsch @originalone1984 1. Von Vincent van Gogh - bgEuwDxel93-Pg at Google Cultural Institute, zoom level maximum, Gemeinfrei, https://commons.wikimedia.org/w/index.php?curid=25498286 2. Photo by Martin Förtsch, "Window to the World", Mesa Arch, Canyonlands, 2015
  9. 9. IntroductionIntroduction Style TransferStyle Transfer @Mar nFoertsch @originalone1984
  10. 10. IntroductionIntroduction Style TransferStyle Transfer @Mar nFoertsch @originalone1984 1. Edvard Munch - WebMuseum at ibiblioPage URL: http://www.ibiblio.org/wm/paint/auth/munch/munch.scream.jpg, Gemeinfrei, https://commons.wikimedia.org/w/index.php?curid=37610298
  11. 11. IntroductionIntroduction Style TransferStyle Transfer @Mar nFoertsch @originalone1984 1. Pablo Picasso, Frau mit grünem Hut, https://www.albertina.at/site/assets/files/1456/9_pablo_picasso_-_frau_mit_gruenem_hut.720x0.jpg
  12. 12. IntroductionIntroduction DeepArt.ioDeepArt.io   @Mar nFoertsch @originalone1984
  13. 13. IntroductionIntroduction How Paintings workHow Paintings work @Mar nFoertsch @originalone1984
  14. 14. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984 1. 2. By BruceBlaus - Own work, CC BY 3.0, https://commons.wikimedia.org/w/index.php?curid=28761830 By Original by en:User:Chris 73, updated by en:User:Diberri, converted to SVG by tiZom - Own work, CC BY-SA 3.0
  15. 15. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  16. 16. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  17. 17. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  18. 18. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  19. 19. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  20. 20. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  21. 21. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  22. 22. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  23. 23. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  24. 24. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984 1. By JacoTen [CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0)], from Wikimedia Commons
  25. 25. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984 1. By JacoTen [CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0)], from Wikimedia Commons
  26. 26. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell   @Mar nFoertsch @originalone1984 1. https://medium.com/@arvind_70185/gradient-descent-for-machine-learning-52ce08c96296
  27. 27. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  28. 28. IntroductionIntroduction Deep Learning in a NutshellDeep Learning in a Nutshell @Mar nFoertsch @originalone1984
  29. 29. Style TransferStyle Transfer Offline Role Play Game (Content Image)Offline Role Play Game (Content Image) @Mar nFoertsch @originalone1984 1. Von A.Savin (Wikimedia Commons · WikiPhotoSpace) - Eigenes Werk, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=21174383
  30. 30. Style TransferStyle Transfer Offline Role Play Game (Style Image)Offline Role Play Game (Style Image) @Mar nFoertsch @originalone1984
  31. 31. Technical ImplementationTechnical Implementation @Mar nFoertsch @originalone1984
  32. 32. Technical ImplementationTechnical Implementation Style Transfer WorkflowStyle Transfer Workflow @Mar nFoertsch @originalone1984
  33. 33. Technical ImplementationTechnical Implementation Style Transfer Workflow by Gatys et al. (2015)Style Transfer Workflow by Gatys et al. (2015) @Mar nFoertsch @originalone1984
  34. 34. Technical ImplementationTechnical Implementation VGG19 WorkflowVGG19 Workflow @Mar nFoertsch @originalone1984
  35. 35. Technical ImplementationTechnical Implementation VGG19 - Live Demo!VGG19 - Live Demo! @Mar nFoertsch @originalone1984
  36. 36. Technical ImplementationTechnical Implementation Calculating Content Loss with VGG19Calculating Content Loss with VGG19 @Mar nFoertsch @originalone1984
  37. 37. Technical ImplementationTechnical Implementation Calculating Content Loss with VGG19Calculating Content Loss with VGG19 @Mar nFoertsch @originalone1984
  38. 38. Technical ImplementationTechnical Implementation Calculating Style Loss with VGG19Calculating Style Loss with VGG19 @Mar nFoertsch @originalone1984
  39. 39. Technical ImplementationTechnical Implementation Problems are Time Consumption and NondeterminismProblems are Time Consumption and Nondeterminism @Mar nFoertsch @originalone1984
  40. 40. Technical ImplementationTechnical Implementation Fast Style Transfer Workflow by Ulyanov et al. (2016)Fast Style Transfer Workflow by Ulyanov et al. (2016) @Mar nFoertsch @originalone1984
  41. 41. Code & TechnologyCode & Technology Architecture of the CNNArchitecture of the CNN @Mar nFoertsch @originalone1984
  42. 42. Code & TechnologyCode & Technology Temporal Style Transfer for VideosTemporal Style Transfer for Videos @Mar nFoertsch @originalone1984 1. https://www.youtube.com/watch?v=pW6nZXeWlGM
  43. 43. Training DatasetsTraining Datasets COCO Common Objects in ContextCOCO Common Objects in Context @Mar nFoertsch @originalone1984
  44. 44. Demonstration TimeDemonstration Time Realtime Style TransferRealtime Style Transfer @Mar nFoertsch @originalone1984 1. https://medium.com/data-science-group-iitr/artistic-style-transfer-with-convolutional-neural-network-7ce2476039fd
  45. 45. Code & TechnologyCode & Technology Dell VisorDell Visor @Mar nFoertsch @originalone1984
  46. 46. Code & TechnologyCode & Technology Architecture OverviewArchitecture Overview @Mar nFoertsch @originalone1984
  47. 47. Code & TechnologyCode & Technology TrainingTraining @Mar nFoertsch @originalone1984
  48. 48. Experiment TimeExperiment Time Let's do something crazy!Let's do something crazy! @Mar nFoertsch @originalone1984
  49. 49. Experiment TimeExperiment Time Let's do something crazy!Let's do something crazy! @Mar nFoertsch @originalone1984
  50. 50. Experiment TimeExperiment Time Let's do something crazy!Let's do something crazy! @Mar nFoertsch @originalone1984

×