Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Visual recognition voor erfgoedcollecties:

Beeldherkenning voor erfgoed collecties: presentatie Informatie aan Zee 2019

  • Identifiez-vous pour voir les commentaires

  • Soyez le premier à aimer ceci

Visual recognition voor erfgoedcollecties:

  1. 1. ./DATABLE./DATABLE VR4CH Artificiële Intelligentie voor Cultureel Erfgoed: het gebruik van Visual Recognition Services Informatie aan Zee 20 september 2019 Dieter Suls (MoMu) - Henk Vanstappen (Datable)
  2. 2. ./DATABLE./DATABLE • Visual Recognition? • Innovatief partnerproject: VR4CH • Ontwikkelingsgericht erfgoedproject: VRS
  3. 3. ./DATABLE./DATABLE Visual Recognition
  4. 4. ./DATABLE
  5. 5. ./DATABLE advertising 99.8 black&white 99.9
  6. 6. ./DATABLE advertising 99.8 black&white 99.9 children 98.0 play 95.3
  7. 7. ./DATABLE advertising 99.8 black&white 99.9 children 98.0 play 95.3
  8. 8. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 children 98.0 play 95.3
  9. 9. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 children 98.0 play 95.3 age 12 95.3 age 11 98.3
  10. 10. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 emotion: happy 86.3 children 98.0 play 95.3 age 12 95.3 age 11 98.3 emotion: happy 84.2
  11. 11. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 emotion: happy 86.3 children 98.0 play 95.3 age 12 95.3 age 11 98.3
  12. 12. ./DATABLE
  13. 13. ./DATABLE Visual recognition: toepassingen • bewaking en toegangscontrole • medische beeldverwerking • navigatie (zelfsturende voertuigen) • productieprocessen • landbouw • suitable for web • ...
  14. 14. ./DATABLE AI: basics Training/test data Feature extraction Model Classifier Classified data Production data Evaluation
  15. 15. ./DATABLE VRS out of the box Training/test data Feature extraction Model Classifier Classified data Production data Evaluation REST API VRS
  16. 16. ./DATABLE VRS: training Training/test data Feature extraction Model Classifier Classified data Production data Evaluation REST API REST API VRS
  17. 17. ./DATABLE
  18. 18. ./DATABLE Visual Recognition Services
  19. 19. ./DATABLE./DATABLE Visual Recognition Services + no/low coding + cloud based + documentatie +/- kost +/- out of the box training - blackbox
  20. 20. ./DATABLE./DATABLE VR4CH - Visual Recognition for Cultural Heritage Innovatieve partnerprojecten call 2018
  21. 21. ./DATABLE VR4CH: onderzoeksvraag Zijn Visual Recognition Services bruikbaar voor metadata creatie in de cultureel erfgoedsector ? ● Wat is de kwaliteit van untrained VRS ? ● Is de kwaliteit van VRS meetbaar ? ● Mogelijke toepassingen ?
  22. 22. ./DATABLE Visual Recognition Services
  23. 23. ./DATABLE MoMu studiecollectie
  24. 24. ./DATABLE
  25. 25. ./DATABLE Kwantiteit VRS
  26. 26. ./DATABLE Kwaliteit VRS
  27. 27. ./DATABLE Kwaliteit: granulariteit
  28. 28. RESULTATEN Resultaten: Nastasia Vanderperren, onderzoek classificatie Huis van Alijn (Clarifai trained model)
  29. 29. ./DATABLE./DATABLE VR4CH: conclusies + sneller, goedkoper + andere soorten trefwoorden + veel nieuwe toepassingen mogelijk - veel ruis - niet even geschikt voor alle beeldmateriaal - vervangt menselijke registrator niet (helemaal)
  30. 30. ./DATABLE./DATABLE VRS - Operationalisering van beeldherkenning in de registratiepraktijk Projectsubsidie Cultureel erfgoedwerking
  31. 31. ./DATABLE./DATABLE VRS: onderzoeksvraag Hoe kan VRS praktisch ingezet worden in de registratiepraktijk? • 4 use cases • 4 content partners • end-to-end oplossing
  32. 32. ./DATABLE
  33. 33. ./DATABLE Erfgoedcel Brugge Collectie Beeldbank Brugge Doel Meer foto’s volgens bestaande categorieën beschikbaar maken Methode - Tagging door Clarifai - Tags manueel aan Categorieën toegekend - Classificatie van foto’s in post-processing - Verwerkt tot CSV Resultaat 100.000 foto’s geclassificeerd >95% correct
  34. 34. ./DATABLE
  35. 35. ./DATABLE
  36. 36. ./DATABLE
  37. 37. ./DATABLE FOMU Collectie Suzy Embo: post-Cobra beweging Doel Personen doorzoekbaar (face recognition) Methode - Cropping en grouping faces (Python) - Training Microsoft Vision model - Tagging beeldcollectie - Verwerking tags tot Adlib import file Resultaat XXX foto’s geclassificeerd ? % correct
  38. 38. ./DATABLE
  39. 39. ./DATABLE
  40. 40. ./DATABLE
  41. 41. ./DATABLE MOMU Collectie Documentair beeldmateriaal Doel Beelden filteren of sorteren op kwaliteit Methode - Harvesting beelden uit ResourceSpace - Kwalificatie door Everypixel - verwerking tot CSV met score 0-5 - import CSV in DAMS Resultaat 5558 foto’s gelabeld ‘redelijk’ correct
  42. 42. ./DATABLE
  43. 43. ./DATABLE
  44. 44. ./DATABLE Netwerk oorlogsbronnen Collectie Arolsen archives: archief van gedeporteerden WOII Doel Verschillende types formulieren classificeren Methode - Webscraping beeldarchief - Model getrained met Clarifai GUI, - Classificatie met Clarifai API, - Verwerkt tot CSV + import Resultaat Classificatie van 125.474 formulieren in 4 types (100% correct)
  45. 45. ./DATABLE./DATABLE Netwerk oorlogsbronnen
  46. 46. ./DATABLE Conclusies ● toegankelijke, betaalbare technologie ● kwaliteit ○ training vaak meerwaarde ○ minder geschikt voor grafisch beeldmateriaal ○ model afstemmen op use case ● mens vs. machine ○ afhankelijk van eisen vangst/precisie ○ efficiënter voor grote volumes ○ mens & machine
  47. 47. ./DATABLE Conclusies: meer use cases • ontsluiten op collectieniveau • onderscheiden beeldtype (foto, tekening, tekst) • voorbereiden collectieregistratie • combinatie crowdtagging • herkennen landmarks • tags omzetten naar Linked Data • ...
  48. 48. ./DATABLE./DATABLE dank aan Alexander Derveaux (FOMU) Ann Deckers (FOMU) Dieter Suls (MOMU) Katrien Steelandt (EGC Brugge) Lizzy Jongma (NOB) Michiel Demaeght (FOMU) Nastasia Vanderperren (PACKED) Tobias Hendrickx (MOMU)
  49. 49. ./DATABLE Q&A dieter.suls@momu.be henk@datable.be
  50. 50. ./DATABLE VR4CH/VRS technology stack tranining & classification Clarifai/Azure/GVision data processing KNIME data MongoDB validation Google Sheets images webserver image & metadata Omeka/Picturae/ ResourceSpace metadata Adlib/TMS CSV/XML FTP viewer javascript FTP

×