1.
./DATABLE./DATABLE
VR4CH
Artificiële Intelligentie voor Cultureel Erfgoed:
het gebruik van Visual Recognition Services
Informatie aan Zee
20 september 2019
Dieter Suls (MoMu) - Henk Vanstappen (Datable)

2.
./DATABLE./DATABLE
• Visual Recognition?
• Innovatief partnerproject: VR4CH
• Ontwikkelingsgericht erfgoedproject: VRS

3.
./DATABLE./DATABLE
Visual Recognition

4.
./DATABLE

5.
./DATABLE
advertising 99.8
black&white 99.9

6.
./DATABLE
advertising 99.8
black&white 99.9
children 98.0
play 95.3

7.
./DATABLE
advertising 99.8
black&white 99.9
children 98.0
play 95.3

8.
./DATABLE
advertising 99.8
viewmaster 86.3
boy 95.3
girl 98.3
black&white 99.9
children 98.0
play 95.3

9.
./DATABLE
advertising 99.8
viewmaster 86.3
boy 95.3
girl 98.3
black&white 99.9
children 98.0
play 95.3
age 12 95.3
age 11 98.3

10.
./DATABLE
advertising 99.8
viewmaster 86.3
boy 95.3
girl 98.3
black&white 99.9
emotion: happy 86.3
children 98.0
play 95.3
age 12 95.3
age 11 98.3
emotion: happy 84.2

11.
./DATABLE
advertising 99.8
viewmaster 86.3
boy 95.3
girl 98.3
black&white 99.9
emotion: happy 86.3
children 98.0
play 95.3
age 12 95.3
age 11 98.3

12.
./DATABLE

13.
./DATABLE
Visual recognition: toepassingen
• bewaking en toegangscontrole
• medische beeldverwerking
• navigatie (zelfsturende voertuigen)
• productieprocessen
• landbouw
• suitable for web
• ...

14.
./DATABLE
AI: basics
Training/test
data
Feature
extraction
Model
Classifier
Classified data
Production
data
Evaluation

15.
./DATABLE
VRS out of the box
Training/test
data
Feature
extraction
Model
Classifier
Classified data
Production
data
Evaluation
REST
API
VRS

16.
./DATABLE
VRS: training
Training/test
data
Feature
extraction
Model
Classifier
Classified data
Production
data
Evaluation
REST
API
REST
API
VRS

17.
./DATABLE

18.
./DATABLE
Visual Recognition Services

19.
./DATABLE./DATABLE
Visual Recognition Services
+ no/low coding
+ cloud based
+ documentatie
+/- kost
+/- out of the box training
- blackbox

20.
./DATABLE./DATABLE
VR4CH -
Visual Recognition for Cultural Heritage
Innovatieve partnerprojecten call 2018

21.
./DATABLE
VR4CH: onderzoeksvraag
Zijn Visual Recognition Services bruikbaar
voor metadata creatie in de cultureel
erfgoedsector ?
● Wat is de kwaliteit van untrained VRS ?
● Is de kwaliteit van VRS meetbaar ?
● Mogelijke toepassingen ?

22.
./DATABLE
Visual Recognition Services

23.
./DATABLE
MoMu studiecollectie

24.
./DATABLE

25.
./DATABLE
Kwantiteit VRS

26.
./DATABLE
Kwaliteit VRS

27.
./DATABLE
Kwaliteit: granulariteit

28.
RESULTATEN
Resultaten:
Nastasia Vanderperren,
onderzoek classificatie
Huis van Alijn
(Clarifai trained model)

29.
./DATABLE./DATABLE
VR4CH: conclusies
+ sneller, goedkoper
+ andere soorten trefwoorden
+ veel nieuwe toepassingen mogelijk
- veel ruis
- niet even geschikt voor alle beeldmateriaal
- vervangt menselijke registrator niet
(helemaal)

30.
./DATABLE./DATABLE
VRS - Operationalisering van
beeldherkenning in de registratiepraktijk
Projectsubsidie Cultureel erfgoedwerking

31.
./DATABLE./DATABLE
VRS: onderzoeksvraag
Hoe kan VRS praktisch ingezet worden
in de registratiepraktijk?
• 4 use cases
• 4 content partners
• end-to-end oplossing

32.
./DATABLE

33.
./DATABLE
Erfgoedcel Brugge
Collectie Beeldbank Brugge
Doel Meer foto’s volgens bestaande categorieën
beschikbaar maken
Methode - Tagging door Clarifai
- Tags manueel aan Categorieën toegekend
- Classificatie van foto’s in post-processing
- Verwerkt tot CSV
Resultaat 100.000 foto’s geclassificeerd
>95% correct

34.
./DATABLE

35.
./DATABLE

36.
./DATABLE

37.
./DATABLE
FOMU
Collectie Suzy Embo: post-Cobra beweging
Doel Personen doorzoekbaar (face recognition)
Methode - Cropping en grouping faces (Python)
- Training Microsoft Vision model
- Tagging beeldcollectie
- Verwerking tags tot Adlib import file
Resultaat XXX foto’s geclassificeerd
? % correct

38.
./DATABLE

39.
./DATABLE

40.
./DATABLE

41.
./DATABLE
MOMU
Collectie Documentair beeldmateriaal
Doel Beelden filteren of sorteren op kwaliteit
Methode - Harvesting beelden uit ResourceSpace
- Kwalificatie door Everypixel
- verwerking tot CSV met score 0-5
- import CSV in DAMS
Resultaat 5558 foto’s gelabeld
‘redelijk’ correct

42.
./DATABLE

43.
./DATABLE

44.
./DATABLE
Netwerk oorlogsbronnen
Collectie Arolsen archives: archief van gedeporteerden WOII
Doel Verschillende types formulieren classificeren
Methode - Webscraping beeldarchief
- Model getrained met Clarifai GUI,
- Classificatie met Clarifai API,
- Verwerkt tot CSV + import
Resultaat Classificatie van 125.474 formulieren in 4 types
(100% correct)

45.
./DATABLE./DATABLE
Netwerk oorlogsbronnen

46.
./DATABLE
Conclusies
● toegankelijke, betaalbare technologie
● kwaliteit
○ training vaak meerwaarde
○ minder geschikt voor grafisch
beeldmateriaal
○ model afstemmen op use case
● mens vs. machine
○ afhankelijk van eisen vangst/precisie
○ efficiënter voor grote volumes
○ mens & machine

47.
./DATABLE
Conclusies: meer use cases
• ontsluiten op collectieniveau
• onderscheiden beeldtype (foto, tekening,
tekst)
• voorbereiden collectieregistratie
• combinatie crowdtagging
• herkennen landmarks
• tags omzetten naar Linked Data
• ...

48.
./DATABLE./DATABLE
dank aan
Alexander Derveaux (FOMU)
Ann Deckers (FOMU)
Dieter Suls (MOMU)
Katrien Steelandt (EGC Brugge)
Lizzy Jongma (NOB)
Michiel Demaeght (FOMU)
Nastasia Vanderperren (PACKED)
Tobias Hendrickx (MOMU)

49.
./DATABLE
Q&A
dieter.suls@momu.be
henk@datable.be

50.
./DATABLE
VR4CH/VRS technology stack
tranining & classification
Clarifai/Azure/GVision
data processing
KNIME
data
MongoDB
validation
Google Sheets
images
webserver
image & metadata
Omeka/Picturae/
ResourceSpace
metadata
Adlib/TMS
CSV/XML
FTP
viewer
javascript
FTP