Cynthia Liem VOGIN-IP-lezing 21 maart 2019

1. 1Web
Information
Verborgen schatten
langs de digitale snelweg
Dr Cynthia C. S. Liem MMus
Multimedia Computing Group, afdeling Intelligent Systems
Faculteit Elektrotechniek, Wiskunde en Informatica
Technische Universiteit Delft

2. 2Web
Information
Verborgen schatten langs
de digitale snelweg
Hoe het allemaal begon

3. 3Web
Information
Pianist zoekt inspiratie
foto: Marco Borggreve

4. 4Web
Information
Hoe klonk muziek in de tijd van Chopin?
Revue Musicale, 1832Eigeldinger, 1987

5. 5Web
Information
Hoe klonk muziek in de tijd van Chopin?
Lablache, 1840

6. 6Web
Information
Op de rand van de opnametechniek…
• Bellini: La Sonnambula, Ah Non Credea Mirarti
• Adelina Patti (1906) https://www.youtube.com/watch?v=lfQYMLTvSnY

7. 7Web
Information
Veel van deze bronnen zijn publiek en
digitaal toegankelijk!

8. 8Web
Information
• We indexeren misschien niet de juiste informatie
• Te weinig mensen weten van het bestaan af
• Historische data ≠ hedendaagse data
Veel van deze bronnen zijn publiek en
digitaal toegankelijk!
Maar…slecht vindbaar

9. 9Web
Information
Verborgen schatten langs
de digitale snelweg
Het indexeren van
‘de juiste informatie’

10. 10Web
Information
In de fysieke wereld

11. 11Web
Information
In de digitale wereld
Ongeorganiseerde
informatie
Georganiseerde
informatie

12. 12Web
Information
Meestal beschrijven we een zoekopdracht
in tekst…
hoofdstad van Frankrijk

13. 13Web
Information
Hoe beschrijf je een muzikaal object?

14. 14Web
Information
Hoe beschrijf je een muzikaal object?

15. 15Web
Information
Hoe beschrijf je een muzikaal object?

16. 16Web
Information
Hoe beschrijf je een muzikaal object?
• Zit de informatie in de noten?
[Wiggins, 2009]

17. 17Web
Information
Zit de informatie in de noten?
• Mozart, Don Giovanni

18. 18Web
Information
Zit de informatie in de noten?
• Mozart, Don Giovanni
Don Giovanni, Zurich 2001, Rodney Gilfry, Liliana Nikiteanu, Nikolaus HarnoncourtDon Giovanni, Johannes Weisser, Sunhae Im, René Jacobs
https://www.youtube.com/watch?v=fWDmXYR_KPA&t=40m23s
https://www.youtube.com/watch?v=f9qkvL6Dc5c&t=39m7s

19. 19Web
Information
Zit de informatie in de noten?

20. 20Web
Information
Zit de informatie in de noten?
… … … … …

21. 21Web
Information
Zit de informatie in de noten?
[Liem, Hanjalic & Sapp, AES, 2011; Liem & Hanjalic, ISMIR, 2011; Liem & Hanjalic, ISMIR, 2015; Peperkamp,
Hildebrandt & Liem, ISMIR 2017]

22. 22Web
Information
Zit de informatie in de noten?
Player’s hand positions correspond to
played pitches.
SPECTROGRAM
OF RECORDED
AUDIO SIGNAL
VIDEO
RECORDING OF
PERFORMING
MUSICIANS
SCORE OF
PERFORMED
MUSIC
Bowing movement
affects violinist’s
sound-forming, e.g.
causing subtle onset
entrances and
subsequent tone
development.
Piano sounds have strong
onsets with subsequent sound
decays. The pianist’s way of
making impacts on the piano
keys affect loudness and
timbre of the sound.
Violinist’s hand
movement produces
vibrato frequency
fluctuations. String
choices affect timbre.
A
B
C
A
B
C

23. 23Web
Information
Verborgen schatten langs
de digitale snelweg
Geen massapubliek,
dus irrelevant?

24. 24Web
Information
Magma Duo & Matthijs Vermeulen

25. 25Web
Information
Magma Duo & Matthijs Vermeulen
http://www.magmaduo.com/en/dct
https://www.youtube.com/watch?v=OKtEWZ_esNM

26. 26Web
Information
Magma Duo & Matthijs Vermeulen
Volkskrant, 27 juli 2016
https://www.youtube.com/watch?v=w9PXKZXdrjM&t=27m46s

27. 27Web
Information
Verborgen schatten langs
de digitale snelweg
Digitale equivalenten?

28. 28Web
Information
Vergeten bronnen, onverwachte ingangen
• 400 jaar aan
gedigitaliseerde
kranten (delpher.nl):
> 12 miljoen pagina’s
• Alle muziek die ooit in
Nederland
is uitgebracht:
> 500.000 CDs delpher.nl/nl/kranten

29. 29Web
Information
‘Nieuwe releases’
[Liem, 2018]
Amsterdamse courant,
11 maart 1815

30. 30Web
Information
Concertprogramma’s
Java-bode, 18 augustus 1866
[Liem, 2018]
Dagblad van Zuidholland en ’s Gravenhage,
18 juli 1869

31. 31Web
Information
Levende musici
Algemeen Handelsblad,
5 september 1900

32. 32Web
Information
Le Tribut de Zamora
Couperus: Eline Vere, Hoofdstuk IV
[Liem, 2018]

33. 33Web
Information
Le Tribut de Zamora
[Liem, 2018]

34. 34Web
Information
• KB Labs n-gram viewer
Trends over de eeuwen heen

35. 35Web
Information
Le Tribut de Zamora
Haagsche Courant, September 25, 1883
[Liem, 2018]

36. 36Web
Information
• KB Labs n-gram viewer
Trends over de eeuwen heen

37. 37Web
Information
Uitdagingen
[Liem, 2018]
Amsterdamse courant,
11 maart 1815

38. 38Web
Information
OCR-kwaliteit: een gedachte

39. 39Web
Information
Verborgen schatten langs
de digitale snelweg
Hoe meten we succes?

40. 40Web
Information
Een ideaalbeeld?

41. 41Web
Information
relevant
Een ideaalbeeld?

42. 42Web
Information
Geen frictie, onmiddellijk resultaat

43. 43Web
Information
relevant
Een ideaalbeeld?

44. 44Web
Information
Maar wat zit hier? 

45. 45Web
Information
irrelevant
Maar wat zit hier? 

46. 46Web
Information
irrelevant
oninteressant
Maar wat zit hier? 

47. 47Web
Information
irrelevant
oninteressant
tijdsverspilling
Maar wat zit hier? 

48. 48Web
Information
irrelevant
oninteressant
tijdsverspilling
Hedendaagse diensten: ‘Blijf weg!’

49. 49Web
Information
Aanbevelingen
• Aangestuurd door onze digital tweelingen
• Optimaliseert onmiddellijke transactie (klik / ’vind-ik-leuk’)
• Moet ‘dat wat velen nu leuk vinden’ het criterium zijn?
User 1 ☆ ☆☆ ☆
User 2 ☆☆☆☆ ☆☆☆☆ ☆☆☆☆☆
Alice ☆☆☆☆ ☆☆☆☆ ???

50. 50Web
Information
De ontwikkeling van smaak
• Wat betekent een klik?
• Kunnen we de klik zien als een teken van een
ontwikkelingsproces?
• Selectie-algoritmen als ontwikkelingscuratoren

51. 51Web
Information
Dat wat velen nu leuk vinden
VICE & MIT Media Lab, December 8, 2016

52. 52Web
Information
Verborgen schatten langs
de digitale snelweg
En waarom zochten we
alweer?

53. 53Web
Information
• Begeleiding van andere activiteiten
• ‘Music as a technology of the self’
[DeNora, 1999]
Muziek als Technologie
[Iren, Liem, Yang & Bozzon, WebSci, 2016]
[Yadati, Liem, Larson & Hanjalic, ICMR, 2017]

54. 54Web
Information
• Van wat muziek is naar wat
muziek doet
• Nuttige of belangrijke muziek is
niet noodzakelijk favoriet
• …en heeft misschien ook niet
onze volle aandacht, maar wel
fysiek effect
Muziek als Technologie

55. 55Web
Information
Waardevolle ervaringen
• Werkt iets? Dit kunnen we wellicht beter op de persoon
meten  fysiologie

56. 56Web
Information
Verborgen schatten langs
de digitale snelweg
Ervaringen die ik zou
willen behouden

57. 57Web
Information
We hadden niet alleen indexering,
maar ook een bibliothecaris
Gosford Library circulation desk, December 1951
CC BY-NC 2.0,
https://www.flickr.com/photos/gostalgia/6514399173/in/photostream/

58. 58Web
Information
De toevallige vondsten
• Archive Bookstore, Londen, 16 maart 2019

59. 59Web
Information
Verborgen schatten langs de digitale
snelweg: wat moeten we doen?
• Rijkere beschrijvingen van informatie in/rond objecten
• Schaalbaardere technieken voor monitoren datakwaliteit
• Beter begrip van gebruiksfunctie van objecten
• Alternatieve, genuanceerdere succescriteria
• Ondersteuning, context en interactie om ‘het onbekende’ te
kunnen bereiken

60. 60Web
Information
Verborgen schatten
langs de digitale snelweg
Dr Cynthia C. S. Liem MMus
c.c.s.liem@tudelft.nl | @informusiccs