1. Robust Visual Scene
Categoriza4on in Context
Prak4sche en robuuste methodes
voor geautoma4seerde visuele scene
herkenning met gebruik van context
Jan van Gemert

2. Nut en Doel
• Automa'sche beeld en video classifica'e
Boot Vliegtuig Binnen/Buiten
• Toepassing: filteren, bekijken, zoeken in grote collec4es van
beelden en videos
• Partner: Beeld en Geluid, 700,000 uur
aan televisie, radio en film

3. Zoeken versus Classificeren
Seman4sche kloof
Informa4e Kenmerk
Gebruiker BehoeJe Gelijkenis Computer
101010
010011
Fietsen 110101
Bloemen
101010
Gezichten 010011
110101

4. Automa4sche Scene Classifica4e
Lucht
Plant
Gebouw
Water Water
Gat

5. Lokale Beeldkenmerken

6. Visueel woordenboek
Lucht Water
Lucht
Berg Plant
Plant Gebouw
Zand Steen
Water
Water
Gat
Lucht Berg Zand Water Plant Steen
9 2 0 6 3 4
Hele beeld gerepresenteerd als vector van 6 getallen

7. Leren Classificeren
#stukjes
?
#beelden
0 Test matrix
Train matrix Verdeler

8. Visuele‐Woorden Ambiguïteit
(Hoofdstuk 5 van de disserta4e)
Lucht Water
Berg Plant
Zand Steen
Onzekerheid: keuze uit meerdere stukjes;
Plausibiliteit: is een stukje representa4ef;
Lucht Berg Zand Water Plant Steen
9
10.6 2
0 0 6
7.1 3
2.3 4
2.3
Originele “harde” toewijzing van puzzelstukjes
Voorgestelde “zachte” toewijzing van puzzelstukjes

9. Dynamo
Interface Interface
Query Query
Result set Result set
Mediatype /
Rh. Relations /
Pre. dimensions
Content Mediatype /
Communicative Devices tree
analysis Rh. Relations
Constrains Pre.
dimensions
Presentation Communicative Devices tree
Constrains
Presentation

10. Dynamo

11. Dynamo

12. References
SMEULDERS, A. W. M., WORRING, M., SANTINI, S., GUPTA, A., and JAIN, R. Content-
based image retrieval: the end of the early years, 1349 - 1380, 22 - 12, IEEE trans. PAMI,
2000.
Nack, F., Windhouwer, M., Hardman, L., Pauwels, E., & Huijberts, M. (2001) The Role of
High-level and Low-level Features in Style-based Retrieval and Generation of Multimedia
Presentations. The New Review of Hypermedia and Multimedia 2001, Vol. 7, pp. 7 – 37.
J. C. van Gemert, J. M. Geusebroek, C. J. Veenman, and A. W. M. Smeulders. Kernel
codebooks for scene categorization. In European Conference on Computer Vision,
October 2008.
Frank Nack nack@uva.nl
12 KBMS