Olivier Van Dhuynslager kwam vertellen over datacleaning bij het Gentse Design Museum. Nadat hij vaststelde dat hij een opstapje zou moeten maken van Open Refine naar Python om te kunnen doen wat hij wilde, heeft een steile leercurve van twee weken er voor gezorgd dat hij zijn projectdoelstellingen binnen enkele weken voltooid had.
2. Hello world
>> Kunstwetenschapper/curatorial
studies
>> NETWERK Aalst / Packed / Packed-
VIAA-Lukas/Design Museum Gent
>> inhaalbeweging digitale
collectieregistratie
>> not IT, Coder, informaticus,
archivaris, bibliothecaris,
datascientist, data analyst, …
>> nauwe samenwerking met
Digipolis, Foresight, Ugent, ..
(MoTFP, UiA)
olivier.vandhuynslager@stad.gent
3. EXPECTATIONS VS REALITY
• Export - Import ?
• Import/export Adlib
moeilijk omwille van hiërarchische en relationele
aard van de data
• Weinig controle > moeilijk te zeggen wat er
allemaal verandert is na de import
• Csv neemt enkel eerste occurence > noodzaak
om met XML Grouped te werken. Axiell Collections
biedt mogelijkheid tot export xcell maar
ongestructureerde data.
• Vastgeroeste beelden in Memorix Major
• Datable, Erfgoedinzicht, … ?
7. READ
• Export uit CMS
• Transformeren van verschillende types
data en samenvoegen.
• (?) Data uit verschillende bronbestanden
• Bv. allemaal naar een csv
• Tools:
=> KNIME
8. ANALYZE (1)
• Iteratief proces
• Tvv dashboard.
• Overzicht behouden
• Outliers blootleggen
• Opschoonacties bepalen
• Analyse na import voor transformaties te
bepalen.
• Analyse na transformatie voor impact en
resultaat te meten,
9. Tooling:
OpenRefine
Tool for mangling, wrangling and
transforming data.
- Open Source
- Gratis
- Interactie met API’s (Wikidata, Getty, ..)
Moeilijk herhaalbaar, moeilijk om dingen aan
te passen in de flow. > KNIME
15. TRANSFORM
‘Dirty cleaning’
• Vaak fiche per fiche. = in Adlib.
• Complexiteit relaties is moeilijk te volgen
wanneer je werkt in een ander
programma zoals OpenRefine of Knime.
• Noodzaak om vervaardiger naast
gekoppelde objecten te bij
onduidelijkheden.
• PT vs NPT vs verouderd (overlap Bib-
catalogus Design Museum Gent, noelijk
los te koppelen doordat relaties gelegd
zijn.)
• Reconciliering met authorities
(GETTY [AAT,TGN,ULAN], WIKIDATA, RKD)
• Mogelijkheid om te ‘koppelen’ met andere
databanken. (?)
16. TRANSFORM: ENRICH
OpenRefine
Ø API Getty
Ø Informatie ophalen
Ø Case: toevoegen van coordinaten voor
Geo-spatiale analyse. (Geopandas,
Tableau)
17. ANALYZE (2)
JOIN Datasets
Objecten - vervaardigers – TGN
> niet mogelijk in adlib. > beperkte
overlap thesaurus –
objectdatabank. > bijvoorbeeld
niet mogelijk om te zoeken op
geslacht in object databank.
• Pandas Dataframe (Python)
• DataGrip (SQL)
> geavanceerde queries uitvoeren
op de eigen en externe data.
• Tableau
• Adlib > ’kandidaat termen’
MinistryofHighwayConstruction,1975Tbilisi,GeorgianSSR
19. DEPLOY
Stimuleer gebruik van het aangeleverd
materiaal:
1. Binnen de eigen instelling
2. Buiten de instelling
3. Tussen de verschillende instellingen
20. Tooling:
KNIME
Open source
Software to create and productionize data
science using one easy and intiuitive
environment.
One time build
> drag and drop
> tweak and change
21.
22.
23.
24. “when the vendors say no”
Dasboard - niet voor iedereen(?)
Ø Eigen (gepersonaliseerde) tools zijn
duurzaam(er) – Open source
ontwikkeld sneller, kan sneller
ageren aan de noden van zijn
gebruiker.
Ø Case:
Memorix Major – ErfgoedInzicht
adlib – Erfgoedinzicht.
29. 2/08/18
Uitgangspunt.
• Welke waarden willen we vooropstellen in een digitale
wereld?
• Cf. CHANGE! Virtual & Real virtues for a Better Future – Christoph Thun-
Hohensteing (MAK)
• values-based innovation (vbi) i.p.v technology-based
innovation (tbi)
• Hoe kan innovatie ons helpen in het versterken van onze
waarden?
• Connect the new entrepeneurial avant-garde + new creative avant-garde
• Start-ups, spin-offs, social entrepeneurs
30. 2/08/18
Welke waarden?
Appreciative, caring, common good-oriented,
cooporative, creative and co-creative, critical thinking,
fair, genuine, high-quality, holistic, humble, imaginative,
literate, digital literacy, open and tolerant, resonant
(Hartmunt Rosa), respectful, responsible, sensitive and
loving, sharing, social and inclusive, sustainable,
tradition-conscious, regional and local, trusting,
visionary