SlideShare une entreprise Scribd logo
1  sur  19
Télécharger pour lire hors ligne
Metareporter: Coderen
 Week 2: Anne Helmond & Esther Weltevrede
Intercoder reliability


• Wat is een nieuwe media artikel?
• Hoe categoriseren we?
• Hoe taggen (coderen) we?
Wat is een nieuwe
     media artikel?
FAQ: Wat verstaan wij onder ‘nieuwe media’?

‘Nieuwe media’ is een complexe, veelzijdige term die daarom zeer
lastig te definiëren is. De  betekenis van het ‘nieuwe’ in nieuwe
media verschuift en is continu aan verandering onderhevig. Wat
maakt een (communicatie-) medium nou eigenlijk tot nieuwe
medium? Deze vraag kan nooit éénduidig beantwoord worden. Om
die reden definiëren wij bij metareporter nieuwe media als zijnde
media die gebruik maken van nieuwe, moderne, veelal digitale
technologieën. Men kan daarbij denken aan kenmerken zoals
manipulable, networkable, dense, compressable en impartial (Flew
2008, 3). Hieronder verstaan wij bijvoorbeeld: internet, games,
databases, surveillance technologie, RFID, social networking sites.
Wat is een nieuwe
    media artikel?

Artikelen over nieuwe media zijn artikelen waar
nieuwe media een actieve rol speelt. Wordt er een
claim gemaakt over het object?
Categoriseren
• Aggregeren altijd met z’n tweeën: een
  hoofd-coder en mee-coder
• Journalist, Krant, Katern, In de pers.
• Let op:Voorpagina is een katern
• Let op: Artikelen die doorgaan op een
  andere pagina (2x invoeren)
Taggen

• top-down vs bottom-up coden (artikelen)
• categorieën top down/taggen bottom-up
• wij coden bottom-up (taggen)
• onze methode: explicit/copy-paste
When Does Ontological
Classification Work Well?
    Domain to be Organized   Participants

•   Small corpus             •   Expert catalogers

•   Formal categories        •   Authoritative source of
                                 judgment
•   Stable entities
                             •   Coordinated users
•   Restricted entities
                             •   Expert users
•   Clear edges
When Does Ontological
Classification NOT Work Well?
    Domain to be Organized   Participants

•   Large corpus             •   Uncoordinated users

•   No formal categories     •   Amateur users

•   Unstable entities        •   Naive catalogers

•   Unrestricted entities    •   No Authority

•   No clear edges
Metareporter: categorieën
 Gebaseerd op de categorieën die kranten
 hanteren. Zij 'optimalizeren' de krant
 Klassieke classificatie volgens Shirky:
     •    Small corpus √
     •    Formal categories √
     •    Stable entities √
     •    Restricted entities √
Metareporter: categorieën
 Gebaseerd op de categorieën die kranten
 hanteren. Zij 'optimalizeren' de krant
 Klassieke classificatie volgens Shirky:
     •    Small corpus √
     •    Formal categories √
     •    Stable entities √
     •    Restricted entities √
Metareporter: tags
    •    Small corpus √
    •    Formal categories 
    •    Stable entities
    •    Restricted entities
    •    Clear edges


    •    Large corpus
    •    No formal categories √
    •    Unstable entities √
    •    Unrestricted entities √
    •    No clear edges √
Intercoder reliability test
 The joint-probability of agreement is probably the
 most simple and least robust measure. It is the number of
 times each rating (e.g. 1, 2, ... 5) is assigned by each rater
 divided by the total number of ratings. It assumes that the
 data are entirely nominal. It does not take into account that
 agreement may happen solely based on chance. Some
 question, though, whether there is a need to 'correct' for
 chance agreement; and suggest that, in any case, any such
 adjustment should be based on an explicit model of how
 chance and error affect raters' decisions.
Test deel 1

• Maak groepjes van twee (hoofd-coder en
  mee-coder)
• Haal alle artikelen uit de Metro van
  maandag
• Noteer alle artikelen
Formele eisen tags
• Expliciete, bottom-up variant. Het
  woordgebruik van de auteur overnemen.
  Zelfs spelfouten, die taggen we: symantic
  [sic]
• Inhoudelijke tags gebruiken die in relatie tot
  het nieuwe media object staan. Dit kunnen
  zelfstandige naamwoorden, werkwoorden,
  actoren (merken, personen) zijn, geen
  bijvoegelijke naamwoorden, tenzij betekenis
  wegvalt.
Test deel 2
• In hetzelfde groepje van twee, codeer
  artikel 1 uit de Metro
• (vergelijk)
• In hetzelfde groepje van twee, codeer
  artikel 2 uit de Metro
• (vergelijk) etc. - spreadsheet
Nu eigen krant


• Creëer coding groepjes van 2.
• Eigen kranten invoeren: categoriseren en
  taggen
Volgende week
• Lees de teksten over bloggen
• Post 24 uur voor aanvang van de
  werkgroep twee discussiepunten in het
  forum op BlackBoard voor de
  groepsdiscussie.
• 1 krantengroep verzamelt de punten en
  leidt de discussie
• Metareport voor AVV!
Metareport voor AVV!
• Voorwaarden, zie handleiding
• Blog posts worden altijd 24 uur voor
    aanvang van de werkgroep gepost, maar
    gescheduled voor publicatie op het blog
    volgens het volgende schema:
•   WG 1 (do 12-15): Donderdag en vrijdag (tijdens/na de
    werkgroep)

•   WG 2 (do 15-18): Zaterdag en maandag (na de werkgroep)

•   WG 3 (woe 9-12): Dinsdag en woensdag (voor/tijdens de
    werkgroep)

Contenu connexe

Plus de annehelmond

Setup API Introductie
Setup API IntroductieSetup API Introductie
Setup API Introductieannehelmond
 
Digitale Praktijken 2011, week 6
Digitale Praktijken 2011, week 6Digitale Praktijken 2011, week 6
Digitale Praktijken 2011, week 6annehelmond
 
Digitale Praktijken 2011, week 1
Digitale Praktijken 2011, week 1Digitale Praktijken 2011, week 1
Digitale Praktijken 2011, week 1annehelmond
 
UPDATE! opleiden in een netwerk omgeving
UPDATE! opleiden in een netwerk omgevingUPDATE! opleiden in een netwerk omgeving
UPDATE! opleiden in een netwerk omgevingannehelmond
 
Digital Methods and Tools for Hacking Journalism
Digital Methods and Tools for Hacking JournalismDigital Methods and Tools for Hacking Journalism
Digital Methods and Tools for Hacking Journalismannehelmond
 
Mediamatic blogosphere
Mediamatic blogosphereMediamatic blogosphere
Mediamatic blogosphereannehelmond
 
Digitale Praktijken Week 01 2010
Digitale Praktijken Week 01 2010Digitale Praktijken Week 01 2010
Digitale Praktijken Week 01 2010annehelmond
 
A Protest’s Web: The Cross-Syndication Practices of G20 Toronto Summit Online...
A Protest’s Web: The Cross-Syndication Practices of G20 Toronto Summit Online...A Protest’s Web: The Cross-Syndication Practices of G20 Toronto Summit Online...
A Protest’s Web: The Cross-Syndication Practices of G20 Toronto Summit Online...annehelmond
 
Werkgroepen Digitale Media #5
Werkgroepen Digitale Media #5Werkgroepen Digitale Media #5
Werkgroepen Digitale Media #5annehelmond
 
Werkgroepen Digitale Media #4
Werkgroepen Digitale Media #4Werkgroepen Digitale Media #4
Werkgroepen Digitale Media #4annehelmond
 
Blogging and the blogosphere through the eyes of software and search engines
Blogging and the blogosphere through the eyes of software and search enginesBlogging and the blogosphere through the eyes of software and search engines
Blogging and the blogosphere through the eyes of software and search enginesannehelmond
 
Cursus webloggen @ASVA
Cursus webloggen @ASVACursus webloggen @ASVA
Cursus webloggen @ASVAannehelmond
 
Google Knows I Blog for Google
Google Knows I Blog for GoogleGoogle Knows I Blog for Google
Google Knows I Blog for Googleannehelmond
 
Online Social Presence: Hva Minor CIM Module Monitor
Online Social Presence: Hva Minor CIM Module MonitorOnline Social Presence: Hva Minor CIM Module Monitor
Online Social Presence: Hva Minor CIM Module Monitorannehelmond
 
Online Attention Economy: Hva Minor CIM Module Monitor
Online Attention Economy: Hva Minor CIM Module MonitorOnline Attention Economy: Hva Minor CIM Module Monitor
Online Attention Economy: Hva Minor CIM Module Monitorannehelmond
 
Network Theory - Hva Minor CIM Module Monitor
Network Theory - Hva Minor CIM Module MonitorNetwork Theory - Hva Minor CIM Module Monitor
Network Theory - Hva Minor CIM Module Monitorannehelmond
 
Social Secrets Workshop
Social Secrets WorkshopSocial Secrets Workshop
Social Secrets Workshopannehelmond
 
Identiteit 2.0 - Hva Minor CIM Module Monitor
Identiteit 2.0 - Hva Minor CIM Module MonitorIdentiteit 2.0 - Hva Minor CIM Module Monitor
Identiteit 2.0 - Hva Minor CIM Module Monitorannehelmond
 
Hva Minor CIM introductie module Monitor
Hva Minor CIM introductie module MonitorHva Minor CIM introductie module Monitor
Hva Minor CIM introductie module Monitorannehelmond
 
Blogs, blog art and the network
Blogs, blog art and the networkBlogs, blog art and the network
Blogs, blog art and the networkannehelmond
 

Plus de annehelmond (20)

Setup API Introductie
Setup API IntroductieSetup API Introductie
Setup API Introductie
 
Digitale Praktijken 2011, week 6
Digitale Praktijken 2011, week 6Digitale Praktijken 2011, week 6
Digitale Praktijken 2011, week 6
 
Digitale Praktijken 2011, week 1
Digitale Praktijken 2011, week 1Digitale Praktijken 2011, week 1
Digitale Praktijken 2011, week 1
 
UPDATE! opleiden in een netwerk omgeving
UPDATE! opleiden in een netwerk omgevingUPDATE! opleiden in een netwerk omgeving
UPDATE! opleiden in een netwerk omgeving
 
Digital Methods and Tools for Hacking Journalism
Digital Methods and Tools for Hacking JournalismDigital Methods and Tools for Hacking Journalism
Digital Methods and Tools for Hacking Journalism
 
Mediamatic blogosphere
Mediamatic blogosphereMediamatic blogosphere
Mediamatic blogosphere
 
Digitale Praktijken Week 01 2010
Digitale Praktijken Week 01 2010Digitale Praktijken Week 01 2010
Digitale Praktijken Week 01 2010
 
A Protest’s Web: The Cross-Syndication Practices of G20 Toronto Summit Online...
A Protest’s Web: The Cross-Syndication Practices of G20 Toronto Summit Online...A Protest’s Web: The Cross-Syndication Practices of G20 Toronto Summit Online...
A Protest’s Web: The Cross-Syndication Practices of G20 Toronto Summit Online...
 
Werkgroepen Digitale Media #5
Werkgroepen Digitale Media #5Werkgroepen Digitale Media #5
Werkgroepen Digitale Media #5
 
Werkgroepen Digitale Media #4
Werkgroepen Digitale Media #4Werkgroepen Digitale Media #4
Werkgroepen Digitale Media #4
 
Blogging and the blogosphere through the eyes of software and search engines
Blogging and the blogosphere through the eyes of software and search enginesBlogging and the blogosphere through the eyes of software and search engines
Blogging and the blogosphere through the eyes of software and search engines
 
Cursus webloggen @ASVA
Cursus webloggen @ASVACursus webloggen @ASVA
Cursus webloggen @ASVA
 
Google Knows I Blog for Google
Google Knows I Blog for GoogleGoogle Knows I Blog for Google
Google Knows I Blog for Google
 
Online Social Presence: Hva Minor CIM Module Monitor
Online Social Presence: Hva Minor CIM Module MonitorOnline Social Presence: Hva Minor CIM Module Monitor
Online Social Presence: Hva Minor CIM Module Monitor
 
Online Attention Economy: Hva Minor CIM Module Monitor
Online Attention Economy: Hva Minor CIM Module MonitorOnline Attention Economy: Hva Minor CIM Module Monitor
Online Attention Economy: Hva Minor CIM Module Monitor
 
Network Theory - Hva Minor CIM Module Monitor
Network Theory - Hva Minor CIM Module MonitorNetwork Theory - Hva Minor CIM Module Monitor
Network Theory - Hva Minor CIM Module Monitor
 
Social Secrets Workshop
Social Secrets WorkshopSocial Secrets Workshop
Social Secrets Workshop
 
Identiteit 2.0 - Hva Minor CIM Module Monitor
Identiteit 2.0 - Hva Minor CIM Module MonitorIdentiteit 2.0 - Hva Minor CIM Module Monitor
Identiteit 2.0 - Hva Minor CIM Module Monitor
 
Hva Minor CIM introductie module Monitor
Hva Minor CIM introductie module MonitorHva Minor CIM introductie module Monitor
Hva Minor CIM introductie module Monitor
 
Blogs, blog art and the network
Blogs, blog art and the networkBlogs, blog art and the network
Blogs, blog art and the network
 

Metareporter week02

  • 1. Metareporter: Coderen Week 2: Anne Helmond & Esther Weltevrede
  • 2. Intercoder reliability • Wat is een nieuwe media artikel? • Hoe categoriseren we? • Hoe taggen (coderen) we?
  • 3. Wat is een nieuwe media artikel? FAQ: Wat verstaan wij onder ‘nieuwe media’? ‘Nieuwe media’ is een complexe, veelzijdige term die daarom zeer lastig te definiëren is. De  betekenis van het ‘nieuwe’ in nieuwe media verschuift en is continu aan verandering onderhevig. Wat maakt een (communicatie-) medium nou eigenlijk tot nieuwe medium? Deze vraag kan nooit éénduidig beantwoord worden. Om die reden definiëren wij bij metareporter nieuwe media als zijnde media die gebruik maken van nieuwe, moderne, veelal digitale technologieën. Men kan daarbij denken aan kenmerken zoals manipulable, networkable, dense, compressable en impartial (Flew 2008, 3). Hieronder verstaan wij bijvoorbeeld: internet, games, databases, surveillance technologie, RFID, social networking sites.
  • 4. Wat is een nieuwe media artikel? Artikelen over nieuwe media zijn artikelen waar nieuwe media een actieve rol speelt. Wordt er een claim gemaakt over het object?
  • 5. Categoriseren • Aggregeren altijd met z’n tweeën: een hoofd-coder en mee-coder • Journalist, Krant, Katern, In de pers. • Let op:Voorpagina is een katern • Let op: Artikelen die doorgaan op een andere pagina (2x invoeren)
  • 6. Taggen • top-down vs bottom-up coden (artikelen) • categorieën top down/taggen bottom-up • wij coden bottom-up (taggen) • onze methode: explicit/copy-paste
  • 7. When Does Ontological Classification Work Well? Domain to be Organized Participants • Small corpus • Expert catalogers • Formal categories • Authoritative source of judgment • Stable entities • Coordinated users • Restricted entities • Expert users • Clear edges
  • 8. When Does Ontological Classification NOT Work Well? Domain to be Organized Participants • Large corpus • Uncoordinated users • No formal categories • Amateur users • Unstable entities • Naive catalogers • Unrestricted entities • No Authority • No clear edges
  • 9. Metareporter: categorieën Gebaseerd op de categorieën die kranten hanteren. Zij 'optimalizeren' de krant Klassieke classificatie volgens Shirky:     •    Small corpus √     •    Formal categories √     •    Stable entities √     •    Restricted entities √
  • 10. Metareporter: categorieën Gebaseerd op de categorieën die kranten hanteren. Zij 'optimalizeren' de krant Klassieke classificatie volgens Shirky:     •    Small corpus √     •    Formal categories √     •    Stable entities √     •    Restricted entities √
  • 11. Metareporter: tags     •    Small corpus √     •    Formal categories      •    Stable entities     •    Restricted entities     •    Clear edges     •    Large corpus     •    No formal categories √     •    Unstable entities √     •    Unrestricted entities √     •    No clear edges √
  • 12. Intercoder reliability test The joint-probability of agreement is probably the most simple and least robust measure. It is the number of times each rating (e.g. 1, 2, ... 5) is assigned by each rater divided by the total number of ratings. It assumes that the data are entirely nominal. It does not take into account that agreement may happen solely based on chance. Some question, though, whether there is a need to 'correct' for chance agreement; and suggest that, in any case, any such adjustment should be based on an explicit model of how chance and error affect raters' decisions.
  • 13.
  • 14. Test deel 1 • Maak groepjes van twee (hoofd-coder en mee-coder) • Haal alle artikelen uit de Metro van maandag • Noteer alle artikelen
  • 15. Formele eisen tags • Expliciete, bottom-up variant. Het woordgebruik van de auteur overnemen. Zelfs spelfouten, die taggen we: symantic [sic] • Inhoudelijke tags gebruiken die in relatie tot het nieuwe media object staan. Dit kunnen zelfstandige naamwoorden, werkwoorden, actoren (merken, personen) zijn, geen bijvoegelijke naamwoorden, tenzij betekenis wegvalt.
  • 16. Test deel 2 • In hetzelfde groepje van twee, codeer artikel 1 uit de Metro • (vergelijk) • In hetzelfde groepje van twee, codeer artikel 2 uit de Metro • (vergelijk) etc. - spreadsheet
  • 17. Nu eigen krant • Creëer coding groepjes van 2. • Eigen kranten invoeren: categoriseren en taggen
  • 18. Volgende week • Lees de teksten over bloggen • Post 24 uur voor aanvang van de werkgroep twee discussiepunten in het forum op BlackBoard voor de groepsdiscussie. • 1 krantengroep verzamelt de punten en leidt de discussie • Metareport voor AVV!
  • 19. Metareport voor AVV! • Voorwaarden, zie handleiding • Blog posts worden altijd 24 uur voor aanvang van de werkgroep gepost, maar gescheduled voor publicatie op het blog volgens het volgende schema: • WG 1 (do 12-15): Donderdag en vrijdag (tijdens/na de werkgroep) • WG 2 (do 15-18): Zaterdag en maandag (na de werkgroep) • WG 3 (woe 9-12): Dinsdag en woensdag (voor/tijdens de werkgroep)