Semantische zoekmachines voor wetenschap: een stresstest

@MsPhelps
@jeroenbosman
d
Bianca Kramer & Jeroen Bosman, Universiteitsbibliotheek Utrecht
(except logos)
Semantische zoekmachines voor wetenschap:
een stresstest
online beschikbaar op:
tinyurl.com/VoginIPsemant
Workshop VoginIP-lezing 2019, Amsterdam, 21 maart 2019

query suggestions
kunstmatige intelligentie?
user intent
topics
meaning
machine learning
Wat is er gaande ??
clustering
graph
knowledge maps
corpus
neural net
semantic inference
similarity index
concepts
fingerprinting
dynamic mapping
trainer
synonyms
hypernyms
semantisch web
ranking algoritme
natural language processing
deep learning
entity
visual interface
AI

4
soort
informatie
soort
document/publ.
zoeksysteem
zoekopties &
dekking
Van informatiesoort naar zoekopties: keuzeketting

Semantisch?
intentie zoeker → aanpassen zoekacties ← betekenis document
• inschatten van de intentie van de zoeker - en liefst een concreet antwoord in
plaats van "tien blauwe links"
• op basis van locatie
• uit gebruikt apparaat
• op basis van eerder zoekgedrag
• op basis van analyse van de gestelde vraag
• naam van persoon, congres, tijdschrift, topic, … >> feiten
• herkent vaste combinaties van woorden >> concepten
• natuurlijke taal interpretatie (correcties, fuzzyness, grammatica)
• uit algemene statistiek van zoekvragen
Meestal niet in wetenschappelijke zoekmachines,
wel in algemene zoekmachines

Semantisch?
• bepalen van betekenis van tekst in documenten t.b.v. selectie
• vooraf bij indexeren of achteraf in zoekresultaat;
• van eenvoudige herkenning van entiteiten/concepten of meegegeven metadata,
• tot complexe kennis van de wereld, zodat automatisch concepten worden toegekend of
relevante aanvullende informatie verschijnt

Semantisch?
• automatisch aanpassen van zoekacties t.b.v. beter resultaat
• zoekactie uitbreiden met gerelateerde zoekwoorden,
• zoekwoorden vervangen door betere zoekwoorden,
• (ook) in andere systemen zoeken
• en daarbij soms betekenisvolle presentatie resultaat:
• ranking
• clustering
• grafische presentatie met betekenis van nabijheid en met netwerkrelaties

Ontwikkeling soorten zoeksystemen
van AI (abstracting & indexing) naar AI (artificial intelligence) ;-)
klassiek
bibliografisch
modern,
bv. Scopus
webscale,
bv. Google Scholar
webscale
semantisch, bv. MAS
Iris.ai
input verwerking strikt Booleaans
vrijwel strikt
Booleaans
niet-strikt Booleaans
probabilistisch en
semantisch
probabilistisch en
semantisch
ranking
chronologisch /
alfabetisch
relevantie
(op basis metadata)
relevantie
(op basis full text)
relevantie
(op basis mix)
relevantie
(op basis metadata?)
citatienetwerk nee ja deels deels nee
presentatie lijst lijst lijst lijst grafisch

Wat gebeurt er onder de motorkap?
IRIS.AI META OPEN KNOWLEDGE MAPS
MICROSOFT ACADEMIC SEARCH LENS SEMANTIC SCHOLAR

Wat gebeurt er onder de motorkap?
IRIS.AI META OPEN KNOWLEDGE MAPS
MICROSOFT ACADEMIC SEARCH LENS SEMANTIC SCHOLAR
Our AI analyzes research papers and
pulls out authors, references, figures,
and topics.
We link all of this information
together into a comprehensive
picture of cutting-edge research.

visuele weergave
semantisch
gegenereerde
metadata
Wat kun je in praktijk zien gebeuren?
conceptherkenningandere input

Wat is de belofte van semantisch zoeken?
Welke problemen lost het eigenlijk mogelijk op?
• I.h.a. vergroten relevantie, precisie, efficiëntie
• Beperkingen van taal overkomen (bij opstellen zoekvraag en interpreteren daarvan)
• Antwoord/resultaat dat nauwer aansluit bij (achterliggende) vraag
• Voorkomen dat men heel uitgebreide zoekvraag met veel OR-relaties moet bouwen
• Netwerk van overeenkomstige/gerelateerde documenten kunnen browsen
(op basis van inhoud i.p.v. op basis citatienetwerk)
• ….
• ….

Opdracht 1:
vergelijking kenmerken zoeksystemen

semantische zoeksystemen voor opdracht 1
● IRIS
● LENS
● Meta [als je account hebt]
● Microsoft Academic
● Open Knowledge Maps
● Semantic Scholar

Opdracht 1 - kenmerken zoeksystemen [20 min.]
Probeer (in groepjes van 4) een indruk te krijgen van de
karakteristieken en functionaliteit van één semantisch zoeksysteem.
Maak hiervoor bv. gebruik van:
• het zoeksysteem zelf (zoekinterface, testzoekacties)
• helpfunctie of andere uitleg op de site
• informatie online over het zoeksysteem
Vul bevindingen in op het online invulformulier:
https://tinyurl.com/VoginIPsemant-1

semantische zoeksystemen voor opdracht 1
● IRIS (groep 1)
● LENS (groep 2)
● Meta [als je account hebt] (groep 3)
● Microsoft Academic (groep 4)
● Open Knowledge Maps (groep 5)
● Semantic Scholar (groep 6)
https://tinyurl.com/VoginIPsemant-1

Opdracht 2:
testen performance zoeksystemen

Opdracht 2 - stress test [30 min.]
Vergelijk (in dezelfde groepjes) de prestaties van je semantisch
zoeksysteem met die van een ‘regulier’ zoeksysteem.
Doe hiervoor één of meerdere zoekacties (Engelstalig), en probeer zoveel mogelijk
functionaliteiten van de systemen te gebruiken.
Bekijk vervolgens hoe relevant de resultaten zijn en of je bepaalde dingen mist.
Het is handig om in twee tabs of op twee computers te werken.
>>>> zie volgende slide voor actiesuggesties

Opdracht 2 - stress test (acties)
<<<<
Doe in elk geval een van deze (indien mogelijk):
• een zoekactie met zoektermen, op een onderwerp waar je goed bekend mee bent
• een zoekactie op basis van een gerichte vraag in natuurlijke taal
Dingen die je ook nog kunt proberen:
• zoek (verder) aan de hand van een (evt. elders) gevonden artikel
• probeer gericht een bepaald artikel te vinden (known item search)
• probeer gericht antwoord te vinden op een specifieke vraag
(bv. ‘which greenhouse gas fluctuates during a solar eclipse’?)
Noteer de bevindingen/inzichten/meningen voor jezelf

zoeksystemen voor opdracht 2
(steeds semantisch vs. niet-semantisch)
IRIS
LENS
Meta [als je account hebt]
Microsoft Academic
Open Knowledge Maps
Semantic Scholar
● Google Scholar of Scopus [als je toegang hebt]
● PubMed of BASE search
● PubMed

Discussie en creatie gezamenlijk beeld

Wat vinden we ervan?
• Plaats het logo van je geteste zoeksysteem in het assenkruis en vertel er bij
waarom je het daar plaatst. Welke bevindingen had je?

betere relevantie
(t.o.v traditionele)
betere gebruikservaring
(t.o.v. traditionele)
interpreteert
zoekvraag
interpreteert
betekenis document

betere relevantie
(t.o.v traditionele)
slechtere relevantie
(t.o.v. traditionele)
slechtere
gebruikservaring
betere
gebruikservaring

Wat vinden we ervan?
Suggesties voor verdere ontwikkeling?
• Discussiepunten:
• In welke situaties zijn deze systemen het meest waardevol?
• Wat kan/moet er nog verbeteren? Aan welk systeem?
• Wat weten we van Google Scholar? Worden daar niet toch ook semantische
technieken gebruikt?
• ….
• ….

101 innovations in scholarly communication:
project overview & examples
Fields:
▪ Scholarly communication
▪ Tools for research
▪ Research practices
▪ Open Science
▪ Workflows
Activities:
▪ Exploration
▪ Research
▪ Supporting information
▪ Advocacy
▪ Workshops
CC-BY
Bianca Kramer & Jeroen Bosman
101innovations.wordpress.com
open science
tools database global survey
research
research practices advocacy
workflows
exploration
workshops

@MsPhelps
@jeroenbosman
d
Bianca Kramer & Jeroen Bosman, Universiteitsbibliotheek Utrecht
(except logos)
Semantische zoekmachines voor wetenschap
online beschikbaar op:
tinyurl.com/VoginIPsemant
Workshop VoginIP-lezing 2019, Amsterdam, 28 maart 2019

Semantische zoekmachines voor wetenschap: een stresstest

Recommandé

Recommandé

Contenu connexe

Similaire à Semantische zoekmachines voor wetenschap: een stresstest

Similaire à Semantische zoekmachines voor wetenschap: een stresstest (20)

Plus de voginip

Plus de voginip (20)

Semantische zoekmachines voor wetenschap: een stresstest