1. Recherche im Umbruch - Der Einfluss von
Suchmaschinen auf die qualifizierte
Informationsvermittlung und die Grenzen ihrer
Qualitätsbewertung
Prof. Dr. Dirk Lewandowski
dirk.lewandowski@haw-hamburg.de

2. Gliederung
Wo stehen Suchmaschinen heute?
Wie suchen die typischen (Suchmaschinen-)Nutzer?
Wie bewerten Suchmaschinen die Relevanz von Dokumenten?
Wo liegen die Grenzen der Suchmaschinen?
Fazit

3. Gliederung
Wo stehen Suchmaschinen heute?
Wie suchen die typischen (Suchmaschinen-)Nutzer?
Wie bewerten Suchmaschinen die Relevanz von Dokumenten?
Wo liegen die Grenzen der Suchmaschinen?
Fazit

4. Web search: „Always different, always the same“
AltaVista 1996
3 | http://web.archive.org/web/19961023234631/http://altavista.digital.com/

5. Wo stehen Suchmaschinen heute?
• Große Web-Datenbanken sind vorhanden
• Google, Yahoo, Bing, Ask, Cuil
• Betrieb dieser Datenbanken ist technisch möglich.
• Navigationsanfragen können zuverlässig beantwortet werden.
• Informationsorientierte Anfragen können meist zufriedenstellend beantwortet
werden.
• Großer Unterschied zwischen den Anfragen.
• Keine Suchmaschine kann alle Anfragen am besten beantworten.
• Integration zusätzlicher Quellen
• Spezialisierte Web-Datenbanken: News, Blogs, Video, usw.
• Shortcuts: Wetter, Reise, Patente, usw.
• Zukunft: Faktenextraktion
• Einbindung kostenpflichtiger Dokumente
4 |

6. Trefferseite heute
• x Verweis auf Real-Time-
Datenbank
Ergebnis aus strukturierter
Datenbank
Ergebnisse aus eigenem
Datenbestand
Web-Ergebnisse
5 |

7. Zugang zu Fakteninformationen
aus Datenbanken: Wolfram Alpha
• Informationen aus unterschiedlichen
Quellen
• „Statische“ Datenbanken
• Real-Time-Informationen
• Gegenüberstellungen und
Berechnungen
6 |

8. Nachrichten
• Ergebnisse aus der Nachrichtensuche (eigener Index) werden in die normale
Web-Suche eingebunden.
• Über die spezialisierte Nachrichtensuche ist teils eine Recherche in
kostenpflichtigen Inhalten möglich.
– Google News Archive (Web-Inhalte, kostenpflichtige Archive, Digitalisate)
– Yahoo Subscriptions (Indexierung von kostenpflichtigen Archiven)
7 |

9. Bücher
8 | Dirk Lewandowski: Trends bei Suchmaschinen

10. Gliederung
Wo stehen Suchmaschinen heute?
Wie suchen die typischen (Suchmaschinen-)Nutzer?
Wie bewerten Suchmaschinen die Relevanz von Dokumenten?
Wo liegen die Grenzen der Suchmaschinen?
Fazit

11. „Die meisten Nutzer sind nicht willens, bei der Formulierung ihres
Suchziels allzu viel kognitive und zeitliche Energie aufzuwenden.“
(Machill et al. 2003)
• Suchanfragen
– Durchschnittliche Länge: 1,7 Wörter
– Ca. 50% Einwort-Anfragen
– kaum Verwendung von Operatoren und erweiterter Suche
• Ergebnisseiten
– 80% der Nutzer gehen nicht über die erste Ergebnisseite hinaus.
– Nutzer betrachten bevorzugt die ersten Ergebnisse (“über dem Knick”).
– Pro Session werden bis etwa fünf Dokumente angesehen.
– Sessions dauern i.d.R. weniger als 15 Minuten.
• Nutzer sind meist mit ihren Suchergebnissen zufrieden.
• Nutzer erwarten, dass alle Systeme so leicht zu bedienen sind wie Google.

12. „Most people are looking for quick wins.“
(Nicholas 2008)
• Beispiele aus der wissenschaftlichen Suche
• Nutzer kommen über Suchmaschinen, schauen herum und nehmen das mit, was
sie brauchen können.
• Es wird eine Vielzahl von Quellen benutzt.
• Die Hälfte der Nutzer betrachtet nur 1-3 Seiten.
• 40% der Nutzer kommen innerhalb von sechs Monaten nicht mehr auf die Website
zurück.
• Nutzer sehen sich Artikel online nur ein paar Minuten lang an, vor allem kurze
Artikel werden gelesen.
• Nutzer sammeln zwar Artikel (als Ausdrucke oder Downloads), lesen sie dann aber
nicht.
 Was wäre, wenn Ihre Nutzer auch so suchen?
11 | (Nicholas 2008)

13. Gliederung
Wo stehen Suchmaschinen heute?
Wie suchen die typischen (Suchmaschinen-)Nutzer?
Wie bewerten Suchmaschinen die Relevanz von Dokumenten?
Wo liegen die Grenzen der Suchmaschinen?
Fazit

14. Ist der Treffer relevant (ja/nein)?
1,00
0,90
0,80
0,70
0,60 Google
Precision
Yahoo
0,50 MSN
Ask
0,40 Seekport
0,30
0,20
0,10
0,00
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Google 0,75 0,71 0,71 0,67 0,64 0,62 0,59 0,58 0,55 0,55 0,54 0,53 0,52 0,52 0,51 0,50 0,49 0,49 0,48 0,48
Yahoo 0,73 0,69 0,69 0,68 0,61 0,62 0,61 0,60 0,60 0,60 0,59 0,58 0,57 0,56 0,55 0,54 0,53 0,53 0,53 0,52
MSN 0,58 0,50 0,51 0,53 0,52 0,49 0,49 0,48 0,47 0,45 0,44 0,43 0,42 0,40 0,39 0,39 0,38 0,38 0,37 0,37
Ask 0,65 0,60 0,59 0,56 0,53 0,53 0,52 0,52 0,50 0,50 0,49 0,48 0,47 0,47 0,46 0,46 0,45 0,45 0,44 0,44
Seekport 0,58 0,53 0,51 0,52 0,51 0,50 0,48 0,45 0,44 0,43 0,44 0,44 0,43 0,42 0,41 0,40 0,39 0,38 0,37 0,37
Number of results
13 |

15. Wie relevant ist der Treffer (0-4)?
Vergleich der Precision nach Listenplatz (Top20; Skala)
3,00
2,50
Durchschnittliche Precision
2,00
Google
Yahoo
1,50 MSN
Ask
Seekport
1,00
0,50
0,00
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Google 2,54 2,19 2,14 2,04 1,93 1,86 1,77 1,72 1,63 1,59 1,59 1,53 1,49 1,45 1,42 1,38 1,35 1,35 1,32 1,32
Yahoo 2,33 2,21 2,11 2,00 1,82 1,81 1,75 1,69 1,68 1,67 1,64 1,62 1,58 1,54 1,53 1,50 1,47 1,46 1,45 1,42
MSN 1,80 1,53 1,53 1,55 1,51 1,42 1,38 1,34 1,31 1,24 1,22 1,17 1,15 1,11 1,09 1,06 1,05 1,03 1,01 0,99
Ask 1,73 1,53 1,45 1,35 1,27 1,31 1,33 1,34 1,30 1,28 1,26 1,23 1,18 1,18 1,17 1,16 1,16 1,16 1,13 1,12
Seekport 1,65 1,48 1,41 1,44 1,40 1,36 1,32 1,24 1,20 1,17 1,18 1,16 1,13 1,11 1,07 1,04 1,01 1,00 0,98 0,97
Trefferplatz
14 |

16. Rankingfaktoren
• Textspezifische Faktoren
– „Wie gut passen Anfrage und Dokument zusammen?“
– Worthäufigkeiten, Position der Suchbegriffe im Dokument, ...
• Popularität
– „Wie wahrscheinlich ist es, dass der Nutzer bei seiner Web-Navigation auf dieses
Dokument treffen würde?“
– Linkpopularität, Klickpopularität.
• Aktualität
– „Sollen für diese Anfrage aktuelle Dokumente ausgegeben werden?“
– Datumsangaben, Linkstruktur, ...
• Lokalität
– „Welche Dokumente passen zur ‚Umgebung‘ des Nutzers?“
– Länderinterfaces
15 | Im Detail: Lewandowski 2005, Kap. 6

17. Qualität der Inhalte im Web vs. der Treffer in Suchmaschinen
• Suchmaschinen bewerten mehr als nur den Dokumententext
• Ergebnisse werden an die Anfrage angepasst
– Allgemeine Anfragen werden mit allgemeinen Dokumenten beantwortet,
spezifische Anfragen mit spezifischen.
– Durchmischung der Trefferliste.
– Für viele Anfragen gibt es Seiten, die in den Ergebnissen auftauchen “müssen”.
• Qualitätsbestimmung nur aufgrund formaler Merkmale
– Ungeklärte Frage der Verlässlichkeit der Dokumente.
– Keine Quellenkontrolle.
– Relevanzuntersuchungen messen nur die empfundene Qualität der Ergebnisse.
16 | Dirk Lewandowski

18. Gliederung
Wo stehen Suchmaschinen heute?
Wie suchen die typischen (Suchmaschinen-)Nutzer?
Wie bewerten Suchmaschinen die Relevanz von Dokumenten?
Wo liegen die Grenzen der Suchmaschinen?
Fazit

19. Katholisch? Evangelisch? Ja, was denn nun?
18 |

20. Grenzen der Suchmaschinen
• Suchmaschinen werden immer „Gemischtwarenläden“ bleiben.
• Orientierung am Bedarf der Masse, auch wenn durch Personalisierung gemildert.
• Die Recherche in Suchmaschinen wird auch in Zukunft ungenau und
zeitraubend bleiben.
• Oft sind nicht relevante Dokumente gefragt, sondern vollständige und
verlässliche Ergebnissets.
• Auch wenn das Quellenspektrum in den letzten Jahren wesentlich erweitert
wurde, fehlen in den Suchmaschinen wesentliche Quellen.
• Das Zusammenführen „beider Welten“ ist noch nicht gelungen.
• Nicht auf der Seite der Suchmaschinen.
• Nicht auf der Seite der Anbieter von Fachinformationen.
19 |

21. Gliederung
Wo stehen Suchmaschinen heute?
Wie suchen die typischen (Suchmaschinen-)Nutzer?
Wie bewerten Suchmaschinen die Relevanz von Dokumenten?
Wo liegen die Grenzen der Suchmaschinen?
Fazit

22. Suchmaschinen entwickeln sich (unter der
#1 Oberfläche) beständig weiter. Das Problem
der Suche ist noch lange nicht gelöst.
21 |

23. Das Quellenspektrum der Suchmaschinen
#2 verändert sich, ist aber bei weitem nicht
vollständig.
22 |

24. Endnutzer suchen auf einfachste Weise,
#3 wollen aber trotzdem schnell zu relevanten
Ergebnissen gelangen.
23 |

25. Die Relevanzbewertung durch
#4 Suchmaschinen ist komplex. Es geht bei der
Relevanzbewertung hauptsächlich um
Qualität.
24 |

26. Suchmaschinen sind zwar eine wichtige
#5 Recherchequelle, aber bei weitem nicht die
einzige.
25 |

27. Ungelöst – Das Nutzerdilemma:
#6 „‘Our information is healthier and tastes
better too’ the librarians shout. But nobody
listens. We‘re too busy Googling.“ (Peter Morville)
26 |

28. Vielen Dank für Ihre
Aufmerksamkeit.
www.bui.haw-hamburg.de/lewandowski.html
Aktuelles Buch:
Handbuch Internet-Suchmaschinen
(Akademische Verlagsgesellschaft Aka, 2009)
E-Mail:
dirk.lewandowski@haw-hamburg.de