German only! Meine Folien des Einführungsvortrags für Nicht-Informatiker bei der BDK-Fachtagung "Auswertung von Massendaten" zum Thema semantische Suche an der Polizei Fachhochschule Brandenburg. Inhalte: 1) Probleme heutiger Suchtechnologien, 2) Überblick zu semantischen Technologien, 3) Verbesserung des Information Retrieval durch Semantik https://www.bdk.de/der-bdk/aktuelles/bdk-fachtagung-auswertung-von-massendaten

1. Einführung in die intelligente Suche in MassendatenBDK-Fachtagung"Auswertungvon Massendaten"
Martin VoigtOktober 2014
1
Query ConstructionQueryProcessingResult PresentationQueryRefinement  Keywords  Keywords ++  Natural Language  Formal Query Languages  IR-based Matching & Ranking  KB-based Matching & Iinferencing  Query Visualization  Document & Data Presentation  Summarization  Implicit Feedback  Explicit Feedback  IncentivesSemantic Models Real World Resources

2. Wer ich bin.
(Wiss. Mitarbeiter &) Doktorand @ TU Dresden
 Komposite Webanwendungen / Mashups
 Semantische Technologien, NLP, Topic Mining
 Informationsvisualisierung & HCI
Sen. Researcher & Projektleiter @ Ontos
 Linked Data Anwendungen für Endnutzer
2
Data Upload &
Augmentation
Data Pre-
Selection
Data & Vis
Selection
Visualization
Configuration
Interpretation &
Internalization
Data
Augmentation
Visualization
Recommendation
Visualization
Integration
Knowledge
Externalization
Data Reduction
System User
Human Action
System Action
1 3 5 7 9
2 4 6 8 10
Interaction

3. Wer ist Ontos.
3
3
DoW – CTI Project
Ontos Group
Key Facts
- Established 2001
- 15+ employees
- Share in Eventos RU
(30 people)
- 5± Mio CHF turnover
Industry
- Media/News
- Law Enforcement
- Government
- Switzerland
- (Russia)

4. Agenda
Probleme heutiger Suchtechnologien
Things, not Strings: Semantik!
Intelligente, semantische Suche
Zusammenfassung
4

5. HeutigeSuchtechnologien…
… und derenProbleme
5

6. Daten, Daten, Daten, …
6
http://www.csc.com/insights/flxwd/78931-big_data_growth_just_beginning_to_explode

7. Daten, Daten, Daten, …
7
http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm

8. Daten, Daten, Daten, …
Problememit den Daten („4 Vs”)
Datenmenge (Volumen)
Datenvielfalt / -heterogenität (Variety)
8
http://www.ibmbigdatahub.com/infographic/four-vs-big-data

9. Daten, Daten, Daten, …
Problememit den Daten („4 Vs”)
Datenmenge (Volumen)
Datenvielfalt / -heterogenität (Variety)
Geschwindigkeit (Velocity)
9
http://www.ibmbigdatahub.com/infographic/four-vs-big-data

10. Daten, Daten, Daten, …
Problememit den Daten („4 Vs”)
Datenmenge (Volumen)
Datenvielfalt / -heterogenität (Variety)
Geschwindigkeit (Velocity)
Datenqualität (Veracity)
10
http://www.ibmbigdatahub.com/infographic/four-vs-big-data

11. Daten, Daten, Daten, …
… und der Mensch?
11
Key et al: VizDeck: self-organizing dashboards for visual analytics. Procs. of the 2012 ACM SIGMOD International Conference on Management of Data, ACM, 2012.

12. Suchmaschinen!
Desktop, Web, Intranet, Smartphone, …
12

13. Klassisches Information Retrieval
Ziel: Erzeugung einer gewichteten Ergebnisliste unter Verwendung versch. Algorithmen (TFIDF, PageRank, …)
ggf. Nutzung von
Personalisierung
Facettierung
multimediale Ergebnisse
13
http://www.photocase.de/foto/187761

14. Klassisches Information Retrieval
Funktionsweise von IR
14
Suchanfrage Dokumente
Index
Suchterme Schlüsselwörter
Ergebnisse http://www.photocase.de/foto/140872
http://www.photocase.de/foto/109526

15. Klassisches Information Retrieval
15
Dominik Kuropka: ModellezurRepräsentationnatürlichsprachlicherDokumente. Ontologie-basiertesInformation-Filtering und –Retrieval mitrelationalenDatenbanken. In Advances in Information Systems and Management Science, Bd.10, 2004, 3-8325-0514-8

16. Suchmaschinen im Web
3 wesentliche Aufgaben
Crawlen
Verarbeiten der Suchanfrage (IR + Rangfolge)
Darstellung der Ergebnisse
16
http://www.photocase.de/stock-fotos/118186
http://www.photocase.de/stock-fotos/184687

17. Multimedia Daten
17
Folieaushttp://de.slideshare.net/lysander07/semantic-analysis-of-video-data-to-enable-exploratory-search

18. Multimedia Daten
18
Folieaushttp://de.slideshare.net/lysander07/semantic-analysis-of-video-data-to-enable-exploratory-search

19. Probleme der Suche
Stichwortsuchestatt semantische Fragen
Menschen verlernen das Fragen!
19

20. Probleme der Suche
Verschiedene Sprachen
20

21. Probleme der Suche
Homonyme, z.B. Bank & Bank
21

22. Probleme der Suche
Synonyme, z.B. Franz Beckenbauer & Kaiser
22

23. Probleme der Suche
Subjektivitätder Suche
23

24. Zusammenfassung
Grundproblem: 4 „V“ der Daten
Information Retrievaletabliert
Maschinelles Lernen hunderter von Dimensionen über ca. 45 Mrd. Dokumente (http://www.worldwidewebsize.com/)
große Investitionen in Rechenkraft
Bleibende Herausforderungen beziehen sich insbesondere auf die Modellierung menschlicher Wahrnehmung
24

25. Things, not Strings!
WieSemantikdie Sucheverbessert…
25

26. Das Verständnisproblem
26
<html>
…
<b>Dr. Mark Smith</b>
<i>Physician</i>
Main St. 14
Smalltown
Mon-Fri9-11 am
Wed3-6 pm
…
</html>
Dr. Mark Smith
Physician
Main St. 14
Smalltown
Mon-Fri9-11 am
Wed3-6 pm
Print in bold: „hmf298hmhudsa“
Print in italics: „mj2i9ji0“
Print normal: „fdsah
02hfadsh0um2m0adsmf0ihm2mjpoimjiofdpmsajiomjm“
http://www.photocase.de/stock-fotos/279931

27. Das Verständnisproblem
Volltextsuche mit klassischem IR
„Mark Smith“
„Physician in Smalltown“
„Doctor in Smalltown“
„Physician in Smalltownwith opening hours on Wednesday afternoon“
Informationen nicht„maschinenverstehbar“
27
<html>
…
<b>Dr. Mark Smith</b>
<i>Physician</i>
Main St. 14
Smalltown
Mon-Fri9-11 am
Wed3-6 pm
…
</html>

28. Lösungsansatz: Semantic Web
VieleNamen…
Semantic Web
Web of Data
Data Web
Web 3.0
Linked Data
Linked Data Web
Linked Open Data
Semantic Data
…
28
http://geekandpoke.typepad.com/geekandpoke/

29. Lösungsansatz: Semantic Web
Zweiwesentliche Sichten
1) Explizite Links zwischen Datenim WWW  Semantic Web als „Web der Daten“
2) Familie standardisierter Technologien, die gut zusammenspielen, u.a. flexibles Datenmodel (RDF), Ontologiesprachen(RDFS, OWL), Anfragesprache (SPARQL), …
Fazit: neue Lösungen/Anwendungen, die vorher nicht möglichen oder praktikabel waren (http://www.thefigtrees.net/lee/blog/2011/08/why_semantic_web_technologies)
29

30. Grundlagen / Prinzipien
HTTP URIs als Bezeichner für „Dinge“, so dass man nachschauen kann Ressourcen
http://www.bbc.co.uk/nature/life/Gray_Wolf
30

31. Grundlagen / Prinzipien
Verknüpfe Ressourcen untereinander Triple Schaffung von Kontext
31
http://www.bbc.co.uk/nature/life/Gray_Wolf
http://www.bbc.co.uk/nature/life/Mammal
http://www.bbc.co.uk/nature/habitats/ Temperate_broadleaf_and_mixed_forests
is a
lives in

32. Grundlagen / Prinzipien
Verknüpfe externe Datenquellen  Zusatzinformationen integrieren
32

33. Linked Open DatenCloud
33
http://lod-cloud.net/

34. LOD Knowledge Graphs
LOD in Zahlen(2014)
http://linkeddatacatalog.dws.informatik.uni-mannheim.de/state/
1014 Datensätze in RDF
aber nur ca. 8%mit Lizenz!
DBpediaals „Herz“ (http://blog.dbpedia.org/category/dataset-releases/)
4,58 Mio„Dinge“ und ca. 3 Mrd. Triple
LOD als Basis für Wissensgraphen
„Knowledge Graph“ (Google, Yahoo), Satori(Bing)
34
http://lod-cloud.net/

35. Intelligente, semantischeSuche
35

36. SemantischeSuche
„Semantic search over documents is about finding information that is not based just on the presence of words, but also on their meaning“ (http://link.springer.com/chapter/10.1007%2F978-3-642-54798-0_2)
Kombination von Text mit „Wissensstrukturen“
Entität-zentrierte Suche
Kombination verschiedener Techniken
Information Retrieval(IR)
Natural Language Processing (NLP)
Semantic Web (SW)
36

37. Suchprozess im Überblick
37
Query
Construction
Query
Processing
Result
Presentation
Query
Refinement
 Keywords
 Keywords ++
 Natural Language
 Formal Query Languages
 IR-based Matching &
Ranking
 KB-based Matching &
Iinferencing
 Query Visualization
 Document & Data
Presentation
 Summarization
 Implicit Feedback
 Explicit Feedback
 Incentives
Semantic Models
Real World
Resources

38. Basis: Entity Linking
Wechselseitige Verknüpfung von „Ressourcen“ mit ihrer semantischer Repräsentation
NamedEntity Recognition(NER)
Entweder basierend auf Regeln, Statistikenoder Wörterbüchern(oder Kombination)
NamedEntity Disambiguation(NED)
Nutzung des Kontextes im Vektorraum und/oder im Wissensgraphen Relatedness
38

39. Basis: Entity Linking
auch in Metadaten von Multimedia
39
Folieaushttp://de.slideshare.net/lysander07/semantic-analysis-of-video-data-to-enable-exploratory-search

40. Suchprozess im Überblick
40
Query
Construction
Query
Processing
Result
Presentation
Query
Refinement
 Keywords
 Keywords ++
 Natural Language
 Formal Query Languages
 IR-based Matching &
Ranking
 KB-based Matching &
Iinferencing
 Query Visualization
 Document & Data
Presentation
 Summarization
 Implicit Feedback
 Explicit Feedback
 Incentives
Semantic Models
Real World
Resources

41. Anfragen & Semantik
Stichwortsuche (Keywords)
Paradigma der „Single Search Box“
vom Stil eher telegraphisch, z.B. keine Grammatik
wie aus der Einleitung
Erweiterte Stichwortsuche (Keywords ++)
Stichwort mit Kontext
Bsp.:
typisierte Formularfelder
Facettierte Suche
Ortsauswahl in Karte
41
http://www.ebay.de

42. Anfragen & Semantik
Erweiterte Stichwortsuche (Keywords ++)
Amazon Stichworterweiterung & Facetten
42

43. Anfragen & Semantik
Erweiterte Stichwortsuche (Keywords ++)
Ontos: Facettierungbei Suche in Spezifikationen
43

44. Anfragen & Semantik
NatürlichsprachigeAnfragen
Eingabe geschriebener und gesprochener Sprache
Ziel: „menschlichere“ Suche
Beispiele für geschriebeneAnfrage
Google
45

45. Anfragen & Semantik
gesprocheneAnfragen
„On-the-go“ Suche zwingt freie Hände
ca. 30% der Autofahrer lesen/schreiben Textnachrichten beim Fahren! (http://www.cdc.gov/mmwr/preview/mmwrhtml/mm6210a1.htm)
46
http://enterprisematters.blogs.xerox.com
http://grist.org/
http://waz.m.derwesten.de

46. Anfragen & Semantik
NatürlichsprachigeAnfragen, z.B.
Apple‘sSiri(http://searchengineland.com)
47

47. Suchprozess im Überblick
48
Query
Construction
Query
Processing
Result
Presentation
Query
Refinement
 Keywords
 Keywords ++
 Natural Language
 Formal Query Languages
 IR-based Matching &
Ranking
 KB-based Matching &
Iinferencing
 Query Visualization
 Document & Data
Presentation
 Summarization
 Implicit Feedback
 Explicit Feedback
 Incentives
Semantic Models
Real World
Resources

48. Verarbeitung & Semantik
Entitätensind wichtig für Anfragen:
ca. 70%mit NamedEntitys (NE) (entitymentionqueries), z. B. “bradpittKatie holmes”
ca. 50%mit Fokus auf eine NE (entityseekingqueries), z. B. “bradpittattackedbyfans”
ca. 10%suchen nach Klassen von NEs, z. B. “bradpittmovies”
49
•Jeffrey Pound, Peter Mika, Hugo Zaragoza: Ad-hoc object retrieval in the web of data. WWW 2010: 771-780
•Thomas Lin, Patrick Pantel, Michael Gamon, AnithaKannan, Ariel Fuxman: Active objects: actions for entity-centric search. WWW 2012: 589-598

49. Verarbeitung & Semantik
Ziel: Entity Linking der Query Abgleich mit Entitäten in den Dokumenten
Gutes Tutorial: http://ejmeij.github.io/entity-linking- and-retrieval-tutorial/
Vorgehen
1) „Linkbare“ Phrasen identifizieren
50
„Golfvergleichen Deutschland“

50. Verarbeitung & Semantik
Vorgehen
2) Identifikation, RangfolgeundSelektionvon Links
51
„Deutschland“
„Golf“

51. Verarbeitung & Semantik
Vorgehen
3) Disambiguierungdurch Kontext (optional)
52

52. Verarbeitung & Semantik
Vorgehen
3) Disambiguierungdurch Kontext (optional)
53

53. Suchprozess im Überblick
54
Query
Construction
Query
Processing
Result
Presentation
Query
Refinement
 Keywords
 Keywords ++
 Natural Language
 Formal Query Languages
 IR-based Matching &
Ranking
 KB-based Matching &
Iinferencing
 Query Visualization
 Document & Data
Presentation
 Summarization
 Implicit Feedback
 Explicit Feedback
 Incentives
Semantic Models
Real World
Resources

54. Präsentation & Semantik
Ziele: 1) Anfragevisualisieren, 2) Ergebnisse& Zusatzinformationenpräsentierenund ggf. 3) Zusammenfassungenerstellen
User Interfaces
Rich ResultPages
DirectDisplay
neuartige User Interfaces
55

55. Präsentation & Semantik
Rich ResultPages:Google Knowledge Graph
56

56. Präsentation & Semantik
Rich ResultPages:Google Knowledge Graph
57

57. Präsentation & Semantik
Rich ResultPages: Ontos für „Cash“-Magazin
58

58. Präsentation & Semantik
DirectDisplay:Google Knowledge Graph
59

59. Präsentation & Semantik
DirectDisplay: WolframAlpha
60
http://www.wolframalpha.com/input/?i=oranienburg

60. Präsentation & Semantik
Künftige UIs: „getInspired“
61
Keck et al. -Visual Innovations for Product Search Interfaces. Informatik2014. http://www.visea-projekt.de/

61. SemantischeSuche@ Ontos
62
Eventos(IR)
-Information Retrieval(Algebra)
-Clustering & Summarization
-Identifikation von „Story Lines“
OntosMiner(NLP)
-Entity Linking
-Regel-& Wörterbuch-basiert
-Semantische Annotation (RDF)
OntoQUAD
-RDF / Graph Store (Unix, Android)
-Triple & Quadruple
-SPARQL 1.1

62. SemantischeSuche@ Ontos
63

63. Beispiel: IBM Watson
Ziel: CognitiveComputing
Open Domain Frage-Antwort-System
Fragen verstehen & antworten
Wahrscheinlichkeiten für Antworten
Erläuterung warum Antwort korrekt
Schnell: Antwort in < 3s
Evaluation: Jeopardygegen die Besten
64
http://de.slideshare.net/knoesis/knoesis2013

64. Beispiel: IBM Watson
65
http://de.slideshare.net/knoesis/knoesis2013

65. Beispiel: Google Glass
Head MountedDisplays (HMD) sind Realität!
Augmentierungder Realität Informieren statt Suchen
Infos: https://www.google.com/glass/start/
66

66. Beispiel: Google Glass
67

67. AktuelleF&E-Fragen
kaum Lokale Entitäten Erweiterung der LOD notwendig
(Erläuterung) der Herkunft der Informationen
68

68. OffeneF&E-Fragen
Aktualität semantischer Daten
69

69. Offene F&E-Fragen
Automatische Zusammenfassung von
Ergebnissen zu „Stories“  „Robot Journalism“
70
Merge
Analyse
Linked Data Set
Features
Phrase Selection Phrase
Template
Inclusion
First Text
NL Generation &
Cleaning
Text
http://www.slate.com/blogs/future_tense/2014/03/17/
quakebot_los_angeles_times_robot_journalist_writes_article_on_la_earthquake.html

70. Zusammenfassung
71

71. Was nehme ich mit?
Information Retrievaletabliert
Verbesserung der Suche nur durch Modellierung menschlicher Wahrnehmung
Nutzung semantischer Technologien und Wissenbasenvielversprechend
Trend zur „natürlichen Kommunikation“ mit Maschine
72

72. Was nehme ich mit?
“When we started Google 15 years ago my vision was that information would come to you as you need it. You wouldn’t have to search query at all.”
Sergey Brin, Google
73
http://blog.ted.com/2013/02/27/sergey-brin-with-google-glass-at-ted2013/

73. Q&A
Martin Voigt
Ontos AG / GmbH
Nidau(CH) / Leipzig (DE)
T:+49 341 21559-10
M:+49 178 40 222 58
E: martin.voigt@ontos.com
74
https://twitter.com/m_a_r_t_i_nhttps://www.xing.com/profile/Martin_Voigt12http://de.linkedin.com/pub/martin-voigt/9/3a0/64b/