Apache Solr nicht nur für TYPO3.

1. dkd
development
kommunikation
design

2. DasSolr-System
Suche nicht nur auf Planet TYPO3
Ingo Renner, TYPO3 Core Developer
Olivier Dobberkau, Geschäftsführer dkd

3. IngoRenner
TYPO3 Core Developer
Release Manager TYPO3 4.2
TYPO3 Google Summer of Code Admin
- Caution -
Software Architect, Senior Developer TYPO3-Evangelist
dkd Internet Service GmbH

4. OlivierDobberkau
aka TYPO3 Reverend Neverend
Geschäftsführer
dkd Internet Service GmbH
Research and Development @ dkd
Kandidat für das BCC - Caution -
der TYPO3 Association TYPO3-Evangelist

5. ApacheSolr
Open Source Enterprise Search Server

6. ApacheSolr
Apache Software Foundation
Enterprise Search Server
Basiert auf Lucene Index
Viele starke Funktionen
CNet, Net ix, ilocal.nl, Zappos.com

7. SolrKey-Features
Synonyme
Stopwords
Gewichtung
Facettierung
Bezahlte Ergebnisse
Fehlerkorrektur
Geschwindigkeit

8. Wiefunktioniert‘s
REST ähnliches Interface
Indexieren per POST
Suchen per GET
Ergebnisse als XML, JSON, PHP
Bibliotheken
SolrPhpClient
php5_solr PECL Package

9. SolrIndex
Solr Index
Document Field Field Field Field
Document Field Field Field Field
Document Field Field Field Field Field
Document Field Field
Document Field Field Field Field

10. Heimatplanet
TYPO3

11. HeimatplanetTYPO3

12. SucheB.S.
(Before Solr)

13. IndexedSearch
Indexed Search seit TYPO3 Version 3.x an Board
Frontend Indexierung beim Seitenaufruf
Suche in Seiten und einigen Dateien möglich
Berücksichtigt Sprachen und FE-Gruppen

14. IndexedSearch
Index in der Datenbank
Problematisches Verhalten bei großen Webseiten
Langsam
Keine Sortierung
un exible Templates
OK für kleinere Websites

15. SucheimZeichender
Sonne.
Apache Solr für TYPO3

16. Geschichte
Prototyp im Sommer 2008
Kick-off Februar 2009
Erstes Ziel „Acts like Indexed Search“
Early Access Program (EAP)
T3CON September 2009 Version 1.0
Aktuelle Version 1.3 (public Version)

17. Komponenten
Indexierung
Suche
Flexible Ergebnisausgabe
Analyse und Statistiken
Administration

18. Herausforderungen
Seiten Rendering in TYPO3
Berücksichtigung von Zugriffsrechten
Dateiindexierung
Einfaches Setup für Nicht-Java Leute
Integration und Zugriff auf Solr

19. Lösungen
Record Monitor und Indexing Queue
Eigenes Solr Query Parser Plugin
Integration von Apache Tika
Voll automatisiertes bash Install Script
SolrPhpClient und JSON Response Writer

20. Features
Facettierte Suche
Umfangreiche Dateiindexierung
Multi-language Support
Fehlerkorrektur / Did you mean
Suchwort Highlighting
Autocomplete / Suggestions
Berücksichtigung von Zugriffsrechten

21. GalileoGalilei
Dreht sich die Sonne um die Erde?

22. Mond
Der Mond umkreist die Erde.
Entfernung 385.000 Kilometer von der Erde.
Mondlandung 21 Juli 1969.
Enorme Wirkung auf Menschen und Werwölfe.

23. Mond
Tabell
en

24. TYPO3Tabellen
TYPO3 besteht nicht nur aus Seiten
News, FAQ, Events, ...
Gut: Eigene Indexer Erweiterung für FE
Besser: Index Queue
Record Monitor
Garbage Collection
Keine Eigenentwicklung nötig

25. Mars
Der rote Planet.
Entfernung zur Sonne 228.000.000 Kilometer.
Path nder sendet erste Bilder am 4. Juli 1997.
Leckerer Schokoladen-Riegel.
Kriegsgott im antiken Italien.

26. Mars
Daten
banke -
n
Tabell
en

27. Datenbanken
Anwendungsfall: Daten aus Datenbanken
Datenbanken nicht für Suche optimiert
Apache Solr prädestiniert für Suche
Data Import Handler (DIH)
JDBC
Dateilisten
URL zum Beispiel für RSS Feeds, XML

28. Datenbanken
Inkrementeller Import möglich
Transformer vorhanden
Regex
HTML
Processoren
XPATH

29. Saturn
Geil ist Geil.
Abstand von Erde 1.430.000.000 Kilometer.
96% der Atmosphäre aus Wasserstoff.
Saturn-Ringe ø 1.000.000 Kilometer.
1610 entdeckte Galilei die Ringe und deutete diese
als Henkel
Gott des Ackerbaus.

30. Saturn
Daten
banke - CSV
n
Tabell
en

31. CSVDaten
Wenn alle Stricke reißen: CSV
CSV Update Request Handler
Einfache Kon guration über URL Parameter
Indexierung per POST
Entfernte oder Lokale CSV Dateien
Keine Transformation oder Boosting möglich
Gut für Prototyping!

32. Venus
Entfernung zur Sonne 108.000.000 Kilometer.
Hellstes Objekt am Himmel nach dem Mond.
Göttin der Liebe und des erotischen Verlangens.
437°C im Schatten.

33. Venus
Daten
banke - CSV
n
Webs
ites
Tabell
en

34. AndereWebsites
Jeder hat da sein kleines dunkles Geheimnis
Nicht alle Websites mit CMS Systemen gebaut
Kein Zugriff auf Daten möglich
Nutch Crawler
Crawlt Website ab
Indexiert in eigenen Index
Export zu Apache Solr mittels Mapping Funktion

35. Jupiter
Höchste Gottheit der römischen Mythologie.
Entfernung 778.000.000 Kilometer zur Sonne.
Tag dauert nur 9 Stunden und 55 Minuten.
ø Temperatur -108 C.
Heimatplanet von Fred.

36. Jupiter
Daten
banke - CSV
n
Webs
ites
Tabell
en
Dateie
n

37. Dateien
Word und andere Grausamkeiten
Volltext und unstrukturierte Daten
Meta Informationen in Bildern und Filmen
Apache Tika - Daten Extraktions Toolkit
Meta Daten
Text
Spracherkennung

38. Dateien
Tika ist in Apache Solr als eigener Handler
vorhanden
Erkennt über 1200 Dateitypen
Kann über 600 davon lesen
Of ce Formate inkl. OOXML, ODF und PDF
Audio, Bilder und Video
E-Mails im mbox Format

39. dkd
design
kommunikation
development
sagtdanke.