FMK2015: Reguläre Ausdrücke by Arnold Kegebein

Dipl.-Ing. (FH) Arnold Kegebein
Reguläre Ausdrücke – Workshop
FileMaker Konferenz 2015 Hamburg
www.ﬁlemaker-konferenz.com
Reguläre Ausdrücke

Zur Person
Studium der Technischen Informatik
Mehrere Jahre als IT-Leiter in Chicago, IL (USA)
Über 30 Jahre Erfahrung mit Datenbanksystemen
dBase, Oracle, MySql, MS Access, FileMaker, …
Seit 2007 Entwickler von FileMaker Lösungen
Autor des FileMaker Magazins
Referent auf FileMaker Konferenzen

Zum Vortrag
Theorie
•Was sind Reguläre Ausdrücke?
•Wofür können Reguläre Ausdrücke verwendet werden?
•Einführung in die Syntax und Semantik 
Praxis
•Beispiele und Übungen 
Sonstiges
•Reguläre Ausdrücke in FileMaker verwenden
•Plugins für Reguläre Ausdrücke
•Hilfreiches, weiterführendes Material

Theorie

Was sind Reguläre Ausdrücke?
„ Ein regulärer Ausdruck (englisch: regular expression, Abkürzung RegExp
oder Regex) ist […] eine Zeichenkette, die der Beschreibung von Mengen von
Zeichenketten mit Hilfe bestimmter syntaktischer Regeln dient. […]
Ein einfacher Anwendungsfall von regulären Ausdrücken sind Wildcards.
Reguläre Ausdrücke können als Filterkriterien in der Textsuche verwendet werden,
indem der Text mit dem Muster des regulären Ausdrucks abgeglichen wird. Dieser
Vorgang wird auch Pattern Matching genannt.“
Wikipedia – https://de.wikipedia.org/wiki/Regulärer_Ausdruck

Was sind Reguläre Ausdrücke? (2)
• Reguläre Ausdrücke beschreiben eine Familie von formalen Sprachen
(reguläre Sprachen)
• Die regulären Sprachen verwenden eine bestimmte Syntax und Semantik
• Die meisten Programmiersprachen verwenden Perl Compatible Regular
Expressions (PCRE)
• Gilt auch für FileMaker Plugins (RegEx-Plugin, MBS-Plugin)

Wofür können sie verwendet werden?
• Schnelle Mustersuche in Texten
• Suchen ähnlicher Wörter (Meier, Mayer, Meyer, Mair, …)
• Suchen und Ersetzen
• Validierung von Feldinhalten
• Zum Beispiel Überprüfung von E-Mailadressen
• Bereinigen von Texten
• Zum Beispiel Entfernen von doppelten Leerzeichen
• …

Syntax
Die Syntax deﬁniert, wie reguläre Ausdrücke aussehen 
• Die leere Menge ist ein regulärer Ausdruck
• Jedes Zeichen aus dem Alphabet ist ein regulärer Ausdruck
• Reguläre Ausdrücke basieren auf drei Operationen:
• (x|y) Alternative
• (xy) Verkettung
• (x*) Wiederholung

Semantik
Die Semantik beschreibt die formale Bedeutung der Syntax regulärer Ausdrücke
• Metazeichen
• Escapezeichen
• Zeichenklassen
• Quantiﬁzieren
• Anker
• Gruppen
• Ersetzungen
• Flags

Metazeichen
[ ] ( ) { } | ? + - * ^ $ .
• Wenn nach diesen Zeichen gesucht wird, müssen sie „escaped“ werden
• Einige Zeichen haben haben mehrfache Bedeutungen (kontextabhängig)
• zum Beispiel ? oder ^
[A-Z].*?(?=ungb)
^[^aeiou]w+

Escapezeichen
(Backslash) Hebt die besondere Bedeutung des nachfolgenden Metazeichens 
auf bzw. gibt dem nachfolgenden Zeichen eine besondere Bedeutung
Zum Beispiel: 
→ „“ (Backslash) 
* → „*“ (Asterisk) 
d → eine Ziffer (0…9) 
t → „ “ (Tabulator)

Zeichenklassen
[ ] Zeichenklassendefinition; Auswahl genau eines Zeichens 
[abc] → Entweder ein „a“ oder „b“ oder „c“
Einige Metazeichen haben in der Zeichenklassendefinition besondere Bedeutung:
^ Ein einführendes Zirkumflex invertiert die Zeichenklassendefinition 
[âbc] → Ein beliebiges Zeichen, aber kein „a“, „b“ oder „c“ 
[a^b] → Ein „a“, „b“ oder „^“
- Ein Bindestrich zwischen zwei Zeichen beschreibt einen Bereich 
[a-e] → Entspricht [abcde] 
[ae-] → Entweder ein „a“, „e“ oder „-“

Zeichenklassen (2)
. (Punkt) Ein beliebiges Zeichen außer Zeilenumbruch; entspricht [^nr]
d (Ziffer) Ein Ziffer, also [0-9]; einschließlich weiterer Zahlzeichen in Unicode  
(nicht-arabische Ziffern)
D (keine Ziffer) Ein Zeichen, das keine Ziffer ist; entspricht [^d]
w (Wortzeichen) Ein Buchstabe, eine Ziffer oder der Unterstrich; einschließlich  
nicht-lateinische Buchstaben, z. B. Umlaute
W (kein Wortzeichen) Ein Zeichen, das weder Buchstabe noch Ziffer noch 
Unterstrich ist; entspricht [^w]
s (Whitespace) Ein Leerzeichen oder anderes Leerraumzeichen:  
f Seitenvorschub, n Zeilenvorschub, r Wagenrücklauf, t Tabulator,  
v Vertikaler Tabulator
S (kein Whitespace) Ein Zeichen, das kein Whitespace ist; entspricht [^s]

Qualifizierer
Ein Qualiﬁzierer bezieht sich immer auf das vorangestellte Token
Qualiﬁzierer sind in der Voreinstellung gierig (greedy) und versuchen so viele Zeichen
wie möglich mit dem Suchmuster abzugleichen
+ Findet ein oder mehrere Auftreten des vorangestellten Tokens 
Aw+ → Findet alle Wörter, die mit einem großen „A“ beginnen, aber nicht 
das „A“ als Einzelbuchstaben
* Findet kein, ein oder mehrere Auftreten des vorangestellten Tokens 
Aw* → Wie oben, aber jetzt wird auch das „A“ als Einzelbuchstabe gefunden
? Findet kein oder ein Auftreten des vorangestellten Tokens 
colou?r → Findet „color“ und „colour“

Qualifizierer (2)
{4} Findet genau vier Auftreten des vorangestellten Tokens
{2,4} Findet zwei, drei oder vier Auftreten des vorangestellten Tokens 
{0,1}→ Entspricht ?
{2,} Findet zwei oder mehr Auftreten des vorangestellten Tokens 
{1,} → Entspricht + 
{0,} → Entspricht *

Trägheit
? Ein Fragezeichen macht den vorangestellten Qualiﬁzierer träge (lazy) und  
es werden so wenig Auftreten wie möglich gefunden
Aw*? → Findet nur den Buchstaben „A“, unabhängig davon, ob noch 
weitere Buchstaben folgen

Anker
Ein Anker finden eine Position, jedoch kein Zeichen
^ Anfang eines Textes; findet den Textanfang bzw. den Anfang jeder Zeile,  
wenn das Mehrzeilen-Flag m gesetzt ist 
^w+ → Findet das erste Wort in einem Text
$ Ende eines Textes; findet das Textende bzw. das Ende jeder Zeile,  
wenn das Mehrzeilen-Flag m gesetzt ist 
w+$ → Findet das letzte Wort in einem Text
b Wortgrenze; findet den Anfang oder das Ende eines Wortes 
bs → Findet das „s“ am Anfang eines Wortes
B Nichtwortgrenze; Gegenteil von b 
Bs → Findet das „s“ innerhalb eines Wortes

Gruppen
( ) Gruppe; fasst Teilausdrücke als neues Token zusammen 
(ha)+ → Findet ein oder mehrere zusammenhängende „ha“
1 Referenz; verweist auf die erste Gruppe 
b(w)(w)21b → Findet Palindrome mit vier Buchstaben 
Beispiel: „anna“, „otto“
(?:abc) Unterdrücken; die Gruppe wird zwar gesucht, aber nicht erfasst, kann also
nicht referenziert werden

Voraus- und Rückschau
(?=abc) Positive Vorausschau; sucht eine Gruppe, die nach dem Hauptausdruck 
vorhanden sein muss, aber im Ergebnis nicht ausgegeben wird 
d+(?=px) → Findet numerische Pixelwerte
(?!abc) Negative Vorausschau; gibt eine Gruppe an, die nicht nach dem  
Hauptausdruck auftauchen darf 
d+(?!px)b → Findet num. Angaben, deren Einheit nicht „px“ ist
(?<=abc) Positive Rückschau; sucht eine Gruppe, die vor dem Hauptausdruck  
vorhanden sein muss, aber im Ergebnis nicht ausgegeben wird 
(?<=-)d+ → Findet negative Zahlen, ohne das Minus auszugeben
(?<!abc) Negative Rückschau; gibt eine Gruppe an, die nicht vor dem Haupt- 
ausdruck auftauchen darf 
(?<!-)bd+ → Findet nur positive Zahlen

Ersetzungen
$& Gefundener Text
$1 Gefundene Teilgruppe; $3 entspricht der 3. Gruppe
$` Text vor dem gefundenen Text
$’ Text nach dem gefundenen Text

Flags
Flags bestimmen, wie die Ausdrücke interpretiert werden
i Ignore Case - Groß-/Kleinschreibung ignorieren
g Global - Globale Suche; führt eine mehrfache Suche durch, wobei die Suche  
jeweils hinter dem letzten Suchergebnis fortgesetzt wird
m Multiline - Mehrzeiliger Text; die Start- und Endeanker (^ und $) entsprechen 
nun dem Anfang und Ende jeder Zeile, statt des gesamten Texts
s Single-line - Ein Dot (.) ﬁndet auch Zeilenumbrüche

Praxis

E-Mailadresse validieren
RFC-Standard als RegEx umgesetzt:
(?:[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:.[a-z0-9!#$%&'*+/=?^_`{|}
~-]+)*|"(?:[x01-x08x0bx0cx0e-x1fx21x23-x5bx5d-
x7f]|[x01-x09x0bx0cx0e-x7f])*")@(?:(?:[a-z0-9](?:
[a-z0-9-]*[a-z0-9])?.)+[a-z0-9](?:[a-z0-9-]*[a-z0-9])?|
[(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).){3}(?:
25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?|[a-z0-9-]*[a-z0-9]:(?:
[x01-x08x0bx0cx0e-x1fx21-x5ax53-x7f]|[x01-
x09x0bx0cx0e-x7f])+)])
Korrekt, aber nicht empfehlenswert
Kürzerer Regulärer Ausdruck; ﬁndet viele, aber nicht alle E-Mailadressen:
b[A-Z0-9._%+-]+@[A-Z0-9.-]+.[A-Z]{2,4}b

E-Mailadresse validieren (detailiert)
Wortgrenze
Buchstabe, Ziffer
oder ein Zeichen
Wortgrenze
min. 1x
das @-Zeichen Buchstabe, Ziffer,
Punkt oder Minus min. 1x
der Punkt zwei bis vier Buchstaben
• Flag i (ignore case) muss aktiviert sein
• Erkennt die meisten E-Mailadressen: arnold@kegebein.net
• Falsches Positiv: ak..@..de
b[A-Z0-9._%+-]+@[A-Z0-9.-]+
.[A-Z]{2,4}b

Zahlen finden
• Positive Ganzzahl 
• Positive und negative Zahlen 
• auch Zahlen mit Nachkommastellen 
• Zahlen mit Tausender-Trennzeichen 
d+
-?d+
-?d*(,d+)?
([1-9]d{0,2}.(d{3}.)*)d+
[+-]?d+

(Tages- und Monatszahlen).(d{2}){1,2}
Datum finden
• Datumsformat TT.MM.JJJJ: 14.02.2015, 01.01.2016
• Auch ohne führende Nullen und nur kurzer Jahreszahl: 1.1.16
Besondere Herausforderung
• Tages- und Monatszahlen validieren (ohne Schaltjahrprüfung)
dd.dd.d{4}
d{1,2}.d{1,2}.(d{2}){1,2}
(d{1,2}.?){4} Findet auch falsche Positive (1.23.456)
( 
Monate mit 30 Tagen| 
Februar mit 29 Tagen
).(d{2}){1,2}
( 
((0?[1-9]|[12]d)|30).(0?[469]|11)| 
).(d{2}){1,2}
( 
((0?[1-9]|[12]d)|30).(0?[469]|11)| 
((0?[1-9]|[12]d)|30|31).(0?[13578]|10|12)|
).(d{2}){1,2}
( 
((0?[1-9]|[12]d)|30).(0?[469]|11)| 
((0?[1-9]|[12]d)|30|31).(0?[13578]|10|12)|
((0?[1-9]|[12]d)).0?2
).(d{2}){1,2}
( 
((0?[1-9]|[12]d)|30).(0?[469]|11)| 
((0?[1-9]|[12]d)|30|31).(0?[13578]|10|12)|
((0?[1-9]|[12]d)).0?2
).(d{2}){1,2} Zeilenumbrüche nur zur Verdeutlichung eingebaut

Textbeispiele
Auf den sieben Robbenklippen sitzen sieben Robbensippen,  
die sich in die Rippen stippen, bis sie von den Klippen kippen.
Finde:
• Großbuchstaben
• Großgeschriebene Wörter
• Buchstabendoppel
• Wörter mit Buchstabendoppel
• Wörter, die mehrfach vorkommen
• Wörter, mit zwei Vokale hintereinander
• Wörter mit mindest. drei Vokalen
[A-Z]
[A-Z][a-z]*
(w)1
w*?(w)1w*
(bw+b)(?=.*(1))
b[A-Z]w*
w*[aeiou]{2}w*
w*?([aeiou][^aeiouW]*){3,}

Reguläre Ausdrücke in FileMaker
Verschiedene Aufgaben lassen sich mit regulären Ausdrücken ausführen:
• Prüfen, ob ein Text einem RegEx-Muster entspricht
• Eingabe einer IBAN oder numerischen IP-Adresse
• Parsen von Texten
• Text nach E-Mailadressen oder Datumsangaben durchsuchen
• Postanschrift in Einzelkomponenten zerlegen
• Daten ﬁltern, bereinigen oder normalisieren
• Telefonnummern (Leerzeichen und andere Zeichen entfernen)
• Tags aus HTML-Text entfernen

Sonstiges

Reguläre Ausdrücke in FileMaker
• RegEx-Plugin von Dr. Jens Teich
http://jensteich.de/filemaker/filemaker-plugins/regex-plugin/
• kostenlos
• einfache Anwendung 
• MBS-Plugin von Christian Schmitz
http://www.monkeybreadsoftware.de/filemaker/
• basiert auf der C Library
• komplizierter

RegEx-Plugin
RegP_Scan ( regex; text {; flags} )
• Prüft, ob der reguläre Ausdruck im Text vorkommt
RegP_GetText ( regex; text {; flags; register} )
• Ermittelt die erste entsprechende Textpassage
Beispiel: RegP_GetText ( "M(a|e)(i|y)er"; $Text )
RegP_GetTextAll ( regex ; text {; separationstring ; flags; register} )
• Ermittelt alle entsprechenden Textpassagen
RegP_Positions ( regex ; text {; flags ; pairInnerDelimiter ; pairOuterDelimiter } )
• Gibt die Positionen der Gruppen des Ausdrucks zurück

RegEx-Plugin (2)
Aufruf zum Beispiel im Scriptbefehl Variable setzen oder über all da,  
wo eine Formel verwendet wird.
Beispiel: Stärke eines Passwortes überprüfen
Wenn [ Nicht( RegEx_Scan( "[0-9]"; DB::Passwort )  
Und RegEx_Scan( "[A-Z]"; DB::Passwort )  
Und RegEx_Scan( "[a-z]"; DB::Passwort )  
Und RegEx_Scan( "w"; DB::Passwort ) ) ]
…

MBS-Plugin
MBS( "RegEx.Match"; regex; text {; flags} )
• Prüft, ob der reguläre Ausdruck im Text vorkommt 
MBS( "RegEx.MatchList"; regex; list {; flags} ) 
MBS( "List.RegExMatch"; list; regex {; flags} )
• Gibt alle Listenelemente zurück, in denen der Ausdruck gefunden wird 
MBS( "RegEx.FindMatches"; regexRef; text {; options {; returnWholeMatch} )
• Ermittelt alle entsprechenden Textpassagen
• Muss mit RegEx.Compile und RegEx.Free aufgerufen werden

MBS-Plugin (2)
Eine Eigene Funktion kann die Einzelbefehle zusammenfassen:
CF_RegEx ( _text; _regex; _ﬂags )
SetzeVar( [ 
RE = MBS( "RegEx.Compile"; _regex; _flags ); 
Ergebnis = MBS( "RegEx.FindMatches"; RE; _text; 0; 1 ); 
~ = MBS( "RegEx.Free"; RE ) 
]; 
~result 
)

Hilfreiches Material
Internet
• http://regexr.com - Test-Editor, Referenz, Beispiele
• http://regexpal.com - Test-Editor, Referenz
• http://www.regular-expressions.info - Tutorial, Referenz, Beispiele 
Software
• RegExRX von MacTechnologies Consulting (Mac + Win, Shareware) 
http://www.mactechnologies.com/index.php?page=downloads 
Bücher
• Diverse Bücher aus dem O’Reilly Verlag

Fragen & Antworten

Fragen & Antworten
• Jetzt
• Während der Konferenzpausen
• Per E-Mail: arnold@kegebein.net

Vielen Dank unseren Sponsoren
Danke für das Bewerten dieses Vortrages

FMK2015: Reguläre Ausdrücke by Arnold Kegebein

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Plus de Verein FM Konferenz

Plus de Verein FM Konferenz (20)

FMK2015: Reguläre Ausdrücke by Arnold Kegebein