Grammaires

1. ALF
Grammaires

2. Bibliographie pour aujourd'hui
Keith Cooper, Linda Torczon, Engineering a Compiler
– Chapitre 3
• 3.1
• 3.2
Alfred V. Aho, Monica S. Lam, Ravi Sethi, Jeffrey D.
Ullman, Compilers: Principles, Techniques, and Tools (2nd
Edition)
– Chapitre 4
• 4.2
• 4.3

3. Contenu
• Grammaires indépendantes
du contexte
• L'arbre du parse
• Jison

4. John Backus
• Américain
• FORTRAN
• Forme Backus-Naur
• Turing Prix

5. Grammaire
• Une manière formelle de décrire une langue
• Une langue peut avoir plusieurs grammaires
• Hiérarchie de Chomsky

6. Hiérarchie de Chomsky
Grammaire Description
Type 0 Récursivement énumérable
Type 1 Dépendante du contexte
Type 2 Indépendant du contexte
Type 3 Grammaire régulière

7. Grammaire indépendante du contexte
• Terminaux
– jetons (tokens)
– a, b, c, d, e, f
• Non-terminaux
– S, V, N, E ..
• Symbole de début
– S
• Productions
– N -> …

8. Exemple
S -> A
S -> B
A -> a
A -> aA
B -> b
B -> bB

9. Exemple
Token
numero: [0-9]+
sign: [+-*/]
Production
E -> E sign E
E -> -E
E -> numero

10. Exemple
Token
numero: [0-9]+
sign: [+-*/]
Production
E -> E sign E | -E | numero

11. Exemple
Token
numero: [0-9]+
sign: [+-*/]
Production
E -> E sign E
| -E
| numero

12. Dérivation
• Remplacement d'un non terminal par sa
production
– 1+2-3+6
• E => 1 + E
– => 1 + 2 - E
– => 1 + 2 - 3 + E
– => 1 + 2 - 3 + 6

13. Dérivation de gauche
• 1+2-3+6
• E => 1 + E
– => 1 + 2 - E
– => 1 + 2 - 3 + E
– => 1 + 2 - 3 + 6

14. Dérivation la plus à droite
• 1+2-3+6
• E => E + 6
– => E - 3 + 6
– => E + 2 - 3 + 6
– => 1 + 2 - 3 + 6

15. L'arbre du parse
• 1+2-3+6
• E => 1 + E
– => 1 + 2 - E
– => 1 + 2 - 3 + E
– => 1 + 2 - 3 + 6
E
1 + E
2 - E
3 + E
6

16. L'arbre du parse
• 1+2-3+6
• E => E + 6
– => E - 3 + 6
– => E + 2 - 3 + 6
– => 1 + 2 - 3 + 6
E
E
E
E
1
+ 2
- 3
+ 6

17. L'arbre du parse
• 1+2-3+6
• E => 1 + E
– => 1 + E + 6
– => 1 + 2 - E + 6
– => 1 + 2 - 3 + 6
E
1 + E
E
2 - E
3
+ 6

18. Ambiguïté
• Grammaires qui produisent plus d'un arbre du
parse
E -> E sign E
| -E
| numero

19. Exemple de Ambiguïté
• Grammaires qui produisent plus d'un arbre du
parse
if -> IF expression statements
| IF expression statements ELSE statements

20. Exemple de Ambiguïté
if (a == 0)
console.log ('zero');
else
console.log ('not zero');

21. Exemple de Ambiguïté
if (a == 0)
if (e == 0)
console.log ('zero');
else
console.log ('not zero');

22. Exemple de Ambiguïté
if (a == 0)
if (e == 0)
console.log ('zero');
else
console.log ('not zero');

23. Exercises
• Grammaire de parenthèses
• Expression avec multiplication et division
• Expression avec parenthèses
• Vecteur
• Déclaration de variable
• Déclaration de fonction

24. Jison
https://github.com/GerHobbelt/jison

25. Frontent
Source
Lexer Parser Semantic
AST
Tokens Parse Tree
Unexpected token … Expected …
Object has no
function …
Jison

26. Générateur de lexer/parseur
Expressions
régulières
Grammaire
Fichier.l
Fichier.js
jison
Fichier.y

27. Fichiers Jison
• Lexer
– fichier.l
• Parser
– fichier.y

28. Letter [A-Za-z]
WS s+
%%
"FOR" { return ‘FOR'; }
"IF" { return ‘IF'; }
"+" { return ‘PLUS’; }
"-" { return ‘MINUS’; }
{Letter}+ { print (yytext); return 'ID'; }
{WS}+ { /* whitespace separates tokens */ }
%%
function print (text)
{
console.log ('token '+text);
}
Fichier.l (lex ou flex)

29. Règles
Code Utilisateur
Options
Fichier.y (yacc ou bison)
%token FOR ID GOTO PLUS MINUS
%start Lines
%left PLUS MINUS
%{
function rule (name, elements) {...}
function token (type, value) {...}
%}
%%
Lines:
Statement NewLine Lines { $$ = [$Statement, $Lines]; }
| Statement NewLine { $$ = $Statement; };
Statement:
| FOR ID '=' Expression TO Expression STEP Integer {...}
| GOTO Expression {...}
| IF Expression THEN Statement {...}
| RETURN {...};
Expression: Expression PLUS Expression {...}
| Expression MINUS Expression {...}
| Expression MULTIPLY Expression {...}
| Expression DIVIDE Expression {...};

30. Options
%token FOR ID GOTO PLUS MINUS
%start Lines
%left PLUS MINUS
%{
function rule (name, elements) {...}
function token (type, value) {...}
%}
%%
Lines:
Statement NewLine Lines { $$ = [$Statement, $Lines]; }
| Statement NewLine { $$ = $Statement; };
Statement:
| FOR ID '=' Expression TO Expression STEP Integer {...}
| GOTO Expression {...}
| IF Expression THEN Statement {...}
| RETURN {...};
Expression: Expression PLUS Expression {...}
| Expression MINUS Expression {...}
| Expression MULTIPLY Expression {...}
| Expression DIVIDE Expression {...};
Règles
Code Utilisateur
Options

31. Code Utilisateur
%token FOR ID GOTO PLUS MINUS
%start Lines
%left PLUS MINUS
%{
function rule (name, elements) {...}
function token (type, value) {...}
%}
%%
Lines:
Statement NewLine Lines { $$ = [$Statement, $Lines]; }
| Statement NewLine { $$ = $Statement; };
Statement:
| FOR ID '=' Expression TO Expression STEP Integer {...}
| GOTO Expression {...}
| IF Expression THEN Statement {...}
| RETURN {...};
Expression: Expression PLUS Expression {...}
| Expression MINUS Expression {...}
| Expression MULTIPLY Expression {...}
| Expression DIVIDE Expression {...};
Options
Règles
Code Utilisateur
Declarations des fonctions et variables

32. Règles
%token FOR ID GOTO PLUS MINUS
%start Lines
%left PLUS MINUS
%{
function rule (name, elements) {...}
function token (type, value) {...}
%}
%%
Lines:
Statement NewLine Lines { $$ = [$Statement, $Lines]; }
| Statement NewLine { $$ = $Statement; };
Statement:
| FOR ID '=' Expression TO Expression STEP Integer {...}
| GOTO Expression {...}
| IF Expression THEN Statement {...}
| RETURN {...};
Expression: Expression PLUS Expression {...}
| Expression MINUS Expression {...}
| Expression MULTIPLY Expression {...}
| Expression DIVIDE Expression {...};
Code Utilisateur
Options
Règles
règle: production de grammaire { Actions }

33. Règles
Code Utilisateur
Options
Fichier.y
%token FOR ID GOTO PLUS MINUS
%start Lines
%left PLUS MINUS
%{
function rule (name, elements) {...}
function token (type, value) {...}
%}
%%
Lines:
Statement NewLine Lines { $$ = [$Statement, $Lines]; }
| Statement NewLine { $$ = $Statement; };
Statement:
| FOR ID '=' Expression TO Expression STEP Integer {...}
| GOTO Expression {...}
| IF Expression THEN Statement {...}
| RETURN {...};
Expression: Expression PLUS Expression {...}
| Expression MINUS Expression {...}
| Expression MULTIPLY Expression {...}
| Expression DIVIDE Expression {...};

34. Sujets
• Grammaires indépendantes du contexte
• L'arbre du parse
• Ambiguïté
• Jison

35. Questions