O documento descreve o projeto e avaliação de um sistema multiusuário de interação por voz usando gramáticas. O sistema foi projetado para reconhecer comandos de voz em português para controlar dispositivos domésticos. Os autores descrevem o desenho da gramática, testes de precisão e taxas de aceitação dos comandos.

1. Evaluation of Multi-user System of
Voice Interaction Using Grammars
Elizabete Munzlinger, Fabricio da Silva Soares,
and Carlos Henrique Quartucci Forster
{bety, p2p, forster}@ita.br
ITA – Instituto Tecnológico de Aeronáutica
EEC-I – Engenharia Eletrônica e Computação – Informática
Divisão de Ciência da Computação

2. Agend
 Introduction
 Grammar Design
 Tests and Results of Accuracy
 Conclusion

3. Introduction
 Exaustive training
Fig. 1. Train the system to recognize one’s voice through the exhaustive reading of texts

4. Introduction
 Several contexts
Fig. 2. Systems which particular application and contexts

5. Introduction
 Domotic system
Port [4], Action [true]
1
Por favor, on
ligue a
lâmpada!
Fig. 3. Prototype of Domotic system

6. Introduction
 Domotic system
Fig. 3. Prototype of Domotic system

7. Grammar Design
 Grammar tree Main
Rule1 Rule2 Rule3
Terminal symbols Rule4 Rule1 Rule5 Rule6
Rule7 Rule8 Terminal symbols Terminal symbols
... ... Terminal symbols
Fig. 4. The grammar tree composed by nodes

8. Grammar Design
 Grammar in Java Speech Grammar Format
grammar br.ita.domovox;
public <command> = [<introdução>] <action> [<complemento>] <object> [<complemento>] [<conclusão>];
<introdução> = [<educação>] [<complemento>] [<quem>];
<action> = <ação>;
<complemento> = [<posse>] [<outros>] [<onde>] [<tempo>] [<educação>] [<outros>];
<object> = [<indica>] [<posse>] <dispositivo>;
<conclusão> = [<introdução>];
<educação> = [<outros>] [<tratamento>] [<sistema>] [<tratamento>] [<complemento>];
<quem> = [<sujeito>] [<desejo>];
<posse> = [<outros>] [<possessivo>] [<outros>] [<sujeito>] [<outros>];
<onde> = [<lugar>] | [<outros>];
<tempo> = [<quando>] | [<outros>];
<tratamento> = por favor | faz favor | por gentileza | por obséquio | faça a gentileza | faça o favor | fazer o favor | fazer a
gentileza;
<sistema> = pc | computador | notebook | máquina | sistema | domovox | sistema domovox | sistema de voz | sistema de fala | meu
| cara | bicho | mano | maluco;
<sujeito> = eu | tu | ele | ela | nós | vós | eles | elas | você | vocês | mim | gente;
<desejo> = [<querer>] | [<desejar>] | [<precisar>] | [<necessitar>] | [<ir>] | [<poder>];
<querer> = quero | queres | quer | queremos | quereis | querem | querendo;
<desejar> = desejo | desejas | deseja | desejamos | desejais | desejam | desejando;
<precisar> = preciso | precisas | precisa | precisamos | precisais | precisam | precisando;
<necessitar> = necessito | necessitas | necessita | necessitamos | necessitais | necessitam | necessitando;
<ir> = vou | vais | vai | vamos | vão;
<poder> = pode | podes;
<ação> = <verdadeiro> | <falso>;
<verdadeiro> = (ligar | ligue | ativar | ative | ascender | ascenda) {true};
<falso> = (desligar | desligue | desativar | desative | apagar | apague) {false}
<indica>= [<artigo>] | [<indicação>];
<artigo> = o | a | os | as;
<indicação> = esse | essa | este | esta | aquele | aquela | aquilo | todos | todos os | todas as | tudo;
<dispositivo> = <porta00> | <porta01> | <porta02> | <porta03> | <porta04> | <porta05>;
<porta00> = (tudo | dispositivos | aparelhos) {0};
<porta01> = (luz | lâmpada) {1};
<porta02> = (ventilador | aparelho ventilador) {2};
<porta03> = (tv | tevê | televisão | televisor | aparelho de tv | aparelho televisor) {3};
<porta04> = (abajur | luminária | candelabro) {4};
<porta05> = (outros) {5};
<quando> = já | agora | nesse momento | nesse minuto | nesse segundo | agora mesmo;
<lugar> = aqui | aí | lá | ambiente | quarto | sala | peça | lugar | casa | apartamento | ap;
<possessivo> = meu | minha | meus | minhas | nosso | nossa | nossos | nossas | vosso | vossa | vossos | vossas | dele | dela |
deles | delas | desse | dessa | desses | dessas | nesse | nessa | nesses | nessas;
<outros> = que | da | de | do | mesmo | para | pra | momento | mandando | também | inclusive | estou | aí | ô | é | ã | hum |
mas | pode;

9. Grammar Design
 Computational resources
100% 1000 100% 980MB
CPU
800
600
50%
400 Memory
200
0
0 min 0,5 min 1,0 min 1,5 min 2,0 min 2,5 min 3,0 min
Graph. 1. Graphic of allocation and processing of the structure of the grammar

10. Grammar Design
 Redesign of grammar
Comando
Complemento* Ação Objeto
Por favor, eu Verdadeiro Falso Porta 01 Porta 02 ...
você, sistema,
do, preciso,
ligar, desligar, 1, 2, TV,
meu, pode, de,
ativar, desativar, luz, televisor,
quarto, a, o...
acender apagar lâmpada televisão
... ... ... ...
Fig. 5. The new grammar tree

11. Grammar Design
 Computational resources
100% 1000
CPU
800
600
50%
400 423MB Memory
200
0 5%
0 min 0,5 min 1,0 min 1,5 min 2,0 min 2,5 min 3,0 min
Graph. 2. Graphic of allocation and processing of the structure of the grammar

12. Grammar Design
 Representation of grammar
Fig. 6. Grammar represented through a state machine with a recursivity rule

13. Grammar Design
 Accepted commands
Table 1. Examples of simple and complex commands based in the rules of grammar

14. Tests and Results of Accuracy
 Domotic system
logged
Por favor,
ligue a
lâmpada!
registered
Fig. 7. Comparison between registered spoken words and the log system

15. Tests and Results of Accuracy
 General rates of acceptation
100%
90% 98% Accepted without
log analysis
80% 85,70%
70%
60% Disregarding
definite articles
50%
40%
30% Exactly commands
20% with log analysis
24,10%
10%
0%
All commands (simples and complex)
Graph. 3. Rates of acceptation of all commands

16. Tests and Results of Accuracy
 Rates of acceptation by simple and complex commands
40%
35% Definite articles
35,3 accepted
30% 33,0
25%
20%
15% Definite artices
right
10% 10,9
5% 8,9
0%
Simple commands Complex commands
Graph. 4. Rates of definite articles acceptation by simple and complex commands

17. Tests and Results of Accuracy
 Rates of acceptation by numbers from 1 to 32
70% Word form
60% 66,80%
Numeral form
50%
40% Just word form
30% 33,20% 34%
20% Just numeral form (6, 7,
14, 19, 23, 24, 25, 26, 28,
10% 29, 32)
0%
0%
Number from 1 to 32
Graph. 5. Rates of acceptation by numbers from 1 to 32

18. Tests and Results of Accuracy
 Rates of errors in the numbers recognition
 Highest rates of error:
 21, 27 and 31
 Mistook words with similar sound:
 21 “20 eu”
 31 “30 aí eu” “30 aí vou”
“30 aí o” “30 aí os”
“30 aqui os” “30 aqui eu”
“30 eu” “30 em”
This happened in 70% of the cases

19. Conclusion
 Behavior of a voice interface system
 Design of grammar
 Experiments with users
 Redesign of grammar

20. References
1. Burstein, A., Stolzle, A., Brodersen, R.W.: Using Speech
Recognition in a Personal Communications System. In:
Communications, 1992. ICC 92, Conference record,
SUPERCOMM/ICC ’92, IEEE, Los Alamitos (1992)
2. Pfaff, G.E.: User Interface Management Systems, p. 72.
Springer, New York (1985)
3. Seneff, S.: TINA: A Natural Language System for Spoken
Language Applications. Comput. Linguist. 18, 61–86 (1992)
4. Sun Microsystems Ltd, Java Speech API Programmer’s Guide
Version 1.0, [online at],
http://java.sun.com/products/javamedia/speech/
5. Vieira, R., Lima, V.L.: Lingüística Computacional: Princípios e
Aplicações. In: JAIA – ENIA, 2001, Fortaleza (2001)

21. Evaluation of Multi-user System of
Voice Interaction Using Grammars
Elizabete Munzlinger, Fabricio da Silva Soares,
and Carlos Henrique Quartucci Forster
{bety, p2p, forster}@ita.br
ITA – Instituto Tecnológico de Aeronáutica
EEC-I – Engenharia Eletrônica e Computação – Informática
Divisão de Ciência da Computação