1. Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
Reabilitação de Pacientes através
da Robótica e de Games
Kléber de Oliveira Andrade
pdjkleber@gmail.com
@pdjkleber
Orientador
Glauco Augusto de Paula Caurin
Campus Party Brasil
Fevereiro de 2012
2. Kléber Andrade
• Bacharel em Ciência da Computação (EEP) – 2005 à 2008
– Um Algoritmo Evolutivo para Adaptação das Estratégias dos NPCs em um
Jogo de Ação.
• Mestrado em Engenharia Mecânica (EESC/USP) – 2009 à 2011
– Sistema Neural Reativo para o Estacionamento Paralelo com uma Única
Manobra em Veículos de Passeio.
• Doutorando em Engenharia Mecânica (EESC/USP) – 2011 à
atual.
– Método Adaptativo para Maximizar a Motivação de Pacientes através de
Robôs e Jogos. (Título provisório)
• Um dos Donos do Ponto V (3 sócios)
– Portal sobre Programação de Jogos Profissional.
– Link: http://www.pontov.com.br
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 2/69 Laboratório de Reabilitação Robótica
4. Robô?
• Origem da palavra Robô
– O termo robot (robô) foi utilizado pela primeira vez pelo escritor
Karel Capek, em 1920, quando escreveu uma história com o
nome “Rossum’s Universal Robots”. Em tcheco a palavra robota
tem o significado de “trabalho escravo”.
• Dicionário
– 1. Aparelho mecânico que imita os movimentos humanos.
– 2. Fig. Pessoa sem vontade própria, geralmente sobre o
comando de outrem.
• Wikipedia
– Um robô (ou robot) é um dispositivo, ou grupo de dispositivos,
eletromecânicos ou biomecânicos capazes de realizar trabalhos
de maneira autônoma, pré-programada, ou através de controle
humano.
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 4/69 Laboratório de Reabilitação Robótica
5. Mito sobre os robôs
“Robôs irão roubar o seu emprego!”
• Agumento contrário: o corpo humano não foi
feito para suportar atividades repetitivas, ou que
requerem concentração continuada por várias
horas. O melhor lugar do homem é na tomada
de decisões e supervisão.
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 5/69 Laboratório de Reabilitação Robótica
6. Robótica (Ficção)
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 6 Laboratório de Reabilitação Robótica
7. Robótica (Realidade)
Honda (2011) Sahin e Guvenc (2007) Sony (2011)
iRobot (2011) Krebs et al. (2008) NÃO (2011)
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 7 Laboratório de Reabilitação Robótica
8. Linha do tempo da Robótica
• Fases da pesquisa em robótica
– Até os anos 80 (Promessas): em vinte anos, robôs
móveis poderão realizar qualquer tipo de tarefa de forma
segura, comunicar com os humanos e “protegê-los”.
– Anos 90 (Muito trabalho e desilusão): Grandes
desenvolvimento na área da robótica móvel, com
resultados experimentais tanto motivadores como
frustrantes. Expansão das modalidades de robôs.
– 2000 à atual (Amadurecimento): Mudança de foco, com
reforço das seguintes qualidades; assistência,
colaboração, tele-operação e entretenimento (Robôs de
serviços).
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 8/69 Laboratório de Reabilitação Robótica
9. O que são Robôs de Serviços?
• Robôs de Serviços
– Robôs de serviço são equipamentos que operam de forma
semi ou totalmente autônoma realizando serviços úteis ao
bem-estar dos seres humanos.
• Areas de aplicação (exemplos)
– Robôs de domético (limpeza de casa, jardim, piscina, etc.)
– Robôs de inspeção de cabos, dutos, etc.
– Robôs médicos (assistentes de cirurgias, etc.)
– Robôs assistivos (para auxiliar pessoas)
– Robôs para entretenimento
• E a reabilitação?
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 9/69 Laboratório de Reabilitação Robótica
10. Reabilitação Robótica?
• Reabilitação
– É a área médica que tem por objetivo principal
restaurar as funções dos pacientes, o máximo
possível (Dikke Van Dalle).
• Reabilitação Robótica
– São robôs de serviços que operam de forma semi ou
totalmente autônoma prestando serviços úteis ao
bem-estar dos seres humanos com deficiências (R.q.
Van der Linde, 2003).
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 10/69 Laboratório de Reabilitação Robótica
11. Por que Reabilitação Robótica?
• Nós temos uma necessidade
crescente de tratamento
– Pessoas mais idosas
– Cada vez mais doentes
• Reabilitação Robótica pode ser
eficaz
– Motivador
– Preciso
– Objetivo
– Adaptativo
• Reabilitação Robótica também
permite atendimento domiciliar
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 11/69 Laboratório de Reabilitação Robótica
12. Questões Tecnicas
• Interação entre humanos e robôs
Humano Robô
• Que tipo de controle é necessário?
• Como interagir com o robô?
• Confiança
• Segurança
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 12/69 Laboratório de Reabilitação Robótica
13. Tipos de controle de movimentos
B
Controle de • Controle de posição
posição • Controle de força A
• Impedância B
Controle de • Admitância
posição/força • Intrinseco A
• Forçado
Periódico • Balistico
A=B
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 13/69 Laboratório de Reabilitação Robótica
14. Gentle
• Objetivo
– O objetivo do GENTLE estabelece práticas de
reabilitação para AVC, alterando a terapia para
acomodar o paciente.
• Controle de Adimitancia
4 DOF
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 14/69 Laboratório de Reabilitação Robótica
15. MIT MANUS
• Objetivo
– O objetivo do projeto é desenvolver, implementar e
testar um sistema robótico para fisioterapia e
reabilitação neurológica
• Controle
– Controle de impedância
• Produto comercial
3 DOF
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 15/69 Laboratório de Reabilitação Robótica
16. Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
17. Rutgers Ankle
• Objetivo
– É para pacientes que necessitam de reablitação no tornozelo
joelho, tanto para diagnósticos ortopédicos e acidente vascular
cerebral.
6 DOF
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 17/69 Laboratório de Reabilitação Robótica
18. Lokomat
• Hocoma, Zurich
– Lesões na medula
espinhal
• Controle
– Controle de posição
(gerador de marcha)
• Produto Comercial
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 18/69 Laboratório de Reabilitação Robótica
19. Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
20. Jogos para Saúde (Fisio - Exercícios)
Universidade de São Paulo Wii Fit Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
21. Jogos para Saúde (Fisio - Reabilitação)
Wii sendo usado para reabilitação
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
22. Definições
• Computer Games
– Interactive, goal-oriented activity, with active agents to play against,
in which players (including active agents) can interfere with each
other
• Serious Games - entertainment is not the primary goal of
gaming
• Serious Games for our purposes – the rehabilitation is the
primary goal rather than entertainment;
– Content
• Rehabilitation (Health), Education, Advergames,
– Theory
• Physics, Art, Psychology, HCI, Cognition, Perception, Pedagogy
– Game Design
• Simulation, Programming, AI, 3D, Level Design
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
23. Common Characteristics of
Successful SG in Education
• Coherent, realistic 3D environment
• The player explores the environment - problem
centered missions
• Complexity grows gradually – more complex
objectives
• Explore concepts like Zone of Proximal
Development ZPD [Kuchar 2006], Hard Fun
[Quinn 2005]
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
24. Dividing the problem in Tasks
• Games + Pedagogy
• Games + Rehabilitation Protocols and Performance Measures
• Content Creation (Researcher, Physic Therapist, Occupational
Task
Repositor Therapist, Physician)
y • Task Repository
Authoring
Task Pool
• Game Author (Selection, Requirements, Pool)
Experienc
• Runtime execution (Experience Engine [Bellotti 2009] , Task
e Engine Sequence, Game Engine)
Execution
GAME
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
25. Suggested Game Composition
Game
Objective Objective
Objective Layer I II
Mission Mission Mission
Mission Layer (Levels) A B C
Task Layer Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7
Game Play
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
26. Projeto STAR
Sistemas de Telereabilitação Assistida por Robôs
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
27. Projeto STAR (Vídeo)
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 27/69 Laboratório de Reabilitação Robótica
28. Projeto STAR
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
29. Projeto STAR
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
30. Projeto STAR – Questionário
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 30/69 Laboratório de Reabilitação Robótica
31. Projeto STAR – Adaptando uma partida de PONG
Experimental Results - 5 Subjects
550
530
510
Ball Speed (Pixel/s)
490
470 Sub#4
450 Sub#5
430
410 Sub#3
390 Sub#2
370
350 Sub#1
1 2 3 4 5 6 7 8 9 10
Game Session Sequence Number
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
32. Projeto STAR – Medindo o desempenho com 2 jogadores
MC 1
Receiver Dispatcher
Game Client Server Motor
MC 2
Controllers
Dispatcher Receiver Monitor
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 32/69 Laboratório de Reabilitação Robótica
33. Projeto STAR – Medindo o desempenho com 2 jogadores
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 33/69 Laboratório de Reabilitação Robótica
34. Integrando Robôs e Games
• Requisitos do Game
– Jogos específicos para cada geração
– Crianças e adolescentes (Maior qualidade gráfico e realismos
físico)
• Requisitos do robô
– Interatividade amigável para o usuário Robô assistivo
– Interação Homem-Máquina segura – estabilidade na presença de
contato com o ambiente (terapeuta-paciente)
– Tempo de confiabilidade, Real
– Integração de tecnologias
• Wii Mote, Wii Balance Board
• Kinect e Webcams
• Cell Processor and GPUs
• Motion Tracking (Rastreado de movimentos)
• Speech + Touch + Motion Tracking + Biosensors
• Keyboard, Joystick
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
35. Próximos passos do Projeto STAR
• Integrar um cliente de Banco de Dados para
Analises futuras (Jogo, Robô e Usuário)
• Desenvolver interface de auxílio ao terapeuta
• Fazer analises de:
– Temperatura facial
– Emoções (técnicas de visão)
– Distrações (aplicados a motoristas)
– Imersões
– Diversão
– Fadiga muscular
• Novos protótipos de sistemas robóticos
• Desenvolver novos jogos (Unity 3D)
Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos 35/69 Laboratório de Reabilitação Robótica
36. Universidade de São Paulo Grupo de Mecatrônica
Escola de Engenharia de São Carlos Laboratório de Reabilitação Robótica
Reabilitação de Pacientes através
da Robótica e de Games
Kléber de Oliveira Andrade
pdjkleber@gmail.com
@pdjkleber
Orientador
Glauco Augusto de Paula Caurin
Campus Party Brasil
Fevereiro de 2012
Notes de l'éditeur
A realidade desta última década está presente nos serviços domésticos, na educação, entretenimento, na área da saúde, nas aplicações militares, explorações espaciais e no setor automobilístico.Aproximadamente 30 segundos
Back to the serious game.These are common characteristics of successful projects in serious games...If we compare this scenario with the games we observe in most projects in Rehabilitation I think we still have a long way to go.I know that relevant results have been reached so far using very simple games, but kids can play for hours in front a convincing game environment.
How this can be done.Our suggestion replaces the role of pedagogy in Educational Serious Games by rehabilitation protocols and performance measures.Since we are using robots here our task is much more deterministic than the related problems in education.First, we propose to divide the problem in small parts or movement tasks.Here we separate the job of the researcher, physician or therapist in the role the content creation. This is a separete role from the game development.They should work here in the development of small modules called tasks containing for example movements and sequencesThis production is collected in repository with different movement protocols and movement sequences. But also some orientation of possible dependencies between the created tasks and also important restrictionsThen game author uses this small to build coherent game experiencesIn the future, following also an idea of the education area the games may compose new experiences in a autonomous way (Experience Engine).
How the games is builtFirst in a manual modeLet say the researcher has a high level objective in mindo for his subjectsLets assume that this objective may be divided in two improvement phases, described here as Mission A and B.This offers already a very elegant form to implement progressive challenging levelsThe game developer can use the tasks provided in the repository to compose each mission.He can combine challenging task with more entertaining onesThe game flows from left to rightLater this may also be implemented in an autonomous form using an AI based experience engine
Now back to the interface between robots and gamesI already spoke a lot about what I think will be the tendency in games, and here they are just summarizedBut I dind’n’tspeek about the requirements on the robotic sideI think by now it is very clear that robots for rehabilitation need to be interactive, user friendlySafe, reliable,And now we have several technologies that may be nice if fitted to this already amazing machines*******************************************While attempts to adapt or re-configure industrial robots for use in rehabilitation robotics appears to be a reasonable approach it suffers from a critical drawback: some twenty years of experience with industrial robots shows that low impedance comparable to the human arm cannot practically be achieved with these machines (intrinsically high impedance machines). In contrast to these approaches other groups have developed robotic technology configured for safe, stable and compliant operation in close physical contact with humans. For example, the MIT-MANUS robot developed in the Newman Laboratory for Biomechanics and Human Rehabilitation was specifically designed for clinical neurological applications and ensures a gentle compliant behavior (Hogan et al., 1992 and 1995; Krebs et al, 1998). Other low-impedance rehabilitation devices are Reinkensmeyer’s ARM Guide (2000), Furusho’s EMUL (2003), and PNEUMO (XXX). Operationally, these robots can “get out of the way” as needed. They can therefore be programmed to allow the recovering stroke survivor to express movement, in whole or in part, even when the attempts are weak or uncoordinated. This feature appears to be crucial for effective therapy. Upper extremity robotics has proven its effectiveness when therapy affords an interactive experience. Furthermore, these interactive devices can obtain uncorrupted measurements of a patient’s sensorimotor function (see for example Krebs et al., 1998, 1999; Rohrer et al., 2002; Reinkensmeyer et al., 2002; Colombo, xxx; O’Malley, yyy, Dipietro et al., 2008 ; Bosecker, 2010).
