O documento discute a coleta de dados de dispositivos móveis e como esses dados podem ser usados para reconhecimento de atividades humanas através de classificadores de machine learning. Ele fornece exemplos de como dados de celulares, relógios e outros dispositivos podem ser usados para inferir localização, atividades físicas e comportamentos. O documento também descreve experimentos para classificar atividades como andar, subir escadas e sentar usando dados de acelerômetros.
Human Activity Recognition com dados de dispositivos móveis
1. Coisas estranhas que podemos fazer
com dados coletados em dispositivos
moveis: bye-bye privacidade!
Human Activity Recognition
Fabrcio J. Barth
fabricio.barth@gmail.com
Faculdade BandTec e Watson Group IBM
Novembro de 2014
4. Coleta informac~oes sobre:
Localizac~ao (latitude e longitude);
Movimentac~ao (aceler^ometro, giroscopio);
Ambiente (audio, proximidade, luminosidade);
Social (historico de ligac~oes, contatos).
Exemplos de dispositivos e dados que podem ser coletados | Celulares 4
6. Coleta informac~oes sobre:
Frequ^encia cardaca;
Press~ao arterial.
Exemplos de dispositivos e dados que podem ser coletados | Relogios 6
7. Outras aplicac~oes (talvez menos uteis)
Exemplos de dispositivos e dados que podem ser coletados | Outras aplicac~oes (talvez menos uteis) 7
8. Monitora atividades fsicas
Exemplos de dispositivos e dados que podem ser coletados | Monitora atividades fsicas 8
9. Monitora:
Que atividade esta sendo realizada;
Qual a durac~ao;
Qual a frequ^encia.
Exemplos de dispositivos e dados que podem ser coletados | Monitora atividades fsicas 9
10. Disney
Exemplos de dispositivos e dados que podem ser coletados | Disney 10
11. Monitora:
Quando entrou e saiu do parque;
Por onde andou;
O que e quando comprou;
Em quais parques foi e quando foi.
Exemplos de dispositivos e dados que podem ser coletados | Disney 11
15. cador
capaz de dizer que atividade (sitting, sitting down,
standing, standing up, walking) uma pessoa esta
realizando a partir de dados coletados de aceler^ometros
presentes no corpo desta pessoa.
O que podemos fazer com os dados coletados? | Primeiro exemplo de aplicac~ao [2] 14
16. Pipeline do processo para reconhecimento
de atividades [1]
O que podemos fazer com os dados coletados? | Pipeline do processo para reconhecimento de atividades [1] 15
18. ltrados
Dados coletados a partir de 4 tri-axial aceler^ometros.
Foram consideradas janelas de tempo de 1 segundo,
com overlapping de 150ms.
Medidas de roll, pitch e modulo de acelerac~ao foram
adquiridas.
A amostra dentro da janela de tempo foi agrupada e
atributos foram gerados (i.e., vari^ancia, media).
Foram
23. cador
O dataset possui 165.633 exemplos e 19 atributos:
? user, gender, age, how tall in meters, weight,
body mass index, x1, y1, z1, , x4, y4, z4, class
O dataset foi dividido em conjunto de treinamento e
teste, respeitando a proporc~ao dos valores do atributo
class.
Refer^encia: http://rpubs.com/fbarth/har01
O que podemos fazer com os dados coletados? | Construc~ao do classi
25. Alguns resultados da analise descritiva
O que podemos fazer com os dados coletados? | Alguns resultados da analise descritiva 18
26. O que podemos fazer com os dados coletados? | Alguns resultados da analise descritiva 19
27. Algoritmo utilizado para criac~ao do
modelo: Random Forest
O que podemos fazer com os dados coletados? | Algoritmo utilizado para criac~ao do modelo: Random Forest 20
28. Criando o modelo...
O que podemos fazer com os dados coletados? | Criando o modelo... 21
29. O que podemos fazer com os dados coletados? | Criando o modelo... 22
30. O que podemos fazer com os dados coletados? | Criando o modelo... 23
31. O que podemos fazer com os dados coletados? | Criando o modelo... 24
32. Outro modelo
Modelo que utiliza apenas dados do aceler^ometro localizado na
cintura (Erro estimado: 17.12%)
O que podemos fazer com os dados coletados? | Outro modelo 25
33. Validando o modelo completo com o
conjunto de testes
O que podemos fazer com os dados coletados? | Validando o modelo completo com o conjunto de testes 26
34. Resultados do trabalho original [2]
O que podemos fazer com os dados coletados? | Resultados do trabalho original [2] 27
35. Dado o mesmo dataset, sera que e
possvel determinar quem esta realizando
a atividade?
http://fbarth.net.br/humanActivityRecognition/scripts/har case01 user.html
O que podemos fazer com os dados coletados? | Dado o mesmo dataset, sera que e possvel determinar quem esta
realizando a atividade?
28
36. Segundo exemplo de aplicac~ao [1]
Os experimentos foram realizados com um grupo de 30
voluntarios entre 19-48 anos. Cada pessoa executou seis
atividades:
Walking: andando
Walking Upstairs: andando escada acima
Walking Downstairs: andando escada abaixo
Sitting: sentado
Standing: em pe
Laying: deitado
usando um smartphone (Samsung Galaxy II) na cintura.
O que podemos fazer com os dados coletados? | Segundo exemplo de aplicac~ao [1] 29
37. Com base nos sensores do smartphone, acelerom^etro e
giroscopio, foram capturados a acelerac~ao linear nos tr^es eixos e
a velocidade angular nos tr^es eixos.
O que podemos fazer com os dados coletados? | Segundo exemplo de aplicac~ao [1] 30
38. Adquirindo os dados
http://rpubs.com/fbarth/har02
O que podemos fazer com os dados coletados? | Adquirindo os dados 31
39. Separando os dados
O que podemos fazer com os dados coletados? | Separando os dados 32
40. Construindo o modelo
O que podemos fazer com os dados coletados? | Construindo o modelo 33
41. Construindo o modelo
O que podemos fazer com os dados coletados? | Construindo o modelo 34
42. Validando o modelo
O que podemos fazer com os dados coletados? | Validando o modelo 35
43. Comparando com o artigo original [1]
O que podemos fazer com os dados coletados? | Comparando com o artigo original [1] 36
52. Obrigado!
Todo o material (slides e codigo) aqui apresentado e
Copyleft
O codigo fonte e encontrado em
http://github.com/fbarth
Demais materias s~ao encontrado em
http://fbarth.net.br
fabricio dot barth at gmail dot com
Perguntas? | Obrigado! 45
53. References
[1] Davide Anguita, Alessandro Ghio, Luca Oneto, Xavier Parra, and JorgeL. Reyes-Ortiz. Human activity recognition
on smartphones using a multiclass hardware-friendly support vector machine. In Jose Bravo, Ramon Hervas, and
Marcela Rodrguez, editors, Ambient Assisted Living and Home Care, volume 7657 of Lecture Notes in Computer
Science, pages 216{223. Springer Berlin Heidelberg, 2012.
[2] Wallace Ugulino, Debora Cardador, Katia Vega, Eduardo Velloso, Ruy Milidiu, and Hugo Fuks. Wearable comput-ing:
Accelerometers' data classi
54. cation of body postures and movements. In LelianeN. Barros, Marcelo Finger,
AuroraT. Pozo, GustavoA. Gimenenez-Lugo, and Marcos Castilho, editors, Advances in Arti
55. cial Intelligence -
SBIA 2012, Lecture Notes in Computer Science, pages 52{61. Springer Berlin Heidelberg, 2012.
45-1