Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Desenvolvendo Aplicativos para o Kinect

18 874 vues

Publié le

- Vamos aprender o que é o Kinect;
- Arquitetura básica;
- Falar sobre o princípios de funcionamento;
- Demonstrar ferramentas de desenvolvimento e o SDK oficial.
- Comentar sobre aplicações e projetos.

Publié dans : Technologie
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici

Desenvolvendo Aplicativos para o Kinect

  1. 1. Kinect Semana Acadêmica de Ciência da Computação - PUCPR Bruno C. de Paula
  2. 2. Quem sou eu? Bruno Campagnolo de Paula brunodepaula@gmail.com http://www.brunocampagnolo.com http://twitter.com/bcp
  3. 3. Por que estou aqui? 26/07/11 Centro de Engenharia de Sistemas Inteligentes
  4. 4. Interesse em aplicações para a GGJ12 ! Global Game Jam 2010 e 2011 ( Curitiba ) 26/07/11 Saiba mais em: http://www.ggjcwb.com/2011/02/relatorio/
  5. 5. Resumo <ul><li>Vamos aprender o que é o Kinect; </li></ul><ul><li>Arquitetura básica ; </li></ul><ul><li>Falar sobre o princípios de funcionamento ; </li></ul><ul><li>Demonstrar ferramentas de desenvolvimento e o SDK oficial. </li></ul><ul><li>Comentar sobre aplicações e projetos. </li></ul>
  6. 6. Público-alvo da palestra <ul><li>Pessoal da computação em geral ; </li></ul><ul><li>Interessados em robótica ; </li></ul><ul><li>Desenvolvedores de jogos; </li></ul><ul><li>Pesquisadores e desenvolvedores interessados no futuro dos sistemas de informação ; </li></ul><ul><li>Educadores ( gesture based learning ). </li></ul>26/07/11
  7. 7. O que é o Kinect? <ul><li>Dispositivo de interação natural ; </li></ul><ul><li>Microsoft; </li></ul><ul><li>XBOX 360 ( jogos ); </li></ul><ul><li>Lançamento: 4/11/2010 ; </li></ul><ul><li>8 milhões vendidos em 60 dias ( recorde ); </li></ul><ul><li>10 milhões até março de 2011; </li></ul>26/07/11
  8. 8. Motivação para criação do Kinect <ul><li>Sucesso do Wii; </li></ul>26/07/11
  9. 9. Wii / Kinect não são tão pioneiros! Dispositivos de interface natural <ul><li>Trabalhos de Myron Krueger (Video Place), Activator, EyeToy, Track IR, projetos finais; </li></ul><ul><li>Problemas sempre foram: performance e reconhecimento facial. </li></ul>26/07/11
  10. 10. Kinect não é o único dispositivo moderno de interface natural atual <ul><li>Wavi Xtion da Asus </li></ul>26/07/11
  11. 11. Kinect não vai ser o único dispositivo futuro de interface natural <ul><li>Windows 8/9; </li></ul><ul><li>iOs 6; </li></ul>26/07/11
  12. 12. Projeto Natal - Origem <ul><li>Forte P&D; </li></ul><ul><li>Alex Kipmann - Diretor de incubação da Microsoft; </li></ul><ul><li>PrimeSense ; </li></ul><ul><li>3DV Systems. </li></ul>26/07/11
  13. 13. History is about to be rewritten. This time human beings will be at the centre -- and the machines will be the ones that adapt . (apresentação do Kinect 2010 )
  14. 14. 26/07/11 Se você sabe mover-se você sabe usar o Kinect
  15. 15. 26/07/11 Qualquer tecnologia suficientemente avançada é indistinguível de magia. Arthur C. Clarke
  16. 16. Arquitetura do Kinect 26/07/11
  17. 17. Arquitetura do Kinect 26/07/11 Projetor de Luz Infravermelha (invisível) Câmera RGB (“comum”) Câmera infravermelha Conjunto de microfones Motor
  18. 18. Arquitetura do Kinect 26/07/11
  19. 19. Arquitetura do Kinect Image Stream <ul><li>Cada pixel representa uma cor; </li></ul><ul><li>640x480 (30 fps) OU </li></ul><ul><li>1280x1024 ( máximo 15 fps); </li></ul>26/07/11
  20. 20. Arquitetura do Kinect Depth Stream <ul><li>Cada pixel representa a distância em relação ao objeto; </li></ul><ul><ul><li>11 bits de precisão ( 2048 níveis de sensibilidade); </li></ul></ul><ul><ul><li>1.2 a 3.5 metros; </li></ul></ul><ul><li>640x480 (30 fps – sem informação do jogador) e 320x240 (30 fps – com informação do jogador); </li></ul>26/07/11
  21. 21. Arquitetura do Kinect Audio Stream <ul><li>4 microfones; </li></ul><ul><li>Anula ruído e eco. </li></ul><ul><li>Permite gravação de audio; </li></ul><ul><li>Excelente reconhecimento de fala (em inglês ); </li></ul>26/07/11
  22. 22. Arquitetura do Kinect Motor <ul><li>27 graus para cima ou para baixo; </li></ul><ul><li>Não chamar com muita freqüencia; </li></ul><ul><li>SDK limita em 15 vezes a cada 20 segundos. </li></ul>26/07/11
  23. 23. Sensor de profundidade 3d do Kinect 26/07/11 Projetor de Luz Infravermelha Câmera infravermelha Sensor de Profundidade 3D
  24. 24. Princípio de funcionamento do sensor de profundidade 3D <ul><li>Medição de um “ padrão ” invisível projetado no corpo; </li></ul>26/07/11 Observação: não é uma câmera estereoscópica !
  25. 25. Informações de esqueleto dos jogadores <ul><li>Detecta até 6 jogadores ; </li></ul><ul><li>Obtém informação de esqueleto de 2 jogadores ; </li></ul><ul><li>Dá para obter a qualidade da captura; </li></ul><ul><li>Este é o grande destaque do Kinect na área de Machine Learning . </li></ul>26/07/11
  26. 26. O que dá para fazer com tudo isto? <ul><li>Vídeo sobre Os 5 primeiros meses do Kinect; </li></ul><ul><li>Antes do lançamento do SDK Oficial!! </li></ul>26/07/11
  27. 27. Desenvolvendo para o Kinect <ul><li>Drivers abertos ( Open Kinect ): </li></ul><ul><ul><li>Windows XP, Vista, 7; </li></ul></ul><ul><ul><li>MacOS X; </li></ul></ul><ul><ul><li>Linux; </li></ul></ul><ul><ul><li>Open Source; </li></ul></ul><ul><li>OpenNI (PrimeSense): </li></ul><ul><ul><li>Windows, Linux, Mac OS X; </li></ul></ul><ul><li>Kinect SDK : </li></ul><ul><ul><li>Oficial da Microsoft; </li></ul></ul><ul><ul><li>Apenas para Windows 7 ; </li></ul></ul>26/07/11
  28. 28. Desenvolvendo para o Kinect Drivers abertos <ul><li>Após o lançamento foi “hackeado” em poucos dias ; </li></ul><ul><li>Ele é um dispositivo USB não criptografado ! </li></ul><ul><li>Microsoft já estava prevendo usos fora do XBOX; </li></ul><ul><li>Open Kinect Contest </li></ul><ul><ul><li>US$ 3.000,00; </li></ul></ul>26/07/11
  29. 29. Desenvolvendo para o Kinect OpenNI <ul><li>Wrappers para linguagens diversas: </li></ul><ul><ul><li>C, C++, Processing, Java, Scratch; </li></ul></ul><ul><li>Fácil de integrar com o FAAST ; </li></ul><ul><li>O FAAST permite a criação de programas para o Kinect sem saber programar para o Kinect. </li></ul>26/07/11
  30. 30. Desenvolvendo para o Kinect SDK oficial <ul><li>13/junho/2011 </li></ul><ul><li>Windows 7; </li></ul><ul><li>2GB RAM; </li></ul><ul><li>DirectX 9.0c; </li></ul><ul><li>Dual Core 2.66 GHz; </li></ul><ul><li>Versão Beta ; </li></ul><ul><li>Licença não-comercial ( cuidado !!) ; </li></ul>26/07/11
  31. 31. DEMOS do QuickStart do Kinect http://channel9.msdn.com/Series/KinectSDKQuickstarts / <ul><li>1)Instalação do Sensor / Download do SDK ; </li></ul><ul><li>2) Configurando o ambiente ; </li></ul><ul><li>3) Criando um projeto Kinect no Visual Studio; </li></ul><ul><li>4) Exibindo a imagem da câmera ; </li></ul><ul><li>5) Alterando o ângulo de elevação da câmera; </li></ul><ul><li>6) Trabalhando com a informação de profundidade ; </li></ul><ul><li>7) Obtendo informações do esqueleto </li></ul>26/07/11
  32. 32. 1)Instalação do Sensor <ul><li>O Kinect que vem no Bundle do XBOX não tem o cabo de energia (pode ser comprado a parte ); </li></ul><ul><li>Não coloque 2 Kinects ou 2 câmeras no mesmo hub USB; </li></ul><ul><li>Verifique a versão do Windows (64 / 32 bits). </li></ul>26/07/11
  33. 33. 2) Configurando o ambiente <ul><li>Instalar Visual Studio (pode ser o Express ); </li></ul><ul><li>Instalar DirectX SDK – Junho 2010 ; </li></ul><ul><li>Instalar Runtime do DirectX ; </li></ul><ul><li>Se quiser usar o reconhecimento de voz: </li></ul><ul><ul><li>Speech Runtime 10.2 ; </li></ul></ul><ul><ul><li>Kinect Speech Platform ; </li></ul></ul><ul><ul><li>Speech SDK ; </li></ul></ul>26/07/11
  34. 34. 3) Criando um projeto Kinect no Visual Studio 26/07/11
  35. 35. 3) Criando um projeto Kinect no Visual Studio 26/07/11
  36. 36. 3) Criando um projeto Kinect no Visual Studio 26/07/11 *
  37. 37. 4) Exibindo a imagem da câmera <ul><li>Ver eventos VideoFrameReady e DepthFrameReady ; </li></ul>26/07/11
  38. 39. 5) Alterando o ângulo de elevação da câmera <ul><li>nui.NuiCamera.ElevationAngle = (int)slider1.Value; </li></ul><ul><li>Máximo de 15 mudanças em 20 segundos; </li></ul><ul><li>-27 a +27 graus; </li></ul>26/07/11
  39. 40. 6) Trabalhando com informação de profundidade <ul><li>Cálculo da distância em milímetros: </li></ul><ul><ul><li>Depth Image Type; </li></ul></ul><ul><ul><ul><li>Bitshift o segundo byte por 8; </li></ul></ul></ul><ul><ul><ul><li>Distância = (int) Bits[0] | Bits[1] << 8 ; </li></ul></ul></ul><ul><ul><li>DepthAndPlayerIndex Type: </li></ul></ul><ul><ul><ul><li>Bitshift do primeiro por 3 e do segundo por 5; </li></ul></ul></ul><ul><ul><ul><li>Distância = (int) Bits[0] | Bits[1] << 5 ; </li></ul></ul></ul><ul><li>O Player Index indica o jogador que está contido naquele ponto; </li></ul><ul><li>Máximo de 6 jogadores; </li></ul>26/07/11
  40. 41. 7) Obtendo informações do esqueleto <ul><li>Evento SkeletonFrameReady . </li></ul>26/07/11
  41. 42. 7) Obtendo informações do esqueleto <ul><li>Cada joint retorna: </li></ul><ul><ul><li>X – Posição horizontal entre -1 e 1 </li></ul></ul><ul><ul><li>Y – Posição vertical entre -1 e 1 </li></ul></ul><ul><ul><li>Z – Distância até o Kinect em metros </li></ul></ul><ul><li>Cada joint tem um estado associado: </li></ul><ul><ul><li>Tracked; </li></ul></ul><ul><ul><li>Not Tracked: raro ; </li></ul></ul><ul><ul><li>Inferred: oclusão, cortado, baixa confiança. </li></ul></ul>26/07/11
  42. 43. Demos diversos <ul><li>Skeletal Viewer; </li></ul><ul><li>ShapeGame; </li></ul><ul><li>Kinect Mouse Cursor ; </li></ul><ul><li>Kinect NUI ; </li></ul><ul><li>Demos no Processing e do FAAST (se der tempo!); </li></ul>26/07/11
  43. 44. Aplicações e possibilidades do Kinect <ul><li>Controle de dispositivos através das mãos (Minority Report); </li></ul>26/07/11
  44. 45. Aplicações e possibilidades do Kinect <ul><li>Controle robótico: </li></ul><ul><ul><li>Kits que eram $28.000 agora são $500; </li></ul></ul><ul><ul><li>Exemplo com quadricóptero ; </li></ul></ul>26/07/11
  45. 46. Aplicações e possibilidades do Kinect <ul><li>Mocap baratíssimo! </li></ul>26/07/11
  46. 47. Aplicações e possibilidades do Kinect <ul><li>Video conferência 3D ; </li></ul>26/07/11
  47. 48. Aplicações e possibilidades do Kinect <ul><li>Scanner 3D (melhor ainda se integrado com uma impressora 3D); </li></ul>26/07/11
  48. 49. Aplicações e possibilidades do Kinect <ul><li>Kinect + Realidade Aumentada </li></ul>26/07/11
  49. 50. Aplicações e possibilidades do Kinect <ul><li>Kinect Shopping </li></ul>26/07/11
  50. 51. Aplicações e possibilidades do Kinect <ul><li>Trocar canal da TV; </li></ul><ul><li>Adaptação de jogos normais para Kinect; </li></ul><ul><li>Ensino de idiomas; </li></ul><ul><li>Ensino em geral; </li></ul><ul><li>Sistema de navegação para carros; </li></ul><ul><li>Música; </li></ul><ul><li>Aplicações médicas; </li></ul><ul><li>Controle de Apresentação (PowerPoint); </li></ul><ul><li>COLOQUE A SUA IDEIA AQUI!!!! </li></ul><ul><li>TENHO INTERESSE EM PROJETOS FINAIS / EVENTOS USANDO KINECT. </li></ul>26/07/11
  51. 52. Mas, não precisa usar o Kinect para tudo... <ul><li>Cliente Twitter usando o Kinect; </li></ul>26/07/11
  52. 53. Links Recomendados <ul><li>Kinect Hacks: </li></ul><ul><ul><li>http://kinecthacks.net/ </li></ul></ul><ul><ul><li>Portal que centraliza aplicativos e testes com o Kinect. </li></ul></ul><ul><li>Kinect Education: </li></ul><ul><ul><li>http://www.kinecteducation.com/ </li></ul></ul><ul><ul><li>Usos do Kinect na educação; </li></ul></ul>26/07/11
  53. 54. Links Recomendados <ul><li>Kinect SDK: </li></ul><ul><ul><li>http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/ </li></ul></ul><ul><ul><li>Portal oficial da Microsoft sobre desenvolvimento para o Kinect; </li></ul></ul><ul><li>Coding4Fun Kinect Toolkit: </li></ul><ul><ul><li>http://c4fkinect.codeplex.com/ </li></ul></ul><ul><ul><li>Bibliotecas extras úteis para uso com o SDK. </li></ul></ul>26/07/11
  54. 55. Links Recomendados <ul><li>OpenKinect: </li></ul><ul><ul><li>http://openkinect.org/wiki/Main_Page </li></ul></ul><ul><ul><li>Download dos drivers open source - libfreenect; </li></ul></ul><ul><li>OpenNI: </li></ul><ul><ul><li>http://www.openni.org/ </li></ul></ul><ul><ul><li>Download dos drivers da PrimeSense. </li></ul></ul>26/07/11
  55. 56. Material Extra e Referências <ul><li>http://blogs.msdn.com/b/uk_faculty_connection/archive/2011/06/21/kinect-for-windows-sdk-event.aspx </li></ul><ul><li>http://readwriteweb.com.br/2010/11/09/um-cientista-explica-o-microsoft-kinect/ </li></ul><ul><li>http://www.kinecteducation.com/ </li></ul><ul><li>http://www.wired.co.uk/magazine/archive/2010/11/features/the-game-changer?page=all </li></ul>26/07/11
  56. 57. Obrigado!! brunodepaula@gmail.com http://www.brunocampagnolo.com http://twitter.com/bcp

×