Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Big data e Inteligência Artificial

571 vues

Publié le

Com a crescente onda de dados gerados, está cada vez mais claro que tecnologias de preparação e processamento de Big Data precisam se apoiar em Inteligência Artificial. Nesta palestra apresento o estado da arte em Big Data e IA, mostro claramente a relação entre esses tópicos, dando um direcionamento de como esses conceitos devem ser aplicados. Foi mostrado um estudo de caso da Operação Serenata de Amor, proposta por cientistas de dados e jornalistas para o combate à corrupção no Brasil.

Publié dans : Technologie

Big data e Inteligência Artificial

  1. 1. BIG DATA E INTELIGÊNCIA ARTIFICIAL Prof. João Gabriel Lima linkedin.com/in/joaogabriellima
  2. 2. SOBRE Data Scientist na Epitack Professor Pesquisador em aprendizagem de máquina e análise de dados Doutorando em Mineração de dados e Inteligência Artificial
  3. 3. MOTIVAÇÃO
  4. 4. Conhecimento estratégico Apoio à tomada de decisão
  5. 5. Dados Estruturados Dados Não-Estruturados Dados Semi-Estruturados Tipos de fontes de dados
  6. 6. ONDE ESSA HISTÓRIA COMEÇA?
  7. 7. KDD - KNOWLEDGE DISCOVERY IN DATABASES
  8. 8. MINERAÇÃO DE DADOS A transformação de grandes quantidades de dados em padrões e regras: Direcionada e Não Direcionada Direcionada: tentamos prever um ponto de dados em particular ◦ Ex.: preço de venda de uma casa baseado em informações sobre outras casas à venda no bairro Não direcionada: ◦ Tentamos criar grupos de dados, ou achar padrões em dados existentes
  9. 9. “O objetivo da mineração de dados é criar um modelo que possa melhorar o modo pelo qual interpretamos nossos dados existentes e futuros.
  10. 10. E SOBRE BIG DATA?
  11. 11. O QUE NÃO É BIGDATA?
  12. 12. Uma nova tecnologia Uma nova técnica Um novo processo Uma nova abordagem Um novo campo do conhecimento Uma revolução
  13. 13. O QUE É BIG DATA? Desde antes do surgimento do conceito, já éramos capazes de trabalhar com grandes volumes de dados. Trabalhar por amostragem era a solução mais comum Tratamento de dados => correção ou informação valiosa Técnicas e ferramentas para lidar com o grande volume de dados provenientes de diversas fontes.
  14. 14. AGORA TEMOS MAIS NECESSIDADES Volume Velocidade Variedade Variabilidade Complexidade BIG DATA
  15. 15. QUAIS AS FERRAMENTAS?
  16. 16. Missão impossível?
  17. 17. …são apenas ferramentas Mantenha o foco na solução
  18. 18. INTELIGÊNCIA ARTIFICIAL
  19. 19. Deep Insights
  20. 20. O QUE É?
  21. 21. “Capacidade da máquina em aprender e criar novos padrões
  22. 22. COMO DEFINIR?
  23. 23. COMO ATINGIR A INTELIGÊNCIA? APRENDIZAGEM DE MÁQUINA?
  24. 24. O aprendizado de máquina (ML — Machine Learning) é um subcampo da inteligência artificial dedicado ao desenvolvimento de algoritmos e técnicas que permitam ao computador aprender a partir do reconhecimento de padrões. APRENDIZAGEM DE MÁQUINA
  25. 25. COMO NÓS APRENDEMOS?
  26. 26. Modelos de aprendizagem de máquina Aprender é um processo…
  27. 27. 1. Deep Neural Networks 2. Bayes Classifier Algorithm 3. K Means Clustering Algorithm 4. Support Vector Machine Algorithm 5. Linear Regression 6. Logistic Regression 7. Artificial Neural Networks 8. Random Forests 9. Decision Trees 10. Nearest Neighbours Alguns dos principais modelos de ML
  28. 28. QUAL A IMPORTÂNCIA DA IA ?
  29. 29. Vida Como a IA irá afetar nossa realidade? Negócio Como a IA irá mudar nossos negócios? Sociedade Quais impactos a IA irá causar em nossa força de trabalho?
  30. 30. EXISTE APENAS UM TIPO DE IA?
  31. 31. ANI - Artificial Narrow Intelligence - Especializada em uma única área, resolvendo problemas específicos AGI - Artificial General Intelligence - Especializada em diversas áreas, geralmente atual como assistentes pessoais e sistemas de apoio ao usuário 7 Habilidades: 1. Razão 2. Plano 3. Resolver problemas 4. Pensar de forma abstrata 5. Compreender idéias complexas 6. Aprender rapidamente 7. Aprender com a experiência ASI - Artificial Super Intelligence - Mais inteligente do que os seres humanos em todos os sentidos 3 tipos de Inteligência Artificial
  32. 32. ANI ESTÁ EM TODOS OS LUGARES!
  33. 33. PORQUE AGORA?
  34. 34. UM NOVO MERCADO
  35. 35. ALGUNS PROJETOS BEM INTERESSANTES…
  36. 36. https://github.com/pavelgonchar/colornet COLORNET
  37. 37. https://github.com/hardmaru/write-rnn-tensorflow Generative Handwriting
  38. 38. WaveNet: A Generative Model for Raw Audio https://deepmind.com/blog/wavenet-generative-model-raw-audio/
  39. 39. https://github.com/woodrush/neural-art-tf Neural Art
  40. 40. 97,35% Our method reaches an accuracy of 97.35% on the Labeled Faces in the Wild (LFW) dataset, reducing the error of the current state of the art by more than 27%, closely approaching human-level performance. DeepFace https://research.fb.com/publications/deepface-closing-the-gap-to-human-level-performance-in-face- verification/
  41. 41. YOLO: Real-Time Object Detection https://pjreddie.com/darknet/yolo/
  42. 42. http://cs.stanford.edu/people/karpathy/deepimagesent/ Deep Visual-Semantic Alignments for Generating Image Descriptions
  43. 43. Mágica?
  44. 44. TUDO É MATEMÁTICA!
  45. 45. VISÃO GERAL
  46. 46. QUAL A RELAÇÃO DIRETA ENTRE IA E BIGDATA?
  47. 47. Inteligência Artificial Big DataAnalytics AGI ASI
  48. 48. BIG DATA ANALYTICS
  49. 49. BIG DATA STORYTELLING O poder da narrativa sobre seus dados
  50. 50. BIG DATA STORYTELLING ➤ É uma forma de construir histórias com base em dados ➤ Contar histórias é, desde sempre, uma forma excelente de transmitir experiências, sensações e pensamentos. ➤ Compreender ações e comportamentos para traçar estratégias que possam persuadir e instigar mudanças em um público- alvo ➤ Ponto chave: Visualização adequada da informação ➤ Criar histórias envolventes e apresentações visualmente interessantes é o caminho para tornar os números algo mais “concreto”
  51. 51. BIG DATA STORYTELLING ➤ Grande parte dessas oportunidades é perdida por conta da falta de contextualização dos dados coletados ➤ Não basta coletar e armazenar dados para poder desenvolver narrativas que contem a história de uma empresa ou produto. É preciso igualmente contextualizar esses dados para que o conteúdo se torne relevante ➤ Para obter sucesso utilizando Big Data Storytelling, analistas com expertise precisam estar alocados no processo de desenvolvimento
  52. 52. COMPONENTES DO DATA STORYTELLING
  53. 53. https://www.bloomberg.com/graphics/2014-america-shakes-off-oil-addiction/
  54. 54. Aprenda a visualizar seus dados de forma correta!
  55. 55. SUGESTÃO DE LEITURA STORYTELLING WITH DATA: A DATA VISUALIZATION GUIDE FOR BUSINESS PROFESSIONALS https://goo.gl/2giAWU
  56. 56. E AGORA?
  57. 57. CASO DE SUCESSO Uma revolução no combate à corrupção
  58. 58. COMBATE À CORRUPÇÃO Um grupo de jornalistas, cientistas de dados, estatísticos se reuniu para combater a corrupção através da análise dos dados públicos sobre gastos dos parlamentares, entregando relatórios quinzenais para a realização de denúncias junto aos órgão competentes para a restituição dos valores. https://github.com/datasciencebr/ serenata-de-amor Irio Musskopf Data Science Brigadehttps://goo.gl/RtpO7N
  59. 59. ROBÔS E PLANEJAMENTO A Rosie (https://github.com/datasciencebr/ rosie) digere os dados, aplica modelos matemáticos. E aprende com os exemplos. Hoje a Rosie está aplicando regras dos limites de uso da CEAP. Em um dia foram identificados 157 notas que extrapolam os limites legais. O Jarbas ( https://github.com/datasciencebr/ jarbas) recolhe os dados e apresentará as notas da CEAP com um índice de suspeita de corrupção e seus motivos. Para as ferramentas mais comuns a várias analises, foi criado a “caixa de ferramentas comuns” —  https://github.com/datasciencebr/serenata- toolbox que permite o reaproveitamento de código entre diversos pesquisadores. https://goo.gl/RtpO7N
  60. 60. POR ONDE COMEÇAR? Seja um especialista dos dados!
  61. 61. “Primeiro passo: Não polarize o conhecimento. Estude!
  62. 62. COMO APRENDER DATA SCIENCE DE GRAÇA NAS MELHORES UNIVERSIDADES DO MUNDO Open Source Society Álgebra Linear Cálculo de Variáveis Únicas Cálculo de Variáveis Múltiplas Python Probabilidade e Estatística em R Introdução a Data Science Machine Learning https://goo.gl/PD2AQ8
  63. 63. https://ossu.firebaseapp.com
  64. 64. VISÃO GERAL Um resumo de tudo que conversamos
  65. 65. “Não adianta querer se especializar em big data se não sabe trabalhar com dados. Premissa 1
  66. 66. “Problemas multidisciplinares demandam profissionais multidisciplinares. Premissa 2
  67. 67. BIG DATA E INTELIGÊNCIA ARTIFICIAL Prof. João Gabriel Lima linkedin.com/in/joaogabriellima

×