O documento discute os conceitos e técnicas de descoberta de conhecimento em bases de dados (DCBD) e mineração de dados, incluindo: 1) a definição de DCBD e como ele se relaciona com mineração de dados; 2) as principais técnicas de mineração de dados como classificação, associação e agrupamento; 3) aplicações comuns de mineração de dados como detecção de fraude e análise de mercado.

1. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Descoberta de Conhecimento em Bases de Dados – DCDB x Mineração de Dados(MD) Fevereiro/2012 Centro Universitário Uni-Anhanguera Business Intelligence Prof. Ms Giovanni Gondim de Castro

2. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br “ Estamos afogados em Dados, mas famintos por Conhecimento” (HAN; KAMBER, 2008) Novembro/2008 Centro Universitário Uni-Anhanguera Implementação de Data Minig Prof. Ms Giovanni Gondim de Castro “ Para quem não sabe aonde quer chegar, qualquer caminho serve” (Ditado Popular)

4. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br DCBD – Parte essencial dos Sistemas de Informações

6. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Técnicas de MD Já temos também as técnicas de: MobiMine, Clinical DataMining, BiblioMining, TextMining, WebMining Han; Kamber – Data Mining: Concepts and Techniques , Intelligent Database Systems Research Lab , 2008.

7. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Principais Usos da MD Alvo de propagandas – enfoque nos consumidores a serem atingidos; Detecção de Fraudes - cartões de crédito, invasão de rede, etc; Análise e Gerenciamento de Riscos – predição (bolsa de valores, chuva, epidemias), análise competitiva, qualidade de controle; Análise e Gerenciamento de Mercado – Costumer Relation Management (CRM) , vendas cruzadas, segmentação de mercado, análise do perfil do comprador; Fayyad, Piatetsky-Shapiro e Smyth, From Data Mining to Knowledge Discovery in Databases - American Association for Artificial Intelligence – 1996.

8. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Análise e Gerenciamento de Riscos Aonde estão os dados para análise - Transações de cartões de crédito, cupons de desconto, ticket alimentação, cartões de fidelidade (e.g. Bretas, Ipiranga, Casas Baia, etc); Alvo de Propagandas - Encontrar nichos do “padrão" dos clientes que partilham as mesmas características: interesse, renda, hábitos ; Determinar os padrões de consumo de uma pessoa ao longo do tempo – Conversão de um padrão de vida do consumidor (de solteiro para casado, de casado para divorciado ou viúvo, de não pai para pai); Determinar perfil de consumidor – a MD permite determinar quais consumidores compram determinados tipos de produtos (Classificadores ou Clusters); Identifica os requisitos de consumo – identifica os melhores produtos para diferentes consumidores; identifica, através da predição, quais fatores serão decisivos para atrair novos consumidores; Fornece informação sumarizada – relatórios multidimensionais sumarizados; informação estatística sumarizada (tendência e variação dos dados).

9. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Análise Corporativa e Gerenciamento de Riscos Planejamento financeiro e avaliação dos ativos da empresa -> análise do fluxo de caixa e previsão; -> análise para avaliar bens ativos da instituição; -> análise de séries temporais (financeira ou epidemiológica, análise de tendências, etc) Planejamento de Recursos ->resumir e comparar os recursos e despesas; Competição -> monitorar competidores e decisões de mercado ; -> agrupar consumidores em classes e classificar de acordo com o objeto de venda; -> definir estratégia de preços em um mercado altamente competitivo .

10. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Detecção e Gerenciamento de Fraudes Aplicações - amplamente utilizado em cuidados de saúde, varejo, serviços de cartões de crédito, telecomunicações (serviço de fraude de cartões de crédito, etc); Aproximação - utilização de dados históricos para construir modelos de comportamento fraudulento e de mineração de dados que ajudem a identificar casos semelhantes; Exemplos – (a) Seguro automóvel: detectar um grupo de pessoas que simula acidentes visando recolher seguros; (b) Lavagem de dinheiro: detectar transações suspeitas de dinheiro (EUA Treasury's Financial Crimes Enforcement Network); (c) Seguro Médico: detectar círculo de pacientes e profissionais médicos. Detecção de tratamento médico inapropriado – Comissão de seguro de saúde Australiano identifica que, em muitos casos, foram solicitados testes de desnecessários; Detecção de fraude telefônica - Telefonema modelo: o destino da chamada, a duração, hora do dia ou da semana. Analisar os padrões que desviarem-se de uma norma esperada. A British Telecom tem identificado grupos de assinantes com chamadas freqüentes intra-grupo, especialmente para telefones celulares, e quebrou um grupo fraudulento que já tinha causado um prejuízo multimilionário.

11. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Outras aplicações Esportes – IBM tem ajudados os times New York Knicks e Miami Heat a preparar suas estratégias de jogo através da análise do comportamento de seus adversários nos jogos anteriores; Astronomia – observatórios descobriram mais de 22 quasares com a ajuda da MD; Acesso a Internet – IBM aplica algoritmos de MD, para gerar padrões, a partir do acesso aos logs dos registros de navegação da internet para descobrir as preferências de navegação dos consumidores. A partir destes padrões, é analisada a efetividade da propaganda feita via internet (popups e anúncio feitos nas páginas da net) de forma a promover o produto mais factível de venda ao consumidor que está presente naquele momento;

12. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Problemas que a MD visa resolver: Aumento exponencial no número de dados coletados; Empresas apenas armazenam mas não analisam os dados; Instituições que não trabalham com seus repositórios de dados e que desejam se estabelecer no mercado competitivo. Fayyad, Piatetsky-Shapiro e Smyth, From Data Mining to Knowledge Discovery in Databases - American Association for Artificial Intelligence – 1996.

13. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br DCBD x Mineração de Dados (MD) Inteligência Artificial - Aprendizado de Máquina; Bancos de Dados - Recursos para manipular grandes massas de dados; Estatística - Avaliação e Validação de Resultados.

14. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br DCBD – Parte essencial dos Sistemas de Informações

15. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Boente et. all, 2007 Processo Completo de Data Mining

16. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Passos para o processo de DCBD 1 - Aprender a aplicação do domínio Conhecimento prévio e relevante e trabalhar com metas de aplicação; 2 - Criar um conjunto de dados alvo: os dados seleção Limpeza dos dados e pré-processamento (consome até 60% do esforço) 3 – Redução e transformação dos dados Encontrar características úteis, dimensionalidade / redução de variáveis, representação através de agrupamento 4 – Escolher as funções de MD desejadas Sumarização, Classificação, Regressão, Associação ou Clusterização 5 – Escolher o algoritmo de MD Realizar a MD: Procura de padrões de interesse 6 - Avaliação de padrões e apresentação de ‘modelo de conhecimento’ Visualização, transformação, retirada de padrões redundantes, etc 7 – Uso de conhecimento descoberto

17. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Md e Inteligência de Negócios (BI) Aumento do potencial para influenciar Decisões Usuário Final Analista de Negócios Análise de Dados DBA Tomada de Decisão Representação de dados Tecnicas de Visualização Mineração de Dados Descoberta de Informação Exploração de Dados OLAP, MDA Análise estatística, Pesquisa e Impressão Data Warehouses / Data Marts Origem de Dados Papéis, Arquivos, Provedores de Informação, Sistemas de Banco de Dados, OLTP

18. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Limpeza e Integração de Dados Arquitetura de um típico Sistema de MD Data Warehouse Filtragem Base de Dados Base de dados ou servidor de data warehouse Motor de MD Avaliação de Padrões Interface Gráfica do Usuário Base de Conhecimentos

19. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br MD: Que tipo de Dados? 1 – Bases Relacionais; 2 – Data Wharehaouses; 3 – BD Transacionais; 4 – BD avançadas e repositório de informações; - BD orientadas a objeto e relacionais; - BD espaciais; - BD no formato de séries temporais e/ou dados temporais; - BD no formato texto puro e no formato não magnético (CD, DVD); - BD heterogêneas ou herdadas de outras instituições; - www (no formato ou a partir de páginas da internet).

20. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br MD: Funcionalidades 1 – Descrição do Conceito: caracterização e/ou discriminação: Generalizar, Sumarizar e contrastar características de dados (e.g. regiões secas x chuvosas); 2 – Associação (co-relação e casualidade): -> Associação multi-dimensional (várias dimensões) versus associação dimensional (e.g. idade [9 a 10; 20 a 29; 30 a 39], estado civil [Casado, Solteiro], Filhos [0,1,2,3,4,> 5]); Estes dados trazem a possibilidade estatística de estudo de variáveis de margem de confiança (e.g. 60%) e;/ou suporte de informação (2%); -> Relação -> pessoas que possuem computador possuem também software (100% -> 75%) que deve ser registrado (e.g. windows). Os outros 25% dos que possuem computador possuem softwares que não necessitam de registro (e.g. linux).

21. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br MD: Funcionalidades Classificação e Predição: -> Encontrar modelos (funções) que descrevam e distinguam classes ou conceitos para a futura predição; e.g. classificar países baseando apenas no clima, ou classificar carros que usam gás baseando-nos na quilometragem; -> Apresentação: árvore de decisão, a classificação geral, redes neurais -> Previsão: Predição de alguns valores desconhecidos ou numéricos; valores em falta em uma série; Análise de Agrupamento: ‘ Rótulos’ desconhecidos: Os dados fornecem grupos, conhecidos também como rótulos, que podem ser trabalhados no intuito de descobrir novos padrões;

22. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Técnicas e Tarefas de MD

23. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Técnicas e Tarefas de MD

24. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Exemplo de Árvore de Decisão

25. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Regras retiradas a partir da Árvore de Decisão

26. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Exemplo de Árvore de Decisão Exemplo de árvore de classificação no Weka (Waikato, 2004)

27. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Exemplo de Árvore de Decisão Exemplo de regras de associação no Weka (Waikato, 2004)

28. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Base de Regras é normalmente uma Série Temporal

29. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Neurônio Natural x Neurônio Artificial

30. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Principais Arquiteturas de RNA´s

31. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Aprendizado de RNA´s

32. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

33. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

34. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

35. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

36. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

37. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

38. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

39. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

40. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

41. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

42. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

43. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

44. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

45. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

46. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br

47. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Exemplo de Predição utilizando RNA

48. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Exemplo de Predição utilizando RNA

49. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Exemplo de Predição utilizando RNA

50. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Gráfico de Predição de Dengue em Goiânia em 2001

51. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Gráfico de Predição de Dengue em Goiânia em 2003-2004

52. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Série Temporal de Dengue em Goiânia de 2001 a 2005

53. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br Diversas(os) Bancos(Bases) de Dados totalizando 734Mb geraram um Vetor de Informações de 400kb

54. Novembro/2008 Centro Universitário Uni-Anhanguera Prof. Ms Giovanni - prof_gio_castro@yahoo.com.br