Seminário Terceirização e o STF: o que esperar? - 01092014 – Apresentação de ...
Seminário Big Data, 19/05/2014 - Apresentação Edson Gomi
1. BIG DATA – UMA QUESTÃO
URGENTE A SER ENFRENTADA
PELAS EMPRESAS
Prof. Dr. Edson S. Gomi
Escola Politécnica – Universidade de São Paulo
FECOMERCIO – 19 de Maio de 2014
2. SUMÁRIO
¢ O que é Big Data?
¢ Exemplos
¢ Questões técnicas, éticas e legais
3. O QUE É BIG DATA?
¢ São conjuntos de dados;
¢ Grandes em quantidade (petabytes);
¢ Grandes em variedade (bancos de dados,
planilhas, documentos, páginas web, etc);
¢ Grandes em velocidade (tempo real:
supermercados, bancos, cartões de crédito, redes
sociais, telefonia, etc);
¢ Grandes em complexidade de análise.
5. THE SLOAN DIGITAL SKY SURVEY
¢ http://www.sdss.org/
¢ Dados obtidos durante 8 anos criaram mapas
tridimensionais contendo mais de 930.000
galáxias e mais de 120.000 quasares;
¢ O projeto usa um telescópio ótico de grande
angular, de 2.5 m, localizado no Observatório
Apache Point, no estado do Novo México, EUA;
¢ A cada noite, o telescópio gera cerca de 200 GB de
dados ou mais de 70 TB de dados por ano.
6. NSA – NATIONAL SECURITY AGENCY
¢ “The NSA Is Building the Country’s Biggest Spy
Center (Watch What You Say)”
¢ http://www.wired.com/2012/03/ff_nsadatacenter/
all/1
¢ Bluffdale – Utah
¢ Armazenamento da ordem de exabytes.
9. PULSE PROJECT (UNITED NATIONS)
¢ http://www.unglobalpulse.org
¢ Objetivo: investigar como as novas fontes de dados
digitais e tecnologias de análise em tempo real podem
ajudar a criação de políticas públicas para o bem estar
das pessoas, de forma a proteger melhor as
populações contra crises sócio-econômicas;
¢ Utiliza dados de:
— Conteúdo on-line (web, blogs, redes sociais, e-commerce)
— Dados “anonimizados” de telecomunicações, mobile
banking, online search, trânsito, etc;
— Sensores fisicos: imagens de satélite, video, tráfego, etc;
— Crowdsourcing: online surveys, mapas gerados por
usuários.
10. GLOBAL PULSE
¢ “Orange will make 2.5B anonymized records of 5
million mobile phone users in Côte d'Ivoire
available for analysis by research teams from
around the world”
11. EBAY
¢ 90 PB datawarehouse, com dados das transações
e do comportamento dos clientes;
¢ http://www.itnews.com.au/News/342615,inside-
ebay8217s-90pb-data-warehouse.aspx
¢ 100 milhões de usuários, que geram 100 TB de
dados por dia;
12. WIKIPEDIA
¢ 30 milhões de verbetes em 287 idiomas;
¢ 500 milhões de usuários únicos/mês;
¢ 18 bilhões de páginas visitadas/mês;
¢ Em 2013: US$45 milhões de contribuições;
¢ GNU Free Documentation License (GFDL);
13. QUESTÕES TÉCNICAS DO BIG DATA
¢ Captura;
¢ Armazenamento;
¢ Pesquisa/Busca;
¢ Compartilhamento;
¢ Transferência;
¢ Análise;
¢ Visualização
¢ Veracidade;
¢ Curadoria.
14. HOW COMPANIES LEARN YOUR SECRETS?
¢ The New York Times (19/02/2012)
¢ Target: Andrew Pole analisou os registros do
serviço de chá de bebê
¢ Início do 2o. trimestre: compra de loção neutro
¢ 20 semanas: compra de suplementos de cálcio,
magnésio e zinco
¢ Compra de sabonetes neutros, pacotes de
cotonetes e toalhas no final da gravidez
¢ Score de gravidez: 25 produtos
¢ Envio de cupons em estágios específicos da
gravidez
15. MAP: WHERE ARE THE GUN PERMITS IN
YOUR NEIGHBORHOOD?
¢ The Journal News:
http://archive.lohud.com/interactive/article/20121223/
NEWS01/121221011/Map-Where-gun-permits-your-
neighborhood- (22/12/2012)
16. QUESTÕES ÉTICAS E LEGAIS
¢ Mundo de sensores – tênis, carros, celulares,
cartões de crédito : perfil das características e do
comportamento dos indivíduos
¢ Dados como commodity : entregues para outros,
utilizados fora do contexto, em novas aplicações
¢ Opacidade do armazenamento dos dados : onde
estão guardados, quem tem acesso?
¢ Dados em larga escala e abrangência geográfica :
milhões de pessoas, em locais com culturas
diferentes.