빅 데이터 개요 사내 발표 자료

1. 빅데이터 개요
2013-02-19, 최범균

2. 내용
●
빅데이터
●
시장 현황
●
관련 기술
2

3. 빅데이터
●
예전에는 장기적으로 저장되지 않거나 분석되
지 않던 데이터
– 예,
●
모든 사용자의 활동 로그
●
장비들의 상태 정보
– 과거엔 불가능했던 영역
– 기술적 / 경제적 / 분석 기술
3

4. 현재 빅데이터가 가능한 이유
●
모든 사건에 대한 기록 가능
– 디지털 저장 가능
●
경제적 타당성
– 1980년 1Gb 약10억 → 2010년대 약 100원
●
분석 기술
– 의미있는 시간에 빅데이터 분석 가능
●
3V
– Variety: 저장되지 않던 다양한 정보가 저장되고
– Volume: 방대한 데이터 저장이 경제적으로 가능
– Velocity: 분산병렬처리로 빠른 분석이 가능
4

5. 과거 → 빅데이터
●
과거
– 샘플링
– 누락된 개별 데이터로 인한 부정확한 분석/예측
●
빅데이터
– 전수조사 가능
– 분석/예측 정확성 향상
5

6. 적용 방향 2가지
●
BI (Business Intelligence)
– 모든 정형/비정형 데이터 분석 목적
– 기존 분석 인프라 혁신에 초점
– 서비스 제공자 중심
●
OI (Operational Intelligence)
– 머신 데이터에 대한 정보 처리
– IT 운용 통찰(예측) 얻는데 목적
●
예, 장비 장애 발생 예측
6

7. 사례
●
석유시추선 (SAS 자료)
– 모든 부품 상태 정보 보관 → 장애 징후 패턴 분석
– 장애 징후 이용, 부품 교체 준비 선대응
●
이전, 장애 발생 → 부품 수송 → 수리까지 7일
●
장애로 인한 손실을 최소화
– 적용 결과
●
고장으로 인한 정지일 80% 감소, 생산량 5% 증가
●
운영비용 7억$ 감소
7

8. 사례
●
VISA 카드: 카드부정사용강지시스템
– 회원의 이용패턴에서 벗어난 사용 분석
●
독감 예방, 구글 트렌드
– 검색어 분석으로 독감 주의보/예방
●
오바마 캠프 선거 마케팅
– 트위터/페이스북 이용한 유권자 정보 분석
– 다양한 시나리오 적용한 모의 시험 매일 6.6만 번
●
분석 통한 유권자 별 설득 성공 확률 계산
●
IBM 소셜감성지수(Social Sentiment Index)
8

9. 시장 규모
●
전망
– 기업들의 빅데이터 시장 규모 (가트너)
●
2012년 280억$ → 2013년 340억$
●
빅데이터 수요
– 금융 25%, 서비스 15%, 제조업15%, 정부12%, 교육11%
– 북미 59%, 유럽 19%, 아태지역 17%
– 대기업 63%, 중소기업 25%
– 정부의 도입
●
오바마 행정부 2억$ 예산 투입: Data-driven gov
– 데이터를 기반으로 정책 결정
9

10. 빅데이터 기술
●
기반 기술은 이미 마련
– 저장, 프로세싱: 하둡/Map Reduce 및 관련 기술들
●
상용 솔루션도 하둡과의 연동 지원
●
주목 기술(테크크런치 2012년 10월)
– Storm(실시간 프로세싱 시스템) + Kafka(메시징 시스템)
– Drill, Dremel: Peta 규모 데이터의 탐색, 애드혹 쿼리
– R: 분석/통계 도구
– Gremlin: 그래프 분석 (소셜 분석)
– SAP HANA: 인 메모리 분석 플랫폼
●
기타
– D3: 시각화
10

11. 한국 시장
●
불투명! 시장 규모 전망 없음
– 2012년 성공사례 희박, 아직은 파일럿 수준
– KT/SKT CDR 분석 적용 중
●
한국 시장의 특징
– 규모 작음, 소품종 대량 생산임
●
국내 금융 IT 투자의 감소 예상 (KRG 보고서)
– 2012년 -0.7% 성장, 올해 -0.3% 예상
– 증권/카드, 캐피털 업종 10% 이상 축소 전망
●
새 정부의 IT 사업 계획 불확실
11

12. 한국 시장에서의 가능성
●
어쨋든 데이터는 계속 증가 (특히 모바일)
●
가능성있는 영역
– 빅데이터 기반 분석/예측 영역
●
정부기관, 의료, 에너지, 소셜 분석, 공장
– 저장 기술은 이미 선점 됨
●
장애물
– 능력자 부족: 데이터 과학자, 기술 전문가 절대부족
– 기업내 결정권자의 인식/지원 부족 → 투자 X
– 레거시 연동: “SQL 지원이 안 되서.....”
12

13. 기타 자료
●
IDC, Experton Group, Symantec의 빅데이터 관련 조사
– http://blogs.sap.com/innovation/big-data/big-
data-facts-figures-022187
13