THE THINGS AROUND BIG DATA - CLOUD COMPUTING, GOVERNMENT DATA, LINKED DATA

1. THE THINGS AROUND BIG DATA
- CLOUD COMPUTING, GOVERNMENT DATA, LINKED DATA
남궁현
nghyun@chungbuk.ac.kr
nghyun@snu.ac.kr

2. Involved Projects
독립형 컴포넌트 기반 서비스 지향형
페타급 컴퓨팅 플랫폼 기술 개발
빅데이터 활용을 위한 지식자산 구축 및 실
시간 Linked Data 응용 기술개발
ExoBrain 컨소시엄 과제

3. Big Data

4. Buzz Word…?

5. What the Hell is BIG DATA?

6. 3Vs

7. And….
Cloud Computing
Open Data
Linked Data
Government Data
Hadoop
NOSQL
Echo-System

8. Definition?

9. Example

10. Ex.1 - Daum
대규모 Log분석

11. 16시간
1.5시간

12. Content Logs
단위뉴스별 실시간 분석
실시간 콘텐츠 피드백

13. Ex.2 - LinkedIn

14. Simple Graph Analyze

15. Scalable Cluster
16TB

16. Scalable Computing 환경
기존 시스템에서 처리가 힘든 크기의 데이터

17. Too Large Size Data
6,000,000,000 Files
with 60TB Physical Size
Of One Month

18. Machine??
Processing time ??
Storage space??

19. Scalable Computing
Environment

20. Cloud Computing
NOSQL DB
MapReduce

21. Cloud?

22. Cloud Computing

23. Cloud Computing
Job
Result

24. Easy Scalability

25. MapReduce Framework(e.g. Hadoop)
…
Network-wired Hadoop Cluster

26. NoSQL(e.g. MongoDB, Cassandra)

27. Storing and Processing Cluster on Cloud Computing
Storing
Processing
MongoDB
Cluster
…
Hadoop
Cluster
…

28. Twits on MongoDB Cluster
Key:@id+time
Value: twitt message
MongoDB
Cluster
@id+time
Store
…
Query Access

29. MapReduce Cluster
Input
Map
@id
Reduce
#tag
#tag
#tag
@id
#tag
#tag
Output

30. Big Data Handling
Application
/Analyze

31. NOSQL DB
MapReduce

32. 국내에선..?

34. Recent Big Data Research in Korea
Social Data
Governmental Data
Linked Data

35. Social Big Data Analyze

36. Social Big Data Analyze

37. Governmental Data

38. Governmental Data
공유자원포탈(http://data.go.kr)
by 인터넷 정보화 진흥원
서울 열린 데이터 광장(http://data.seoul.go.kr)
by 서울시 정정보화 사업단

39. Linked Data by Tim Berners Lee

41. Social Data
Governmental Data
Linked Data

42. Big Data Research
= Find Forgotten Data

43. Data high- dimensional features
Hash Code Decoding

44. 제 경우는요..

45. 빅데이터 활용을 위한 지식자산 구축 및
실시간 Linked Data 응용 기술 개발
(2012 ~ 2015, 3Years, 8,000 per Year)
데이터 변환/Sync
RDF데이터 처리
주관기관, 데이터확보, Enrichment
사용자 응용서비스
데이터/플랫폼 제공

46. XML, OpenAPI
RDF, Linked Data
VS
Data, API
Web of Data

47. LOD
분할 인덱스
schema
공공DB
RDF
공공DB
검색/접근/API
TextData
공공DB
공공DB
공공DB
데이터/인프라 제공
Linked Data기반 응용서비스
공공데이터 플랫폼
LOD 데이터
자체서비스데이터
공공데이터 플랫폼
LOD Publish
개발자지원

48. IBM Watson
ExoBrainProject

49. Graph Data Storage

50. Knowledge = Large Size Graph Data

51. Real-time Graph Data Processing

52. 감사합니다
nghyun@gmail.com
@chungbuk.ac.kr