꿈꾸는 데이터 디자이너 시즌2 교육설명회 슬라이드 입니다. 시즌2에 대한 정보와 시즌1에서의 결과에 대한 설명입니다.
www.facebook.com/datadesigner2015
https://www.facebook.com/groups/datadesigner/
www.datadesigner.org
Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료Seul Koo
Presentation about Big Data and Data Visualization(Inforgraphics) at KISTI(Korea Institute of Science and Technology Information). Data Visualization Technology can analyze and find a hidden business opportunity through a systematic visualization tool for Big Data.
꿈꾸는 데이터 디자이너 시즌2 교육설명회 슬라이드 입니다. 시즌2에 대한 정보와 시즌1에서의 결과에 대한 설명입니다.
www.facebook.com/datadesigner2015
https://www.facebook.com/groups/datadesigner/
www.datadesigner.org
Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료Seul Koo
Presentation about Big Data and Data Visualization(Inforgraphics) at KISTI(Korea Institute of Science and Technology Information). Data Visualization Technology can analyze and find a hidden business opportunity through a systematic visualization tool for Big Data.
(오리지널 구글 프리젠테이션은 http://goo.gl/uiX2UH 에)
- 권재명 (Jaimyoung Kwon)
1. 실리콘 벨리 데이터 기업들
2. 온라인 광고 사업
3. 데이터 사이언티스트, 데이터 엔지니어, 머신러닝 사이언티스트
4. 실리콘 벨리 데이터 사이언티스트의 하루
5. 데이터 사이언스 툴채인
6. 데이터 사이언스 베스트 프랙티스
7. 데이터 사이언스 필수 통계 개념
8. 사내 데이터 사이언스 도입
본 자료는 빅데이터를 분석하는 전반적인 과정에 대해 정리한 자료로써 사회과학을 포함한 다양한 영역(컴퓨터 공학, 통계학, 수학 등)이 분석 과정에 참여할 수 있는지를 정리한 자료이다. 분석 과정 세부 영역에 있어선 주로 사회과학의 관점에서 기술하였다. 현재 자료는 2010년부터 사회과학의 관점에서 데이터 분석을 계속 해오면서 경험한 부분과 문헌 및 발표 자료 등을 통해 정리한 자료이다. 앞으로 여러 영역을 공부하면서 빅데이터 분석 프로세스를 더욱 발전시켜 나갈 예정이다.
(오리지널 구글 프리젠테이션은 http://goo.gl/uiX2UH 에)
- 권재명 (Jaimyoung Kwon)
1. 실리콘 벨리 데이터 기업들
2. 온라인 광고 사업
3. 데이터 사이언티스트, 데이터 엔지니어, 머신러닝 사이언티스트
4. 실리콘 벨리 데이터 사이언티스트의 하루
5. 데이터 사이언스 툴채인
6. 데이터 사이언스 베스트 프랙티스
7. 데이터 사이언스 필수 통계 개념
8. 사내 데이터 사이언스 도입
본 자료는 빅데이터를 분석하는 전반적인 과정에 대해 정리한 자료로써 사회과학을 포함한 다양한 영역(컴퓨터 공학, 통계학, 수학 등)이 분석 과정에 참여할 수 있는지를 정리한 자료이다. 분석 과정 세부 영역에 있어선 주로 사회과학의 관점에서 기술하였다. 현재 자료는 2010년부터 사회과학의 관점에서 데이터 분석을 계속 해오면서 경험한 부분과 문헌 및 발표 자료 등을 통해 정리한 자료이다. 앞으로 여러 영역을 공부하면서 빅데이터 분석 프로세스를 더욱 발전시켜 나갈 예정이다.
스페인, 뉴욕에서 떠오르는 O2O 데이터 비주얼라이제이션 맵핑 솔루션 CartoDB 소개자료입니다. Location Intelligence라는 BI의 특화된 영역의 솔루션인 카토디비(CartoDB)는 위치, 주소정보를 가진 데이터를 개발자의 도움없이 빠르게 지도위에 비주얼라이제이션해주는 클라우드 기반과 설치형 모두를 지원하는 맵핑 솔루션입니다.
- E-commerce BigData Scale AI Journey
- BigData Scale Deep Learning Production System Use Case
- Deep Learning, Cloud PaaS, Microservices, DevOps, etc.
- E-Commerce AI Production System Strategy
[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big dataK data
미래의 ICT생태계는 데이터를 중심으로 형성될 것입니다. 디지털라이제이션(digitalization)의 가속화로 우리의 일상은 빠르게 데이터 기반으로 급변하고 있습니다. 빅데이터라는 용어가 라디오 프로그램의 선곡기준으로도 등장하는 현 시점에서 다양한 관점의 빅데이터를 살펴봄으로써 실제 산업 생태계에 가져올 기술, 사회, 제도적 혁신의 조짐을 살펴보고자 합니다.
먼저 오픈소스가 가져오는 IT 생태계의 변화와 공유경제라는 키워드를 통해 함께함으로써 커지는 데이터의 가치, 그리고 그 가치를 더욱 크게 할 메타데이터의 중요성을 이야기하겠습니다. 또한 데이터 생태계의 활성화를 위한 거래 플랫폼이 가진 멀티 사이드 플랫폼의 가치와 이러한 플랫폼 활성화를 위한 공공 정책의 데이터 기반 변화 트렌드와 개인 프라이버시 보호 트렌드 및 기술을 살펴보고자합니다.
This document discusses design thinking and how it relates to data and creativity. It provides an overview of design thinking as a process that balances analytical thinking and intuitive thinking. It also discusses how design thinking can be applied to business processes and problem solving. Additionally, it explores how data and creativity can work together, noting that creativity separates humans from animals and involves adapting nature to solve problems. The document advocates for educational systems that encourage students to use existing knowledge to address new challenges independently.
This document is a profile for Ryan Kim, who is described as a "data reading man". It lists his educational and professional background, including degrees in management information systems and computer engineering. It also lists his social media profiles and websites. The document references various sources and topics related to data visualization, analysis, and using data to drive innovation.
This document contains summaries and excerpts from the Harvard Business Review article "When Data Visualization Works — And When It Doesn’t" published on March 27, 2013. It discusses three reasons for visualizing data: confirmation, education, and exploration. It also addresses factors that influence the effectiveness of data visualization like data quality, context, and creator biases.
2. “Be a journalist first. Don’t use the computer to shut out the world”
-Philip Meyer-
3. 저널리즘 정신으로 질문하고 송곳같은 기획 물론 중요
데이터저널리즘 관점에서 조금 더 현실적으로 보자
데이터? 예전처럼 기자에게 잘 정리해서 주지 않는다
어머어마한 스프레드시트의 데이터 속에서 인사이트 찾아야 함
4. • Intro to D3
• Intro to JavaScript
• Intro to the DOM and jQuery
• Building Maps with Leaflet
• Github
• OpenRefine
• Data wrangling with Python
• Regular expressions
• Getting started with SQL
• What's the Story with Algorithms?
NICAR2016 expected sessions
https://goo.gl/6MhJkn
8. 실제 정제한 데이터 예시
1. 노벨상 공식사이트에서 스크래핑
2. 이름, 국가, 년도 그리고 value
3. 국가명에서 수작업 정제
1. 옛 국가명 -> 현재 국가명
2. 인코딩 (UTF-8)
4. Mapping visualization
http://goo.gl/YowHzA
데이터 저널리즘 멋지게 보이나요?
9. 실제 정제한 데이터 예시 1. 해양사고 데이터 수집
2. 타입과 위치, 사고 이유 등을 활용하기 위해 정제 진행
1. 정확한 주소는 정확한 위경도값을 반환
3. 결국 사용하지 못함
4. 잘못된 위경도 값 (국내 공공데이터의 품질 문제)
데이터 저널리즘 멋지게 보이나요?
10. 실제 정제한 데이터 예시
1. 해양사고 데이터 수집
2. 타입과 위치, 사고 이유 등을 활용하기 위해 정제 진행
1. 정확한 주소는 정확한 위경도값을 반환
2. 정제 후에 활용하지 못해 허탈한 경우
3. 결국 사용하지 못함
4. 잘못된 위경도 값 (국내 공공데이터의 품질 문제)
5. https://goo.gl/24niN7
데이터 저널리즘 멋지게 보이나요?
11. 실제 정제한 데이터 예시 1. 정확한 데이터를 위해 데이터셋 제작
2. ggmap package를 활용하여 위경도값 전체 변환
3. Daum API 활용
4. html, css, javascript로 디자인
5. 맛집지도 탄생
6. 좋은 재료로 멋진 음식을 만듬
http://goo.gl/XMqJU7
데이터 저널리즘 멋지게 보이나요?
12. 데이터저널리스트를 위한 교육 필요
• 커뮤니케이션 전공의 커리큘럼 변화 필요
• 커뮤니케이션을 매개하는 채널의 다변화 ➝ 다양한 채널에
대한 기술적인 이해가 필요 (예: 채널의 기술적 특성, 정보
의 기본구조, 서비스의 구성요소 등)
• 데이터를 다루고 처리할 수 있는 능력 필요
• 해외: 컴퓨테이셔널 저널리즘(Computational
Journalism), 데이터 저널리즘(Data Journalism) 등의 교
육 커리큘럼 개발 중
14. 컴퓨테이셔널 저널리즘 커리큘럼
• 현재 미국과 유럽에서 활발하게 연구와 교육이 진행
• 관련 학과에서 저널리즘 커리큘럼으로 채택
• Data-Driven Journalism ➝ Data Journalism
• New York Times, The Guardian 등의 언론사에서 데이터 저널
리즘 전담 팀 만들어 활동 ➝ 데이터 저널리스트 전문 인력 수요
증가
• Columbia Journalism School 과 Stanford Communication
School ➝ 데이터 리터러시를 높이고 데이터를 쉽게 수집, 분석,
시각화할 수 있는 능력을 갖춘 인재 양성 프로그램 제공
15. 2013년 언론 방송 매체학 관련 학과 취업률
학과전공 구분 재적생(명) 졸업생(명) 취업자(명) 취업률(%)
언론 방송 전문대학 3,147 1,047 354 37
언론 방송 매체학 대학 15,261 3,295 1,504 47
자료 : 한국교육개발원 교육통계 DB (2013년 6월)
16. Columbia University Journalism School
• The LEDE Program
• An Introduction to Data Practices
• 데이터 저널리즘과 센서 저널리즘과 같은 data-driven 커리큘럼
제공
• 섬머스쿨: 프로그래밍과 같은 기본적인 컴퓨터 교육 실시
• 학기 중: 데이터 구조, 분석, 비주얼라이제이션 등의 수업 제공
➝ 데이터 저널리즘에 필요한 기술과 방법론 교육
17. Stanford Communication School
• Journalism Program
• 스탠포드 커뮤니케이션 스쿨은 최근 저널리즘 프로그램을 통해 ‘데
이터 기반 저널리즘’ 커리큘럼 제공
• 전통적인 저널리스트를 양성하는 것이 아니라, 데이터, 멀티미디
어와 컴퓨테이션에 기반한 새로운 시대의 저널리스트의 양성을
교육의 목표로 삼고 있음
18. 꿈꾸는 데이터 저널리스트 (예정)
• Data Journalism Program (비영리교육)
• 데이터저널리스트를 꿈꾸는 대학생 대상
• 데이터를 수집, 정제, 분석, 가공하는 과정에 대한 교육
• 데이터저널리즘 뿐만 아니라 간접적 활용 기술 교육
• 기술 교육 뿐만 아니라 프로젝트 수행 (팀프로젝트)
19. R for data journalism
• 데이터 분석, 정제, 시각화가 아닌 좋은 데이터를 먼저 찾자
• 툴에 너무 직찹하지 말자. 한가지만 특화시키자
22. what is r
• 오픈소스
• SPSS와 같은 유료 프로그램의 훌륭한 대안
• 통계처리 및 그래픽 작업을 위한 컴퓨터 언어 환경
• 특히 통계와 시각화에 강점을 가짐
• 초보자도 충분히 활용 가능
• 패키지를 통한 다양한 기능 확장
• 데이터저널리즘에 유용한 언어
| R이란?
23. 데이터저널리즘에서 R을 배워야 하는 7가지 이유
1. R에서 모든 데이터저널리즘을 수행
2. R은 무료이자 오픈소스란 매력 요소를 가짐
3. 쉽게 배울 수 있으며 준비 과정이 간편하다
4. 특히 dplyr, ggplot2, ggmap이란 강력한 패키지
5. R은 툴이 아니기 때문에 당신이 원하는 곳까지 데려다 줌
6. 모든 정제과정을 투명하게 공유할 수 있음 (스크립트)
7. 커뮤니티가 많이 형성되어 있음 (R-bloggers)
24. what is r
R spreadsheet
Data manipulation Data calculation
any data type xls, xlsx, csv
faster heavy software
support larger dataset limited dataset
Many packages X
Free license
39. At SRF Data – the data journalism unit of Swiss public
broadcast, the place where I work – almost all of our larger
projects in 2015 used R in some form or another. On election
day, for example, we published countless fast infographics
and charts on Twitter that found great acclaim. With R, we
were able to prepare the charts in advance and just had to
fetch new results from our SRF-wide API as soon as they
were available. Even tweeting the charts directly from within
R would have been possible (we’ll do that during the next
elections in 2019).
49. 데이터수집
CRAWLING
R - rvest package
STEP 1 • Hadley Wickham 제작
• 파이프 (%>%) 기능 사용 가능
• Table, List 형태의 웹데이터 스크래핑
• Google importHTML 기능과 동일
• 직접 웹에서 데이터를 스크래핑 하는 것을 배워보고 실습 예정
Google Spreadsheet
• 가벼운 테이블과 리스트는 구글스프레드 시트에서 스크래핑 가능
• R을 실행시킬 필요 없이 바로 구글 스프레드에서 엑셀로 import
• csv, excel 등 다양한 포맷으로 export
50. 데이터수집
CRAWLING
서울시 공공데이터 API 활용
STEP 2 • 서울시 열린데이터 광장 API 활용 방법 설명
• API 데이터를 획득하는 방법과 명세 보는 방법 교육
• 실제로 API를 활용하여 공공데이터 가져오는 방법 교육 및 실습
• 팀프로젝트에서 활용하여 열린데이터광장 활용사례 등록 추천
Twitter 소설 데이터
• 트위터 소셜 데이터 크롤링 방법 교육
• 특정 키워드, 기간을 설정하여 관심있는 주제로 크롤링 실습
• R과 Twitter를 함께 활용
51. R - dplyr package
STEP 3 • Hadley Wickham 제작
• Data Wrangling에 특화된 패키지로 데이터 정제에 용이
• select, groupby 등 다양한 매소드를 활용하여 쉽고 빠르게 데이터
정제
• 해외에서는 데이터 정제에 활발히 활용
Google Refine
• 구글에서 제작한 오픈소스 데이터 정제 툴
• 웬만한 데이터는 R에서 데이터 정제 하는 것보다 훨씬 효율적
• 정규표현식을 활용한 데이터 정제 가능
데이터정제
REFINEMENT
53. D3.js
STEP 5 • Mike Bostock이 라이브러리 제작
• JavaScript 기반의 라이브러리로 전세계적으로 많이 시각화로 활용
하고 있는 시각화 라이브러리
• Bar, Pie, Line Chart와 같이 차트별 라이브러리 교육 진행 예정
• Cartography (Mapping) 로 서울시 지도 시각화
Infogr.am
• 간단하고 빠르게 시각화 할 수 있는 Infogr.am
• div 공유 링크를 통해 확장성 큼
• 데이터와 다양한 멀티미디어의 결합을 통한 스토리텔링 데이터 콘
텐츠 제작
데이터시각화
VISUALIZATION
54. STEP 5
데이터시각화
VISUALIZATION
Data Visualization
• 뉴욕타임즈 데이터 저널리즘 ‘The Upshot’의 2014-2015년 포트폴리오
• DAVID LEONHARDT 중심의 데이터 시각화(저널리즘)로 특화
http://www.nytimes.com/interactive/2015/04/22/upshot/happy-birthday-upshot.html?rref=upshot
55. ggplot2
STEP 5
• R에서 시각화가 가능한 ggplot2 교육
• 정제, 분석된 데이터를 활용해 실습
ggmap
• 위경도 값을 활용하여 맵핑 시각화
• 샘플 데이터와 실제 데이터를 수집하여 맵핑해보기
데이터시각화
VISUALIZATION
56. R script는 GitHub에서 다운로드 하실 수 있습니다
https://github.com/sangjaebae/next_journalism
58. Google Spreadsheet로 간단한 수집 가능
=importXML 함수를 활용한 NewYorkTimes 메인화면
기사 헤드를 긁어옴
=IMPORTXML("http://www.nytimes.com", "//h2[@class='story-heading']")
규칙성 있는 데이터스크래핑은 사실상 정제할 것이
거의 없음
75. 한국에선 서서히 시작됐던 데이터 시각화.
그러나 관심있는 사람의 모임만 있을 뿐 열악한 환경
꿈꾸는 데이터 디자이너를 발판으로 성장한 이들
새로운 커뮤니티와 흐름의 탄생
• 데이터리터러시는 데이터 시대에 기자가 가져야할 필수 능력
• R은 데이터저널리즘을 수행하는데 있어서 큰 역할
• Data Driven Article 중요
76. • 배우고자 하는 분들끼리 스터디 (학교에서 가르쳐주지 않는 것들)
• 배우고자 한다면 기술은 결국 정복되는 것
• 기술이 바탕이 됐다면, 멋진 기획을 해보자
datalism.org
77. 2년 넘게 데이터저널리즘을 공부
전 늦게 공부를 시작했지만 여러분들은 일찍할 수 있다
나누고 싶었고 그래서 스터디 했고 꿈데디 했다
데이터저널리즘 넘어야할 벽들이 많다
함께 했으면 좋겠다
88. BOOK ABOUT DDJ
2014 - 2015 데이터 저널리즘 관련 도서
1. 데이터 저널리즘 / 알렌산더 벤자민 하워드
2. 데이터 분석과 저널리즘 / 함형건
3. 데이터 저널리즘 / 임종섭
4. THE DATA JOURNALISM HANDBOOK
5. 데이터 저널리즘 / 조너선 그레이
• 2014년부터 데이터 저널리즘 관련 책들이 나오기 시작
• 함형건 앵커의 데이터 분석과 저널리즘을 제외하고는 이론적 방향성만 제시하는 수준에 그침
• 언론정보 학생들이 데이터 저널리즘에 관심은 많지만 하는 방법을 몰라서 못하는 경우가 많음
90. 지금은 저널리즘 대변환기 <상> 지역신문의 생존 전략-美 텍사스트리뷴 성공 비결
http://www.kookje.co.kr/news2011/asp/newsbody.asp?code=0300&key=20150504.22018191105
저널리즘의 또 다른 희망 '데이터 분석’
http://www.zdnet.co.kr/column/column_view.asp?artice_id=20150308182227&type=det&re=
왜 ‘데이터 저널리즘’인가?
http://news.kbs.co.kr/news/NewsView.do?SEARCH_NEWS_CODE=3028270&ref=A
“포털 야구 중계, 로봇 저널리즘이 대체 가능해“
http://www.bloter.net/archives/227030
“빅데이터로 저널리즘 위기 극복 가능하다”
http://www.newshankuk.com/news/content.asp?fs=1&ss=3&news_idx=201503202235491103
데이터 저널리즘, 생각을 바꿔라
http://www.mt.co.kr/view/mtview.php?type=1&no=2014061914280578959&outlink=1
“데이터 시각화는 더 나은 소통을 위한 방법”
http://www.jobnjoy.com/portal/jobnews/plan_explan_view.jsp?nidx=74864&depth1=1&depth2=1&depth3=1
저널리즘 새 대안으로 부상한 데이터저널리즘
http://www.yonhapnews.co.kr/bulletin/2015/03/13/0200000000AKR20150313133800005.HTML?input=1195m
ABOUT ARTICLES
91. Yeowoon Bae
전공
활용
경력
신문방송학
유럽데이터저널리즘 강의
Infogr.am Korean Ambassador
중앙일보 데이터 저널리즘 강의
중앙SUNDAY 컨설턴트
한국경제신문 데이터저널리즘 프로젝트 Director
블로터 넥스트저널리즘 & 데이터과학 오딧세이 컨퍼런스
꿈꾸는 데이터 디자이너 디렉터
뉴스빅데이터 보도물 제작 연구사업 Director
D3.js
Openrefine
Adobe Muse/ Edge Animate/ Illustrator
R
CartoDB, Google Map, MAPBOX
woons.2016@gmail.com메일