Форматы открытых данных и работа с открытыми данными 29 октября 2013 года

1. Форматы открытых данных
и работа с открытыми данными
Радченко Ирина Алексеевна
кандидат технических наук, доцент
http://about.me/Irina.Radchenko
http://iRadche.ru
Высшая школа экономики, Москва, 2013
www.hse.ru

2. Требование машиночитаемости данных
2

3. Пятизвездочная модель открытых данных
по Тиму Бернерсу-Ли
Источники: http://5stardata.info/, http://www.w3.org/DesignIssues/LinkedData.html
3

4. Формат PDF (Portable Document Format)
Представление в электронном виде полиграфической продукции
Достоинства
Недостаток
Представление документов
в электронном виде
Мало пригоден
для машинной
обработки
Кроссплатформенность
Стандарт ISO 32000-1:2008
Много программного
обеспечения (в том числе,
свободного) для работы
с данным форматом
4

5. Excel-формат
Представление данных в табличной форме
Представление данных в табличной форме
Пригодность для машинной обработки
Много программного обеспечения для работы
с данным форматом
5

6. Формат CSV
Представление данных в табличной форме
Представление данных в табличной форме
Пригодность для машинной обработки
Открытый формат данных
Много программного обеспечения (в том числе,
онлайн-сервисов) для работы с данным
форматом
6

7. Формат JSON (JavaScript Object Notation)
Текстовый формат обмена данными
Читается как компьютерами, так и людьми
Пригодность для машинной обработки
Может использоваться с любым языком
программирования
Подходит для сериализации сложных структур
данных
7

8. Формат XML (eXtensible Markup Language)
Читается как компьютерами, так и людьми
Рекомендован консорциумом W3C
Пригодность для машинной обработки
Удобен для обмена данными (а также
документами) в интернете
8

9. Модель представления данных RDF
Пригодность для машинной обработки
Является частью Семантического веба
(Semantic Web)
Используемые форматы данных: RDF/XML,
RDF/JSON, RDFa, N-Triples, Turtle, N3
Использует словари, таксономии и онтологии
9

10. Модель представления данных RDF
Источник: http://odinprac.theodi.org/September_2013/resources/Discovering_Data.pdf
10

11. Процесс работы с открытыми данными
11

12. Поиск открытых данных
Каталог открытых данных
Организации Экономического Сотрудничества и Развития
Источник: http://www.oecd.org/statistics/
12

13. Поиск открытых данных
Международный каталог порталов открытых данных
Источник: http://www.datacatalogs.org/
13

14. Поиск открытых данных
Каталог открытых данных
Open Knowledge Foundation
Источник: http://datahub.io/dataset
14

15. Поиск открытых данных
Открытые данные на сайте Министерства
экономического развития
Российской Федерации
Источник: http://www.economy.gov.ru/wps/wcm/connect/economylib4/designElements/opendata/
15

16. Поиск открытых данных
Единая межведомственная информационно-статистическая система (ЕМИСС)
Источник: http://www.fedstat.ru/indicators/start.do
16

17. Поиск открытых данных
Портал открытых данных Москвы
Источник: http://data.mos.ru/datasets
17

18. Обработка данных
Источник: http://openrefine.org/
18

19. Визуальное представление данных
Google Fusion Tables
19

20. Визуальное представление данных
Источник: http://www-958.ibm.com/software/analytics/manyeyes/visualizations/state-universities-in-russia-3
20

21. Визуальное представление данных
Tableau Public
Источник: http://www.tableausoftware.com/public/
21

22. • Пример работы с открытыми данными

23. Поиск наборов данных по выбросу
углекислого газа в атмосферу

24. Поиск наборов данных по выбросу
углекислого газа в атмосферу

25. Портал статистических данных Index Mundi
Источник: http://www.indexmundi.com/facts/russia/co2-emissions

26. Портал статистических данных Index Mundi
Источник: http://www.quandl.com/russia

27. Визуализированное представление данных
по выбросу углекислого газа в атмосферу
Источник: http://www.quandl.com/WORLDBANK-World-Bank/RUS_EN_ATM_CO2E_KT-RussianFederation-CO2-emissions-kt

28. Скачивание данных по выбросу углекислого газа
в атмосферу
Источник: http://www.quandl.com/WORLDBANK-World-Bank/RUS_EN_ATM_CO2E_KT-RussianFederation-CO2-emissions-kt

29. Набор данных по выбросу углекислого газа
в атмосферу

30. Набор данных по выбросу углекислого газа
в атмосферу на сайте Международного
энергетического агентства (МЭА)
Источник:
http://www.eia.gov/cfapps/ipdbproject/IEDIndex3.cfm?tid=90&pid=44&aid=8

31. Набор данных по выбросу углекислого газа
в атмосферу на сайте Международного
энергетического агентства (МЭА)

32. Объединенные наборы данных по выбросу
углекислого газа в атмосферу
Источник:
https://docs.google.com/spreadsheet/ccc?key=0Asi05AgC7aRFdDFORHBjbXhPcWQxQkFieFNtM0JHX1E#gi
d=0

33. Сводные таблицы (Google Fusion Tables)

34. Объединенные наборы данных по выбросу
углекислого газа в атмосферу
Источник: https://www.google.com/fusiontables/data?docid=1bLBR4OzPa2toGYxDpWRFePImW3c6BMaYMCiYfQ#rows:id=1

35. Объединенные наборы данных по выбросу
углекислого газа в атмосферу
Источник: https://www.google.com/fusiontables/data?docid=1bLBR4OzPa2toGYxDpWRFePImW3c6BMaYMCiYfQ#chartnew:id=3

36. Полезные ссылки
1. Список программного обеспечения для работы с PDF:
http://en.wikipedia.org/wiki/List_of_PDF_software
2. ISO 32000-1:2008: http://www.iso.org/iso/catalogue_detail?csnumber=51502
3. Описание CSV: http://tools.ietf.org/html/rfc4180
4. Описание JSON: https://developer.mozilla.org/enUS/docs/Web/JavaScript/Reference/Global_Objects/JSON?redirectlocale=enUS&redirectslug=JavaScript%2FReference%2FGlobal_Objects%2FJSON
5. Описание RDF: http://www.w3.org/RDF/
6. Как правильно искать в Google: http://habrahabr.ru/sandbox/46956/
7. Справка по работе с Google Public Explorer:
https://support.google.com/publicdata/
8. Some Datasets Available on the Web: http://www.datawrangling.com/somedatasets-available-on-the-web

37. Спасибо за внимание!
http://iRadche.ru
http://about.me/Irina.Radchenko
@iRadche
http://iRadche.livejournal.com/
https://www.facebook.com/iRadche
http://www.slideshare.net/iRadche