Автор: Иван Блинков http://www.insight-it.ru Актуально на 1 июня 2008г.

1. Apache Hadoop Презентацию подготовил Иван Блинков

2. История развития проектов Apache Software Foundation Tomcat

6. Архитектура HDFS Блоки данных Datanodes (узлы данных ) Datanodes (узлы данных ) Rack 1 (группа узлов) Rack 2 (группа узлов) Репликация Чтение Операции с метаданными Операции с блоками Запись Namenode (узел имен) Клиент Метаданные (имя, копии, ...): /home/foo/bar, 3, ... Клиент

9. Традиционные СУБД столбцы строки

10. HBase столбцы строки

11. HBase строки столбцы время

12. Традиционные СУБД значения не указаны NULL NULL

13. HBase значения не указаны

14. Логически Физически HRegion (Tablet)

15. HRegion HRegion ограничение по объему

16. HRegion HRegion ограничение по объему

17. HRegion HRegion

18. Архитектура HBase HRegion Server HRegion Server HRegion HRegion HRegion Server HRegion Server HRegion HRegion Операции с данными: чтение и запись Определение местанахождения данных - перераспределение данных - восстановление в случае сбоев - работа с метаданными HMaster Server HStore HMemcache HStore HMemcache HStore HMemcache Клиент HLog HStore HMemcache HLog

20. Входные данные Часть 1 Часть 2 . . . . . . . . . . . . Часть N map() map() map() map() reduce() reduce() reduce() reduce() reduce() map() Часть 1 Результат 1 Результат 2 . . . . . . . . . . . . Результат N Результат вычисления

21. При необходимости: перераспределение и сортировка Входные данные Часть 1 Часть 2 . . . . . . . . . . . . Часть N map() map() map() map() reduce() reduce() reduce() reduce() reduce() map() Часть 1 Результат 1 Результат 2 . . . . . . . . . . . . Результат N Результат вычисления Произвольные системы хранения данных, чаще всего: HDFS или HBase Алгоритмы распределения данных можно задать вручную. По-умолчанию используется просто разбиение на части фиксированного объема.

25. Спасибо за внимание! Остались вопросы?