1. Виртуальный
суперкомпьютер:
HPC как услуга
Massive Solutions, Ltd., 2011
2. HPC не самоцель, а инструмент
Некоторые хотят летать
и становятся летчиками
Другие хотят летать
и становятся пассажирами
Большинство пользователей кластера хотят
просто поставить задачу и получить результат
3. Проблематика подробнее
● Высокая стоимость вычислительных мощностей: стоимость
вычислительного кластера может составлять десятки
миллионов долларов. Держать собственную установку могут
позволить себе единицы от желающих.
● Уникальность каждого кластера - требует высокой
квалификации от пользователя - он должен также быть
администратором и программистом и знать особенности
конкретного кластера
● Большинству пользователей удобнее отдать данные и
получить результат, а не влезать в технические детали
● Много типовых задач, для которых могут быть применены
готовые пакеты
4. Проблематика подробнее
[продолжение]
● Длинный старт до начала эксплуатации: сложности
процедур пуско-наладочных работ и настройки системного
ПО затягивают начало эксплуатации на 3-6 месяцев с
момента поставки оборудования
● Сложность управления и эксплуатации требует уникальной
квалификации от обслуживающего персонала
● Отсутствие или высокая стоимость прикладного ПО:
стоимость коммерческого ПО может в несколько раз
превышать стоимость оборудования
5. Проблематика подробнее
[окончание]
● Невысокий итоговый КПД использования:
низкая отказоустойчивость, отсутствие
специализированных средств мониторинга и
отладки параллельных программ приводят к
многократному перерасходу вычислительных
мощностей, хотя внешне кластер может
выглядеть эффективно использующимся
● Отсутствие учета потребленных ресурсов: не
работает учёт и контроль использования, нет
адекватных оценок качества использования
6. Специфика кластера (наиболее
показательные факторы)
● Вид процессора (Intel x86 / AMD / MIPS / etc.) => оптимизация в
компиляторе, особенности кодирования
● Количество ядер на процессор, процессоров на узел. SMP или
NUMA.
● Объём RAM на узел, на процессор
● Тип и организация сети межузлового обмена, оптимальные
шаблоны использования сети
● Средства межузловой синхронизации для задачи. (Десятки
версий одной только MPI)
● Организация файлового хранилища. Специфика работы
распределённой сетевой FS, неэффективность стандартных
шаблонов работы
● и прочая, и прочая...
7. Решение
Интегрированная услуга по доступу к вычислительным
ресурсам:
● Подготовка профессионалами оптимизированного
решения типовых задач под конкретные установки
(кластера)
● Организация исполнения с передачей и хранения
данных пользователя
● Решение поставщиком услуг хозяйственных и деловых
вопросов взаимодействия с хозяевами оборудования,
инфраструктуры, поставщиками ПО => пользователь
получает только конечную цену решения и не вдаётся
в детали организации
9. VSC
IaaS — вычислительный ресурс по запросу
SaaS — вычислительный пакет по запросу
PaaS — готовый к использованию персональный кластер по запросу
Ориентация на потребителя высокопроизводительных вычислений:
все кластеры одинаковы
простота использования
нет затрат на администрирование
pay for use
централизованный учет использования всех ресурсов и ПО
аренда вычислительных ресурсов
аренда коммерческого ПО
доступность кластера с любой аппаратной конфигурацией
Новые потребители HPC из промышленного сектора
10. Clustrx — фундамент VSC
Свободное программное обеспечение
Для любых кластеров
от персональных кластеров до суперкомпьютеров петафлопсного
уровня производительности
Полная отказоустойчивость
модульность, дублирование и самоконтроль на всех уровнях
Современный менеджер ресурсов
глубоко интегрированный в Clustrx Slurm, полная поддержка
гетерогенности — GPU, FPGA, неоднородные узлы
Встроенный мониторинг реального времени
Система аварийного отключения оборудования, реакция на проблемы
с оборудованием, совместимость с внешними аналитическими
системами
Все управление кластером из одной консоли
единая конфигурация всего комплекса и всех подсистем позволяет
единообразно управлять всем комплексом
Апробирован на кластере Ломоносов в МГУ
11. Virtual Super Computer
Пользователи
Ориентация на
Ориентация на
пользователя
пользователя
Быстрый старт пользования
Учет
Легкий доступ к ресурсам
Учет
Безопасность
Экономия затрат
Безопасность
Безопасность данных
Управление
Управление
Надежность вычислений
Контроль
Владельцы
Разработчики кластеров
прикладного ПО
Эффективное использование ресурсов
Рост рынка сбыта
Привлечение пользователей
Обратная связь с пользователем
Увеличение инвестиционной
Маркетинговая площадка
привлекательности HPC
12. Спасибо за внимание
Massive Solutions
Valentin Nechayev
Руководитель отдела разработки
valentin.nechayev@massivesolutions.co.uk
•••••
ул. Срибнокильская 2а
оф. 90-91
02095, Киев,
Украина
+380 44 5748665
+380 98 4360771
info@massivesolutions.co.uk
http://www.massivesolutions.co.uk
