1. Основы разработки высокопроизводительных параллельных приложений. Практикум. Департамент стратегических технологий, Microsoft.

2. Содержание

3. Инфраструктура Туалеты Перерывы Эвакуация !=  Тренеры Денис Котляров, Microsoft Василий Маланин, Microsoft Андрей Паринов, Независимый эксперт Группа поддержки

6. Часть 1. Введение в параллелизм. Многопоточное программирование.

8. Типы параллелизма.

9. Ускорение->ЭффективностьvsПереносимость

10. Распараллеливание = Инструменты && (Предметные области || Задачи)

11. Описание предметной области

12. Описание предметной области 800 600

13. Описание предметной области

14. n = количество проц. Tпаралл.= {(1-P) + P/n}Tпослед Закон Амдала P Ускорение= Tпослед/ Tпаралл. P/2 Послед. T P/∞ (1-P) (1-P) Описывает верхний предел ускорения от параллельного выполнения Последовательный код ограничивает ускорение

15. Проведение вычислений на локальной машине Для проведения эксперимента необходимо открыть в в VS 2008 проект из папки SolutionsequentialeqContrastStretchbr />Необходимо выбрать архитектуру процессора, на которому будут провиодиться вычисления. Для проведение вычислений на кластере необходимо выбрать 64-х битную архитектуру процессора.

16. Проведение вычислений на локальной машине

17. Постановка задач для кластера в HPCS Адрес MSU кластера IKI кластера HN.PRACTICUM.CS.MSU.SU 193.232.2.150 Имя головного узла (head node)hn.practicumn.cluster.local Имя вычислительных узлов cn1,cn2…cn1.cluster.local,cn2.cluster.local… Сетевая папка доступная всем hn.practicumpps hn.cluster.localpps вычислительным узлам Сетевая папка на каждом cn1pps, cn2pps... cn1.cluster.localpps вычилительном узле (физический расположенная в C:pps) Для доступа к IKI кластеру необходимо включить VPN соединение, указав User name: <user_ name> Password: < password> Domain: Cluster

18. WHPCS

19. Постановка задач для кластера в HPCS

20. Постановка задач для кластера в HPCS

21. Постановка задач для кластера в HPCS

22. Постановка задач для кластера в HPCS Для последовательных и OpenMPпрограмм: app.exe argument1 argument2 ... Для программы MPI: mpiexec mpiapp.exe argument1 argument2 ...

23. Постановка задач для кластера в HPCS 6) После сохранения задачи, нажмите кнопку «Submit». Должно появится окно подтверждения прав для постановки задачи. Необходимо ввести имя пользователя и пароль. Например, если имя пользователя “domainpcuser”, то окно будет иметь вид

24. Постановка задач для кластера в HPCS

25. Постановка задач для кластера в HPCS Для просмотра загруженности вычислительных узлов при выполнении задачи, необходимо открыть вкладку Heat Map в Windows HPC Server. Например, вид окна должен быть таким:

26. Постановка задач для кластера в HPCS Консоли : > job submit /scheduler:headnode /jobname:MyJob /numprocessors:1-1 /exclusive:true /workdir:headnodeublicrJoe /stdout:_OUT.txt /stderr:_ERR.txt /user:domainpcuser SeqContrastStretch.exe Sunset.bmp result.bmp 75 1 Windows PowerShell : > $job = new-hpcjob –scheduler "headnode" –name "MyJob" –numprocessors "1-1" –exclusive 1 > add-hpctask –scheduler "headnode" –job $job –workdir "headnodeublicrJoe" –stdout "_OUT.txt" –stderr "_ERR.txt" –command "SeqContrastStretch.exe Sunset.bmp result.bmp 75 1" > submit-hpcjob –scheduler "headnode" –job $job –credential "domainpcuser"

27. Последовательно о многопоточном.

28. Процессы и потоки Stack Сегмент кода Сегмент данных Stack Stack thread thread … Преимущества потоков: Быстрое переключение между потоками (переключение между процессами очень ресурсоемкая операция) Простая организация взаимодействия – общая память Недостатки потоков: Некорректное использование данных одним потоком отражается на всех других Необходимость в синхронизации при доступе к общим данным Используемые библиотеки должны поддерживать многопоточность thread main()

29. Средства создания многопоточных программ Ручные: Библиотеки потоков Posix Threads Windows Threads … Полуавтоматические: OpenMP Автоматические: Распараллеливающие компиляторы Неявный параллелизм (F#)

30. Синхронизация потоков Необходима при: Совместном использовании ресурса (атомарные операции) Уведомлении потоков о некотором событии

31. n = количество проц. Tпаралл.= {(1-P) + P/n}Tпослед Закон Амдала P Ускорение= Tпослед/ Tпаралл. P/2 Послед. T P/∞ (1-P) (1-P) Описывает верхний предел ускорения от параллельного выполнения Последовательный код ограничивает ускорение

32. 29 Parallel Programming Models Functional Decomposition Task parallelism Divide the computation, then associate the data Independent tasks of the same problem Data Decomposition Same operation performed on different data Divide data into pieces, then associate computation

34. Параллелизм добавляется постепенно

36. Примитивы OpenMPподразделяются на категории: Функции времени выполнения/переменные среды окружения Параллельные регионы Распределение работ Синхронизация Принципиально OpenMPне зависит от компилятора или языка, например Fortran и C/C++ Просто OpenMP

37. Примитивы среды окружения: Изменить/проверить количество потоков omp_set_num_threads() omp_get_num_threads() omp_get_thread_num() omp_get_max_threads() Мы в параллельном регионе? omp_in_parallel() Сколько процессоров в системе? omp_num_procs() Функции

38. Чтобы установить количество потоков Установить количество потоков равное количеству процессоров #include <omp.h>void main(){ intnum_threads;omp_set_num_threads(omp_num_procs());#pragmaomp parallel { int id=omp_get_thread_num();#pragmaomp single num_threads = omp_get_num_threads(); do_lots_of_stuff(id); }} Глоб. Переменная. Операция выполняется в одном потоке. Функции

39. Переменные среды коружения Установить количество потоков, порождаемых по умолчанию OMP_NUM_THREADS int_literal Установить способ распределения нагрузки по умолчанию OMP_SCHEDULE “schedule[, chunk_size]”

40. Правила разделения переменных Неявное правило 1: Все переменные, определенныевнеomp parallel,являются глобальнымидля всех потоков Неявное правило 2:Все переменные, определенныевнутриomp parallel,являются локальнымидля каждого потока Неявное исключение:В прагмеomp for, счетчик циклавсегдалокалендля каждого потока Явное правило 1: Переменные, приведенные вshared(),являются глобальнымидля всех потоков Явное правило 2:Переменные, приведенные вprivate(),являются локальнымидля каждого потока

41. Какие переменные локальные, а какие глобальные? void func() { int a, i; #pragmaomp parallel for br /> shared(c) private(d, e) for (i = 0; i < N; i++) { int b, c, d, e; a = a + b; c = c + d * e; } }

42. Прагмы синхронизации #pragmaompsingle – исполняет следующую команду толькос помощью одного (случайного) потока #pragmaompbarrier – удерживает потоки в этом месте, пока все потоки не дойдут дотуда #pragmaompatomic– атомарно исполняет следующую операцию доступа к памяти (т.е. без прерывания от других ветвей) #pragmaompcritical [имя потока] – позволяет только одному потоку перейти к исполнению следующей команды int a[N], sum = 0; #pragmaomp parallel for for (inti = 0; i < N; i++) { #pragmaomp critical sum += a[i]; // one thread at a time }

43. Реализация параллельного алгоритма с использованием OpenMP Применяется OpenMP с помощью указания директив. Например : #pragmaomp parallel for for (inti = 0; i < N; i++) PerformSomeComputation(i);

44. Выполнение упражнения 1. В папке Exercises2 OpenMPpenMPContrastStretchаходится копия последовательной программы. Выберите необходимую архитектуру процессора ( Win32 или 64) и включите поддержку OpenMP. Измените файл “app.h” добавив строку #Include <omp.h>. Измените главную фунцию добавив строки, выводящие информацию о среде выполнения: cout << " Processors: " << omp_get_num_procs() << endl; cout << " Threads: " << omp_get_max_threads() << endl; Откройте ContrastStretch.cpp и вставьте директивы OpenMPв цикл while while (!converged && step < steps) { #pragmaomp parallel for schedule(static) for (int row = 1; row < rows-1; row++) for (intcol = 1; col < cols-1; col++) … #pragmaomp parallel for schedule(static) for (int row = 1; row < rows-1; row++) for (intcol = 1; col < cols-1; col++) ... }

45. Реализация параллельного алгоритма с использованием OpenMP Поддержка OpenMP включается в Visual Studio 2005 и Visual Studio 2008. Project ->Properties->Configuration Properties-> C/C++-> Language-> OpenMP Support

46. Ошибка(!) Гонки данных. Взаимоблокировки.

47. Реализация параллельного алгоритма с использованием OpenMP Важно помнить про ситуацию (race conditions), которая возникает при одновременном доступе к общим переменным. #pragmaomp parallel for schedule(static) for (inti = 0; i < N; i++) PerformSomeComputation(i); Пусть функция PerformSomeComputation изменяет значение глобальной переменной int global = 0; void PerformSomeComputation(inti) { global += i; } .

48. Реализация параллельного алгоритма с использованием OpenMP Избежать ситуацию возникновения гонки за ресурсами. Позволяет использование критических секций: void PerformSomeComputation(inti) { #pragmaomp critical { global += i; } }

49. Выполнение упражнения #pragmaomp parallel for schedule(static) reduction(+:diffs) for (int row = 1; row < rows-1; row++)