Лекции лекториума Курс: Параллельные вычисления с использованием стандартов MPI, OpenMP, OpenACC 10 лекций

1. Что такое параллельные вычисления , Книга по теории параллельного программирования
2. Архитектуры вычислительных средств, программ, структур данных
3. Введение в Message Passing Interface (MPI), Учебник по MPI.
4. MPI, коллективный обмен данными (коллективные операции)
5. MPI, Передача данных без блокировки
6. Введение в OpenMP. Учебник по OpenMPI
7. OpenMP(продолжение) специальные pragmы
8. Введение OpenACC - технология переноса вычислений с CPU на акселераторы (GPU)
9. OpenACC, практика, рассмотрение продвинутых техник программирования
10. OpenACC, продвинутые техники (продолжение), инструменты сбора и анализа метрик

Литература по параллельному программированию - здесь

1. Обзор методов повышения производительности вычислительных систем
   1. Классы алгоритмов, эвристические алгоритмы, другие интенсивные методы
   2. Экстенсивные методы, параллельное и высокопроизводительные вычисления (HPC)
2. Модели параллельных схем алгоритмов, сильная и слабая связность ветвей алгоритмов
3. Библиотека ScaLAPACK для разработки параллельных схем алгоритмов, основанных на манипуляции с матрицами.
4. Сети Петри, Графовое представление вычислительного процесса
5. Построение параллельных схем средствами операционной системы (IPC).
6. Языки Erlang/Elixir.
7. Распределение потока данных между вычислительными узлами, очереди сообщений RabbitMQ.

вариант использования технологии:

1. MPI
2. OpenMP
3. OpenACC
4. CUDA
5. Threading building blocks
6. ScaLAPACK
7. Erlang/Elixir
8. Hskell

Вариант практической задачи (нас интересуют больше слабосвязанные ветви алгоритмов)

1. Метод ветвей и границ
2. MiniMax с отсечением (вариант метода ветвей и границ)
3. Уравнение теплопроводности на сетке
4. Реализация схемы Map-Reduce
5. Алгоритм неиерархической кластеризации с использованием нечеткой логики
6. Выполнение кластерного анализа на большой объеме данных с использованием беггинга
7. Свой согласованный вариант.

Архив методичек “среднего качества” Здесь. Из них можно брать задания (они только примитивные очень). Замечание: В методичке по MPI не указывается явно, что между вычислителями следует пересылать не весь массив данных, а только необходимую долю.