Образовательный ресурс edu.irnok.net

Лекции лекториума Курс: Параллельные вычисления с использованием стандартов MPI, OpenMP, OpenACC 10 лекций

1. Что такое параллельные вычисления , Книга по теории параллельного программирования
2. Архитектуры вычислительных средств, программ, структур данных
3. Введение в Message Passing Interface (MPI), Учебник по MPI.
4. MPI, коллективный обмен данными (коллективные операции)
5. MPI, Передача данных без блокировки
6. Введение в OpenMP. Учебник по OpenMPI
7. OpenMP(продолжение) специальные pragmы
8. Введение OpenACC - технология переноса вычислений с CPU на акселераторы (GPU)
9. OpenACC, практика, рассмотрение продвинутых техник программирования
10. OpenACC, продвинутые техники (продолжение), инструменты сбора и анализа метрик

Литература по параллельному программированию - здесь

1. Обзор методов повышения производительности вычислительных систем
   1. Классы алгоритмов, эвристические алгоритмы, другие интенсивные методы
   2. Экстенсивные методы, параллельное и высокопроизводительные вычисления (HPC)
2. Модели параллельных схем алгоритмов, сильная и слабая связность ветвей алгоритмов
3. Сети Петри, Графовое представление вычислительного процесса
4. Построение параллельных схем средствами операционной системы (IPC).
5. Языки Erlang/Elixir.
6. Распределение потока данных между вычислительными узлами, очереди сообщений RabbitMQ.