2022 年 4 月 26 日 (火) に開催した「GTC 2022 テクニカルフォローアップセミナー 〜新アーキテクチャ & HPC〜」にて、NVIDIA 山崎が講演した「HPC+AI ってよく聞くけど結局なんなの」のスライドです。

1. “NVIDIA GTC2022 テクニカルフォローアップセミナー”
HPC + AI ってよく聞くけど結局なんなの
KAZUHIRO YAMASAKI, DEEP LEARNING SOLUTION ARCHITECT, NVIDIA

2. AGENDA
GTC 2022 におけるセッションの傾向
HPC+AI とは
個別セッションハイライト
From HPC to AI: 学習を加速させるためのテクニックなど
From AI to HPC: 科学技術計算への AI 適用

3. GTC 2022 におけるセッションの傾向

4. GTC 2022
毎年恒例 NVIDIA 主催の技術イベント
https://www.nvidia.com/gtc/
https://www.nvidia.com/gtc/session-catalog/
https://www.nvidia.com/gtc/keynote/
https://www.nvidia.com/en-us/on-demand/

5. GTC 2022 におけるセッション
▪ 総セッション数: 980
▪ うち、ハンズオン トレーニングやデモなどを除くと 755 件
▪ 余談: 2020 年は 384 件、2018 年は 654 件
▪ HPC 関連の (Primary Topic が “HPC – “ から始まる)
セッション数は 70 件で、全体の 9.3 %
▪ “Accelerated Computing & Dev Tools - Algorithms
/ Numerical Techniques” のようなものを含まないため、
実質セッション数はまだ多いかも
▪ 機械学習関連は、266 件で全体の 35.2 %
▪ 広くとっているため、数字としては多めに見える？

6. HPC セッションでの機械学習関連比率
▪ 70 件の HPC 関連セッション中、機械学習が何らかの形
で含まれているものは 22 件 (31.4 %)
▪ 特に以下の分野は機械学習活用が先行？
▪ HPC - Climate / Weather / Ocean Modeling
▪ HPC - Computational Physics
▪ HPC - Computational Fluid Dynamics に関するセッ
ションは、2 件ともデジタルツインに関するもの
▪ シミュレーションと統合するためのツールとして機械学習？
▪ 各トピックの機械学習関連セッション一覧は資料末尾に
Topic #sessions #ML related
HPC - Astronomy / Astrophysics 2 0
HPC - Climate / Weather / Ocean Modeling 14 10
HPC - Computational Chemistry and
Materials Science 5 2
HPC - Computational Fluid Dynamics 7 2
HPC - Computational Physics 5 3
HPC - Quantum Computing 7 0
HPC - Scientific Visualization 4 1
HPC - Supercomputing 26 4
実際には上記以外のトピックで、”World Simulation & Digital Twins” や
“Industry Segment: Energy” にも HPC + AI 的な話題が紛れ込んでいたり……

7. HPC+AI とは

8. HPC + AI = “HPC FOR AI” OR “AI FOR HPC”
二つの方向性
▪HPC for AI:
▪ HPC で広く使われてきた技術を、AI の分野で活用する話
▪ ディープラーニングの大規模化に伴う分散学習周りの技術や、行列自体の高速計算手法など
▪AI for HPC:
▪ AI を利用して、HPC で必要となる計算を高速化したり、高精度化する話
▪ 高速なシミュレータとしての AI 活用や、従来うまくモデル化できていなかった問題に対する近似モデルとしての
AI 活用など

9. HPC FOR AI
(特にディープラーニングモデルの) 学習高速化や大規模化など
Training Large Models with PyTorch [S41986]
Accelerating Distributed Reinforcement Learning
[S41925]
Accelerating Sparse Graph Neural Network
Computation via Dense Tensor Core on GPUs [S41234]
How DoorDash Scaled to Billions of Training Examples
using Distributed Training [S42370]
Accelerating Storage IO to GPUs with
Magnum IO [S41347]

10. AI FOR HPC
高速なシミュレータとしての AI と近似モデルとしての AI
• Fourier Neural Operators and Transformers for
Extreme Weather and Climate Prediction [S41936]
• Bringing Rain to the Subseasonal Forecasting
Desert with Deep Learning Weather Prediction
[S41170]
• Accelerating a 3D Conditional Generative
Adversarial Network for Seismic Attenuation
Compensation on a Multi-GPU Node [S41095]
• Scalable Data-Driven Global Weather Predictions
at High Spatial and Temporal Resolutions [S41019]
• Accelerating End-to-end Deep Learning for
Particle Reconstruction using CMS Open Data at
CERN [S41394]
• Developing Digital Twins for Weather, Climate, and
Energy [S41823]
• OpenFold: Democratizing Access to Predicting and
Modeling Protein Structures [S41633]
• Accelerating Simulation Process Using GPUs and
Reliable Neural Networks [S42404]
• Case Study on Developing Digital Twins for the
Power Industry using Modulus and Omniverse
[S41671]
Developing Digital Twins for Weather, Climate, and Energy [S41823]

11. AI FOR HPC
異なる分類軸: モデル化の対象
• Fourier Neural Operators and Transformers for
Extreme Weather and Climate Prediction [S41936]
• Bringing Rain to the Subseasonal Forecasting
Desert with Deep Learning Weather Prediction
[S41170]
• Accelerating a 3D Conditional Generative
Adversarial Network for Seismic Attenuation
Compensation on a Multi-GPU Node [S41095]
• Scalable Data-Driven Global Weather Predictions
at High Spatial and Temporal Resolutions [S41019]
• Accelerating End-to-end Deep Learning for
Particle Reconstruction using CMS Open Data at
CERN [S41394]
• Developing Digital Twins for Weather, Climate, and
Energy [S41823]
• OpenFold: Democratizing Access to Predicting and
Modeling Protein Structures [S41633]
• Accelerating Simulation Process Using GPUs and
Reliable Neural Networks [S42404]
• Case Study on Developing Digital Twins for the
Power Industry using Modulus and Omniverse
[S41671]
Developing Digital Twins for Weather, Climate, and Energy [S41823]
Fully data driven
Inductive bias
Physics constrained
Inductive bias
Physics constrained
Fully data driven
Fully data driven
Fully data driven
Inductive bias
Fully data driven

12. FROM HPC TO AI:
学習を加速させるためのテクニックなど

13. 取り上げるセッション
分散学習系の話をメインに
▪Bridging the Gap Between Basic Neural Language Models, Transformers, and
Megatron [S41966]
▪大規模言語モデルの学習高速化に関する工夫について
▪Training Large Models with PyTorch [S41986]
▪大規模モデルの学習に関する PyTorch の最新状況
▪Accelerating Distributed Reinforcement Learning [S41925]
▪深層強化学習を分散化する際の高速化等について

14. 取り上げるセッション
分散学習系の話をメインに
▪Bridging the Gap Between Basic Neural Language Models, Transformers, and
Megatron [S41966]
▪大規模言語モデルの学習高速化に関する工夫について
▪Training Large Models with PyTorch [S41986]
▪大規模モデルの学習に関する PyTorch の最新状況
▪Accelerating Distributed Reinforcement Learning [S41925]
▪深層強化学習を分散化する際の高速化等について

15. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS,
TRANSFORMERS, AND MEGATRON [S41966]
言語モデルの背景と最近の状況

16. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS,
TRANSFORMERS, AND MEGATRON [S41966]
FYI: 言語モデル「大規模化」の背景など
How to Avoid the Staggering Cost of Training
State-of-the-art Large Language Models [S41904]
Building Large-scale, Localized Language Models:
From Data Preparation to Training and Deployment to Production [S42018]

17. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS,
TRANSFORMERS, AND MEGATRON [S41966]
大規模モデルを学習するためのアプローチについて

18. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS,
TRANSFORMERS, AND MEGATRON [S41966]
大規模モデルを学習するためのアプローチについて

19. 取り上げるセッション
分散学習系の話をメインに
▪Bridging the Gap Between Basic Neural Language Models, Transformers, and
Megatron [S41966]
▪大規模言語モデルの学習高速化に関する工夫について
▪Training Large Models with PyTorch [S41986]
▪大規模モデルの学習に関する PyTorch の最新状況
▪Accelerating Distributed Reinforcement Learning [S41925]
▪深層強化学習を分散化する際の高速化等について

20. TRAINING LARGE MODELS WITH PYTORCH [S41986]
PyTorch における分散学習のサポート状況

21. TRAINING LARGE MODELS WITH PYTORCH [S41986]
データ並列の各機能

22. TRAINING LARGE MODELS WITH PYTORCH [S41986]
PyTorch におけるパイプライン化について

23. TRAINING LARGE MODELS WITH PYTORCH [S41986]
FYI: XLA, JAX でのモデル並列
Model Parallelism in XLA/GPU [S42006]

24. TRAINING LARGE MODELS WITH PYTORCH [S41986]
踏み込んだ最適化: checkpointing & offloading

25. TRAINING LARGE MODELS WITH PYTORCH [S41986]
踏み込んだ最適化: checkpointing & offloading

26. TRAINING LARGE MODELS WITH PYTORCH [S41986]
各手法に対する性能評価
The PyTorch distributed team share best practices for Large Scale Training
on Google Cloud (Presented by Google Cloud) [S42584]
特にネットワーク周りの詳細について
このセッションでは、同じ実験を違う角度から説明

27. 取り上げるセッション
分散学習系の話をメインに
▪Bridging the Gap Between Basic Neural Language Models, Transformers, and
Megatron [S41966]
▪大規模言語モデルの学習高速化に関する工夫について
▪Training Large Models with PyTorch [S41986]
▪大規模モデルの学習に関する PyTorch の最新状況
▪Accelerating Distributed Reinforcement Learning [S41925]
▪深層強化学習を分散化する際の高速化等について

28. ACCELERATING DISTRIBUTED REINFORCEMENT LEARNING [S41925]
強化学習の難しさと、分散化の必要性

29. ACCELERATING DISTRIBUTED REINFORCEMENT LEARNING [S41925]
RAPTOR: 効率的な分散深層強化学習プラットフォーム

30. FROM AI TO HPC:
科学技術計算への AI 適用

31. 取り上げるセッション
データドリブンなアプローチからシミュレーション系の話題まで
▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
▪U-Net ベースでの降雨量および海水面温度予測
▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている
▪Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

32. 取り上げるセッション
データドリブンなアプローチからシミュレーション系の話題まで
▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
▪U-Net ベースでの降雨量および海水面温度予測
▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている
▪Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

33. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND
TEMPORAL RESOLUTIONS [S41019]
気象予測の現状整理と AI の活用方法

34. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND
TEMPORAL RESOLUTIONS [S41019]
降雨量予測に利用した手法 (U-Net) などについて

35. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND
TEMPORAL RESOLUTIONS [S41019]
評価結果や LSTM との組み合わせについての検討

36. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND
TEMPORAL RESOLUTIONS [S41019]
海水面温度予測への応用に関する初期検討結果の紹介

37. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND
TEMPORAL RESOLUTIONS [S41019]
論文と実装

38. 取り上げるセッション
データドリブンなアプローチからシミュレーション系の話題まで
▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
▪U-Net ベースでの降雨量および海水面温度予測
▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている
▪Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

39. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
現状のシミュレーションにおける問題と、解決策の提案

40. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
monolish: デバイス非依存な、使いやすい API

41. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
多様な形状の物体や、回転、平行移動を伴う状況に対するシミュレーションを実現する方法

42. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
Graph Neural Network をベースとした手法による解決

43. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
適用範囲と評価結果

44. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
手法詳細等

45. 取り上げるセッション
データドリブンなアプローチからシミュレーション系の話題まで
▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
▪U-Net ベースでの降雨量および海水面温度予測
▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている
▪Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

46. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
問題設定: 地質調査時の減衰補償

47. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
Pix2Pix を画像復元に活用

48. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
モデルの学習フローや計算機構成の工夫など

49. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
モデルの学習フローや計算機構成の工夫など

50. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
出力例など

51. 取り上げるセッション
データドリブンなアプローチからシミュレーション系の話題まで
▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
▪U-Net ベースでの降雨量および海水面温度予測
▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている
▪Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

52. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
気候科学の現状とさらなる高速化の必要性

53. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
DestinE project とその意義

54. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
Physics-ML の応用事例と、フレームワークとしての Modulus

55. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
Modulus + Omniverse のデモ

56. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
FYI: Modulus はこの後のセッションで詳細に説明されます

57. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
FourCastNet: 気象予測のための Physic-ML モデル

58. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
予測結果例

59. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
予測結果例

60. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND
CLIMATE PREDICTION [S41936]
Fourier Neural Operator: 解像度非依存なモデルの概要

61. SUMMARY

62. まとめ
よく聞く HPC + AI というものは、結局なんだったのかというと……
▪GTC のセッションを通して HPC + AI の方向性を整理
▪HPC for AI と AI for HPC
▪後者については適用対象による分類と、データの扱い方による分類がある
▪学習高速化、大規模化の文脈では、フレームワーク等の整備が継続
▪特に大規模学習を、より簡単に実現できるようなアプローチが順次導入されている
▪科学技術計算における AI 活用では、直接的なアプローチを超えた方法が増えてきている
▪GNN の活用や、PDE をモデルに組み込むなど

64. APPENDIX:
トピックごとの機械学習関連セッション一覧

65. HPC 関連トピックでの機械学習利用セッション (1/4)
HPC - Climate / Weather / Ocean Modeling
▪ Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019]
▪ Can a Deep Learning Model Measure CO2 More Precisely using Satellite Data? [S41127]
▪ Bringing Rain to the Subseasonal Forecasting Desert with Deep Learning Weather Prediction
[S41170]
▪ Mitigating Risk of Natural Disaster with GPU-accelerated Analytics [S41231]
▪ Innovative Startups Leveraging AI to Tackle Climate Change [S41910]
▪ Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936]
▪ Digital Twins for Understanding and Adapting to Climate Change [S41950]
▪ 最先端のデータサイエンスで切り拓くリアルタイム豪雨・洪水予測 [S42363]
▪ Big Data in Climate and Earth Sciences: Challenges and Opportunities for Machine Learning [S42389]
▪ The Future of HPC Looks a Lot Like ML (Presented by Amazon Web Services) [S42471]

66. HPC 関連トピックでの機械学習利用セッション (2/4)
HPC - Computational Chemistry and Materials Science
▪ Inlining AI into Molecular Dynamics (and Vice Versa) [S41330]
▪ The Value of GPUs in Computational Chemistry and Materials Science in the Age of Machine
Learning [S41745]
HPC - Computational Fluid Dynamics
▪ Advances in Digital Twins of Granular Material Processes using Physics-based Simulations and AI
[S41065]
▪ Developing Digital Twins for Energy Applications using Modulus [S41325]

67. HPC 関連トピックでの機械学習利用セッション (3/4)
HPC - Computational Physics
▪ Using OpenACC to Accelerate Wave Propagation Simulations Combining Equation-based and Data-
driven Methods [S41359]
▪ Accelerating End-to-end Deep Learning for Particle Reconstruction using CMS Open Data at CERN
[S41394]
▪ Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404]
HPC - Scientific Visualization
▪ Scaling HPC Simulations with AI for Design using Physics-enhanced and Physics-informed Techniques
(Presented by Amazon Web Services) [S42531]

68. HPC 関連トピックでの機械学習利用セッション (4/4)
HPC – Supercomputing
▪ Scientific AI at Scale on the Perlmutter Supercomputer at NERSC [S41386]
▪ NLP Technology and Voice of Customer Product Introduction [S41681]
▪ HPC, AI, and the Edge [S42165]
▪ SMU uses SuperPOD to Take AI Research to the Next Level (Presented by Mark III Systems) [S42689]