ACRi HLSチャレンジ高速化テクニック紹介

1. ACRi HLSチャレンジ高速化テクニック紹介 ACRiルーム副室長 / ザイリンクス株式会社安藤潤 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 1 第 6 回 ACRi ウェビナー：高位合成にチャレンジしよう

2. ACRi HLS チャレンジとは？ • お題に沿った回路を HLS（高位合成）で設計し、性能を競います • HLS の活用促進 • ザイリンクス FPGA 向けの無償 HLS ツールを使用 • C++だけでFPGAアクセラレータの開発ができる • HLS を学んでみたい方の練習の場 • 高速な回路の設計技術を共有する場 • ACRi ルームを活用 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 2

3. Alveo x 4 Professors ACRi Founders ACRi ルーム – 遠隔（東工大）に設置されたFPGAを無料で利用できる環境 3 • Digilent社 Arty A7-35T カード • 1サーバにArtyを15枚接続 • ユーザ毎にVMを割り当てルーム FPGA Server • CPU: Core i9 (8 core /16 thread) • メモリ: DDR4 128GB (32GB x 4) • ストレージ: SSD M.2 1TB x2 • 開発環境インストール済み Arty A7-35T • 3時間単位で機材を無償で貸出し • リモートからアクセスして利用するスタイル • Forumを通じて大学教員やACRi企業が技術支援を実施 • Xilinxアクセラレータカード • Alveo U50 / U200 / U250 / U280 • Vitisで利用可能 Alveo Server x 7 Arty x 100 Server x 4 ACRi 参加企業一般企業学生若手技術者 Start-up企業技術力向上テスト利用技術力向上のため技術力向上テスト利用 • ジーデップ・アドバンス社 Alveo U200 搭載のFPGA入門モデル • CPU; Core i9 (14 core / 28 thread) FPGA StarterBOX StarterBOX x 1

4. HLS チャレンジの利用方法 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 4 HLS チャレンジお題を選択 ACRi ルームログイン提出採点結果ユーザーコーディング・仮採点採点サーバーランキング Vitis HLS ツールサーバー（as101, as102, as103, as104）

5. より詳しくは • 詳しい利用方法は前回のウェビナー動画をご覧ください ©︎ 2021 Adaptive Computing Research Initiative - ACRi 5 https://www.youtube.com/watch?v=v9TfLoM7cIA

6. 利用状況（2021/10/27時点） • ユーザー数：70名 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 6 17 33 43 46 52 56 63 66 69 70 12 16 10 3 6 4 7 3 3 1 2021-08-23 2021-08-30 2021-09-06 2021-09-13 2021-09-20 2021-09-27 2021-10-04 2021-10-11 2021-10-18 2021-10-25 週毎のユーザー数ユーザー数新規登録数

7. 利用状況（2021/10/27時点） • 提出数：631件 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 7 5 64 112 219 299 323 348 465 593 631 5 59 48 107 80 24 25 117 128 38 2021-08-23 2021-08-30 2021-09-06 2021-09-13 2021-09-20 2021-09-27 2021-10-04 2021-10-11 2021-10-18 2021-10-25 週毎の提出数累計投稿数週の投稿数

8. 利用状況（2021/10/27時点） • チャレンジごとの提出数 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 8 19 25 2 110 10 12 15 11 14 36 12 19 68 96 24 0 10 1 31 7 11 3 0 4 5 4 3 29 41 9 Pass Fail ① 141件 ③ 97件 ② 137件

9. 人気チャレンジ bai-gaeshi • 投稿数：141件 • 配列の値を倍にして返すシンプルなお題 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 9

10. bai-gaeshi の解答例 • 素直なソフトウェア実装 • 採点結果 • 動作周波数：599.9 MHz • サイクル数：1219 cycles • タイム：2032.073 ns ©︎ 2021 Adaptive Computing Research Initiative - ACRi 10

11. bai-gaeshi のランキング ©︎ 2021 Adaptive Computing Research Initiative - ACRi 11 68.6 219.6 242.0 399.6 550.3 607.7 1684.0 2032.1 2528.8 0 500 1,000 1,500 2,000 2,500 3,000 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 タイム（ns）ランキングコードの記述方法によって36倍の差！どのような高速化テクニックが使われているかご紹介します

12. 採点の仕組み ©︎ 2021 Adaptive Computing Research Initiative - ACRi 12 テストベンチカーネル（RTL） in size out カーネル（C++） ② HLS ④ 論理合成（オプション）カーネル（Netlist） ③ シミュレーション ① ソフト実行周波数見積もり周波数見積もりクロックサイクル

13. タイム算出の仕組み ©︎ 2021 Adaptive Computing Research Initiative - ACRi 13 入力計算出力時刻開始終了レイテンシスループット-1 タイム = クロックサイクル / 動作周波数クロックタイムを短縮するには・スループット向上・レイテンシ削減・動作周波数向上

14. スループットを向上するには • 入出力と計算のバランスが取れていること • 計算だけではなくインターフェースも重要 • インターフェースの帯域にマッチする演算器を作る ©︎ 2021 Adaptive Computing Research Initiative - ACRi 14 計算入力計算入力出力出力計算がボトルネックに入出力がボトルネックに

15. HLS プラグマドキュメント：https://japan.xilinx.com/html_docs/xilinx2021_1/vitis_doc/hls_pragmas.html#okr1504034364623 • どのような回路にしたいかツールに伝える手段 • 例：＃pragma HLS PIPELINE ©︎ 2021 Adaptive Computing Research Initiative - ACRi 15 ACRi ブログ：高位合成で加速するアクセラレータ開発 (2) ～高位合成と C ベース設計 1章より

16. 高速化テクニック① インターフェースのデータ幅を増やす • bai-gaeshi の入出力は float 型（32ビット）の配列 • 引数の型は変更できない • そのままでは32ビット幅のインターフェースを持つ回路になる ©︎ 2021 Adaptive Computing Research Initiative - ACRi 16 void kernel(const float in[1024], float out[1024], int size) { for (int i=0; i<size; i++) { #pragma HLS PIPELINE out[i] = in[i] * 2; } }

17. 高速化テクニック① インターフェースのデータ幅を増やす • ツールによる推論を利用する • まとまった単位で配列にアクセスすると、ツールが自動的にインターフェースの幅を拡張する（512bitまで、条件あり） ©︎ 2021 Adaptive Computing Research Initiative - ACRi 17 void kernel(const float in[1024], float out[1024], int size) { // 16の倍数に切り上げ size = (size + 15) / 16 * 16; for (int i=0; i<size; i++) { #pragma HLS PIPELINE #pragma HLS UNROLL factor=16 out[i] = in[i] * 2; } }

18. 高速化テクニック① インターフェースのデータ幅を増やす • ツールによる推論を利用する（他の記述方法） ©︎ 2021 Adaptive Computing Research Initiative - ACRi 18 void kernel(const float in[1024], float out[1024], int size) { for (int i=0; i<size; i++) { #pragma HLS PIPELINE #pragma HLS UNROLL factor=16 skip_exit_check out[i] = in[i] * 2; } } void kernel(const float in[1024], float out[1024], int size) { const int chunk_size = 16; const int num_chunk = (size + chunk_size - 1) / chunk_size; for (int i=0; i<num_chunk; i++) { #pragma HLS PIPELINE float chunk[chunk_size]; // Input for (int j=0; j<chunk_size; j++) { chunk[j] = in[chunk_size * i + j]; } // Calc for (int j=0; j<chunk_size; j++) { chunk[j] *= 2; } // Output for (int j=0; j<chunk_size; j++) { out[chunk_size * i + j] = chunk[j]; } } } より明示的に記述 UNROLLプラグマのオプションを利用

19. 高速化テクニック② インターフェースを軽量化する • 配列引数へのアクセスはデフォルトで AXI-MMインターフェースになる（Vitis kernel flowのとき） • 外部DRAMへのアクセスに相当するレイテンシが考慮される ©︎ 2021 Adaptive Computing Research Initiative - ACRi 19 FPGA カーネル MC DRAM リードコマンドデータ AXI-MM

20. 高速化テクニック② インターフェースを軽量化する • インターフェースをAXI-Sに変更する • INTERFACEプラグマでインターフェースを指定 • ARRAY_PARTITIONプラグマでAXI-Sを並列化 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 20 void kernel(const float in[1024], float out[1024], int size) { // インターフェースを指定するプラグマ #pragma HLS INTERFACE mode=axis port=in #pragma HLS INTERFACE mode=axis port=out // 配列アクセスポートを並列化するプラグマ #pragma HLS ARRAY_PARTITION variable=in type=cyclic factor=16 dim=1 #pragma HLS ARRAY_PARTITION variable=out type=cyclic factor=16 dim=1 for (int i=0; i<size; i++) { #pragma HLS PIPELINE #pragma HLS UNROLL factor=16 out[i] = in[i] * 2; } } カーネル AXI-S AXI-S AXI-S AXI-S AXI-S AXI-S AXI-S AXI-S AXI-S AXI-S … …

21. 高速化テクニック③ インターフェースへのアクセスを減らす • 配列引数に繰り返しアクセスすると時間がかかる • カーネル内に一時配列を作る（CPUのキャッシュに相当する役割） ©︎ 2021 Adaptive Computing Research Initiative - ACRi 21 FPGA カーネル MC DRAM リードコマンドデータ AXI-MM キャッシュ void kernel(const int in[1024], int out[1024]) { // 一時配列 int tmp[1024]; // 入力 for (int i = 0; i < 1024; i++) { tmp[i] = in[i]; } // バブルソート for (int i = 0; i < 1024-1; i++) { for (int j = 1024-1; j > i; j--) { if (tmp[j] < tmp[j-1]) { int t = tmp[j]; tmp[j] = tmp[j-1]; tmp[j-1] = t; } } } // 出力 for (int i = 0; i < 1024; i++) { out[i] = tmp[i]; } }

22. 高速化テクニック④ パイプラインのボトルネックを取り除く • 浮動小数点数の累積演算がボトルネックに • パイプラインの II（Initiation Interval）を 1 にできない状況 ©︎ 2021 Adaptive Computing Research Initiative - ACRi 22 ＋ 2サイクル（II=2） float acc = 0; for (int i = 0; i < 1024; i++) { acc += in[i]; } *out = acc; float acc[2] = {}; for (int i = 0; i < 1024; i++) { #pragma HLS UNROLL factor=2 acc[i % 2] += in[i]; } *out = acc[0] + acc[1]; float acc = 0; for (int i = 0; i < 1024; i += 2) { acc += in[i] + in[i + 1]; } *out = acc; ＋＋ acc in ＋＋＋ acc[0] acc[1] in[i+0] in[i+1] in[i+0] in[i+1] acc 累積演算を並列化足し合わせてから累積

23. さいごに • 高速化テクニックをご紹介しました 1. インターフェースのデータ幅を増やす 2. インターフェースを軽量化する 3. インターフェースへのアクセスを減らす 4. パイプラインのボトルネックを取り除く • 入門者の方へのアドバイス • アーキテクチャを考えてコーディング • ツールと対話しお気持ちを理解 • ぜひHLSにチャレンジしてみてください！ ©︎ 2021 Adaptive Computing Research Initiative - ACRi 23

ACRi HLSチャレンジ高速化テクニック紹介

ACRi HLSチャレンジ高速化テクニック紹介

Recommandé

Contenu connexe

Tendances

Tendances(20)

Similaire à ACRi HLSチャレンジ高速化テクニック紹介

Similaire à ACRi HLSチャレンジ高速化テクニック紹介(20)

Dernier

Dernier(13)