fpgax#13 での発表資料です。

1. Ultra96-V2でVexRiscvと
DPUを動かしてみた
2022.04.19 fpgax #13
lp6m / にったやすひろ

2. 自己紹介
● lp6m / Yasuhiro Nitta
● https://github.com/lp6m
● Twitter: @lp6m1
● 所属: 株式会社Fixstars

3. AIエッジコンテスト
● 経産省主催のコンテスト
● AIアルゴリズムのFPGA実装を趣旨とする
https://signate.jp/lp/ai-edge-contest

4. 第5回コンテスト内容
● 対象ボード: Ultra96-V2
● 開催期間: 2021/10/18～2022/2/15
● 会社の同期とチームVertical_Beachとして参加
● 今日はHW実装, VexRiscvの話をします
https://signate.jp/competitions/537
https://www.avnet.com/wps/portal/japan/pro
ducts/product-highlights/ultra96/

5. 最終成果物デモ
https://www.youtube.com/watch?v=xeXifLHZIno
● MOTA: 0.2807344
● 52.30ms/frame
● GitHub: https://github.com/Vertical-Beach/ai-edge-contest-5
● 実装レポート: Google Drive

6. 最終成果物デモ
https://www.youtube.com/watch?v=xeXifLHZIno

7. 開発方針
● 物体追跡アルゴリズム
○ Tracking-by-detection 方式を採用
○ 物体検出・物体追跡を分けて実装を進められる
○ 物体検出は Xilinx DPU を使用して実装を容易に
● RISC-V
○ オープンソースの命令セットアーキテクチャをもつCPU
○ オープンソースな実装が手に入れられる
■ VexRiscv/RocketChip/etc..
○ 今回はVexRiscvを使用
■ Scala DSL SpinalHDL製
■ プラグイン形式で色々なアーキテクチャのコアが生成
できる

8. システム概要
● HW構成
○ 対象ボード: Ultra96v2
○ Xilinx DPU + RISC-V
■ DPU: B1600
150/300MHz
■ RISC-V: VexRiscv
rv32imfac 150MHz
● SW構成
○ 物体検出アルゴリズム: YOLOv4-tiny
■ Xilinx DPU にオフロード
○ トラッキングアルゴリズム: ByteTrack
■ ARM コアで処理
■ 線形割当問題のハンガリアン法を RISC-V にオフロード
Xilinx DPU
RISCV
PL
PS
Cortex-A53

9. DPU
● Xilinx DPU (Deep-Learning Processor Unit) IP
● Vitis-AI: DPU向けの開発環境
○ Tensorflow/Caffe/PyTorch のモデルをサポート
○ モデルの量子化・DPU向けにモデルをコンパイル
○ VART(Vitis-AI Runtime)を使用してARMコアから制御
● 並列度の異なる複数のIPが存在
○ 比較的小さいB1600を採用
Vitis-AI: https://japan.xilinx.com/products/design-tools/vitis/vitis-ai.html

10. RISC-Vコアの生成
● プラグインを追加してrv32imfacに
FPUの追加
データバスをAXI化
● VexRiscvでVerilogHDLファイル生成、VivadoでIP化
coredef.scala
VexRiscv
coredef.v
Vivado
RISC-V IP
○ ARM / RISC-Vコア間でアドレス変換不要に

11. RISC-Vコアを含むデザインの作成
● 主催提供のリファレンス実装の問題を修正
○ RISC-VコアのリセットとAXIのリセットが別
○ RISC-Vコアの2回目以降の実行が正常に行えないことが発覚
Ultra96v2のpl_resetnxをPSから制御:
https://lp6m.hatenablog.com/entry/2021/12/30/004545
リファレンス実装のブロックデザイン

12. RISC-Vコアを含むデザインの作成
● VexRiscvの機能で命令・データバスをAXIプロトコル化
○ リファレンス実装ではAXI化に独自モジュールを使用していたが削除
RISC-Vコア
ARMコア
命令BRAM
データBRAM
AXI BRAM
コントローラ
RISC-Vを搭載したブロックデザイン

13. RISC-V + DPU HW構成の構築
● DPUを搭載するにはVitisを使用する必要がある
○ Vivadoのみのフロー も存在するがVARTとの連携が難しかった為不採用
● VitisではベースとなるVivadoプロジェクトにDPUを「アクセラレーショ
ンカーネル」として追加する
○ ブロックデザインにIPが自動的に追加される
○ RISC-Vを搭載したデザインをベースプロジェクトにし、VitisでDPUを追加する
Vitisにより作成されたRISC-V+DPUなブロックデザイン

14. クロスコンパイル環境の構築
● crosstool-NGを用いてriscv向けクロスコンパイラをビルド
● コンパイルしたオブジェクトからRISC-V向け命令列を配列として生成
○ ARMで動作させる評価アプリケーションから命令列をBRAMに設定
○ リンカスクリプトではDMEMの前半64Kをプログラムの実行に、後半64KをARM/RISC-V間の
データ入出力に割当

15. ARMコアからRISC-Vコアの駆動
ARMコア側のプログラム
RISC-V側のプログラム
コンパイル

16. 開発フロー
● SW/HW 協調設計
○ 作業自体は完全分業
○ DPUの物体検出結果をチームメイトに渡して物体追跡改善してもらう

17. ● VexRiscvをUltra96-V2で動作させるためのガイド
○ わりとがんばって書きました
○ https://github.com/lp6m/VexRiscv_Ultra96
● AIエッジコンテスト 提出物
○ 整理中
○ ByteTrackの改善手法などについても書いています
○ https://github.com/Vertical-Beach/ai-edge-contest-5
● 個人参加記
○ https://lp6m.hatenablog.com/entry/2022/03/02/234343
第６回エッジAIコンテストもあるそうなので、ぜひ参加してみてください
GitHubなど