Contenu connexe Similaire à ソフト高速化の専門家が教える!AI・IoTエッジデバイスの選び方 (20) Plus de Fixstars Corporation (20) ソフト高速化の専門家が教える!AI・IoTエッジデバイスの選び方2. 丸岡 晃 (Akira Maruoka)
►所属: 株式会社フィックスターズ
-GENESIS DevEnv内で利用している
最適化コンパイラの研究開発
-アプリケーションの手動高速化
• アプリケーションは画像処理・画像認識がメイ
ン
• CPU/GPU/FPGA 一通り高速化します
2
4. 会社概要
4
大崎本社 横浜事業所
Fixstars Solutions, Inc.(米国カリフォルニア州、 100%子会社)
株式会社 Fixstars Autonomous Technologies (株式会社ネクスティエレクトロニクスとの合弁会社 )
株式会社 Sider (ソフトウェア品質解析や向上のための SaaSサービスを開発 )
株式会社 Smart Opinion (乳がんAI画像診断支援事業 )
設立 2002年8月
資本金 5億5,341万円 (2020年9月末 現在)
社員数 253名(2020年9月末 現在)
所在地 大崎(本社)、横浜
代表取締役社長 三木 聡
主な取引先 キオクシア、東芝、キヤノン、日立製作所、日立ハイテクノロジーズ、オリンパス、みずほ証券など
連結子会社
ソフトウェア
高速化サービス拠点
FixstarsAT拠点
9. 汎用プロセッサの性能向上の鈍化
[1] C Moore, “Data Processing in ExaScale-Class Computer Systems”, April 2011
9
シングルスレッド性能や周波数の
向上は頭打ち
一方で、搭載可能なトランジスタ数は増加
(が、まもなく頭打ちになると言われている )
14. Raspberry Pi 4 Model B
14
►ARM製CPUを搭載した、標準的な
シングルボードコンピューター
-VideoCore GPUも搭載
CPU ARM Cortex-A57 1.5GHz
GPU Broadcom VideoCore VI
Memory LPDDR4 128-bit 8GB
Performance [FLOPS] 48G(FP32)
Power[W] 7.6
16. NVIDIA Jetson Xavier NX
16
[1] NVIDIA, https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/jetson-xavier-nx/
►NVIDIA製GPUが搭載されたSoC
-VoltaアーキテクチャのGPUを搭載
CPU ARM Cortex-A57 1.5GHz
GPU NVIDIA 384-core Volta
Memory LPDDR4 128-bit 8GB
Performance [OPS] 21T(int8) / 6T(fp16) [1]
Bandwidth[GB/s] 51.2 [1]
Power[W] 10 or 15 [1]
17. GPU (Graphic Processing Unit)
17
►CPUに比べて大量の演算器を並べたプロセッサ
-その代わり、制御用の回路を少なくしている
[1] NVIDIA, “CUDA C++ Programming Guide”, CUDA TOOLKIT DOCUMENTATION v11.2.0
19. Avnet Ultra96-V2
19
CPU ARM Cortex-A53 1.5GHz
GPU ARM Mali-400 MP2
Accelerator FPGA Xilinx 154K System Logic Cells
Memory LPDDR4
Performance [OPS] ??? (実装次第)
Power[W] ??? (実装次第)
►Xilinx製FPGAを搭載した評価用ボード
20. FPGA (Field Programmable Gate Array)
20
►製造後に購入者や設計者が構成を設定できる集積回路
-内部のハードウェア実装の書き換えが可能
►様々なインターフェースに対応
-イメージセンサーから入力されたデータを
メモリを介すことなく、直接処理可能
⇒低レイテンシ処理が実現可能
22. Google Coral Dev Board
22
►EdgeTPUを搭載した開発用ボード
[1] https://coral.ai/products/dev-board/
CPU ARM Cortex-A53 1.6GHz / ARM Cortex-M4
GPU Vivante GC7000Lite
Accelerator Google Edge TPU ML accelerator coprocessor
Memory LPDDR4 4GB
Performance [OPS] 4T (int8) [1]
Power[W] 2TOP / W (TPU部のみ) [1]
28. 再掲: NVIDIA Jetson Xavier NX
28
►NVIDIA製GPUが搭載されたSoC
-VoltaアーキテクチャのGPUを搭載
CPU ARM Cortex-A57 1.5GHz
GPU NVIDIA 384-core Volta
Memory LPDDR4 128-bit 8GB
Performance [FLOPS] 21T(int8)/6T(fp16)
Bandwidth[GB/s] 51.2
Power[W] 10 or 15
この値に注目
34. 軽量なネットワークモデルを選ぼう
34
Network Profile MADDs[M] Params[M] ImageNet Top-1 Accuracy[%]
VGG-16[1]
15300 138 71.5
ResNet-18[2]
1800 5.8 69.8
ResNet-50[2]
3800 26 76.0
MobileNet V1[3]
1.0 569 4.2 70.6
MobileNet V2[4]
1.0 300 3.4 72.0
MobileNet V3[5]
Large-1.0 219 5.4 75.2
EfficientNet[6]
B0 390 5.3 77.1
[1] Karen Simonyan, et al, Very Deep Convolutional Networks for Large-Scale Image Recognition, https://arxiv.org/abs/1409.1556
[2] Kaiming He, et al, Deep Residual Learning for Image Recognition, https://arxiv.org/abs/1512.03385
[3] Andrew G. Howard, et al, MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, https://arxiv.org/abs/1704.04861
[4] Mark Sandler, et al, MobileNetV2: Inverted Residuals and Linear Bottlenecks, https://arxiv.org/abs/1801.04381
[5] Andrew Howard, et al, Searching for MobileNetV3, https://arxiv.org/abs/1905.02244
[6] Mingxing Tan, et al, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, https://arxiv.org/abs/1905.11946
計算量・メモリ使用量
が少ない、軽量なネッ
トワークモデル
43. Device pool
GENESISの概要
Backend
Frontend
● フロントエンド
Web UI経由で容易にア
プリケーション構築
横断的なベンチマーク
結果を表示
● バックエンド
研究成果であるコンパ
イラ基盤を用いて
様々なターゲットに
最適化・変換
● デバイスプール
各種ハードウェアを
セットアップし、
クラウド上での
性能評価が可能
1.モデルコンパイラ
開発者
CPU
GPU
FPGA
AI Chip
VSION Sensor
Imaging
Sensing
✔ チップボードやセンサーの性能
を活かしたサンプル使用例を公
開
✔ クラウドベースの製品展示によ
り、サポート工数を最小にし、
瞬時に世界中の見込み顧客に
届けられます。
モバイル
ビジョン
自動モビリティ
産業用
画像処理
開発者所有のエッジデバイスにデ
プロイも可能
エッジビジョンAIの開発・評価のための
クラウドプラットフォーム
Private
サプライヤ
2.ドメイン固有
コンパイラ
3.高位合成
コンパイラ
45. GENESIS ワークフロー ①
• テンプレート
✔ アプリケーション例
• Stereo Matching
• Object Detection
• 6 Pipeline ISP
• etc.
✔ 追加、修正に柔軟に対応
• アプリケーションの追加
• アプリケーションの登録
✔ 使い方のサンプル枠
• 機能センサの使用例など