RAPIDS 概要
•
9 j'aime•5,581 vues
RAPIDS はデータサイエンスのワークフロー全体を GPU で高速化するためのライブラリ群です。GPU の性能を引き出す NVIDIA CUDA ベースで構築され、使いやすい Python インタフェースを提供します。
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à RAPIDS 概要
Similaire à RAPIDS 概要 (20)
Plus de NVIDIA Japan
Plus de NVIDIA Japan (20)
Dernier
Dernier (8)
RAPIDS 概要
- 1. 概要 RAPIDS
- 3. 3 ビッグデータ業界 ビジネス インテリジェンスからデータ サイエンスへ コンシューマー インターネット 小売 金融サービス ヘルスケア
- 6. 6 RAPIDS — オープン GPU データサイエンス ソフトウェア スタック データ準備 可視化モデルのトレーニング CUDA PYTHON APACHE ARROW DASK DEEP LEARNING FRAMEWORKS CUDNN RAPIDS CUMLCUDF CUGRAPH
- 7. 7 “RAPIDS は我々のデータ活用を劇的に改善しました – 非常に複雑なモデル を大規模な環境で処理することで、より正確な予測を実現したのです。” — Jeremy King, EVP & CTO
- 8. 8 cuDF — ANALYTICS ライブラリ daskgdf: Dask を使った分散 GPU データフレーム。マルチ GPU、マルチノードをサポート。 pygdf: libgdf の Python バインディング (Pandas ライクなデータフレーム操作 API を提供) libgdf: CUDA C++ による GPU データフレーム操作の実装 (Join, GroupBy, Sort, etc.) 必要なメモリサイズ 作業メモリとしてデータセットサイズの 2~3 倍。 マルチ GPU、マルチノードに関するロードマップ Apache Arrow ベースの GPU データフレーム ライブラリ 利用可能時期 マルチ GPU マルチ ノード ピア to ピアの データ共有* Now Yes Yes No Q4 2018 Yes Yes Yes *Note: No peer-to-peer data sharing means computation performed via map/reduce style programming in Dask libgdf CUDA C++ による実装 pygdf GDF の Python バインディング daskgdf 分散コンピューティング
- 9. 9 cuIO — FILE I/O cuIO のファイルリーダーは GPU を活用し、データを直接 cuDF のデータフレームへと読み込む。 Dask により、データロードを複数コアに並列化。 cuDF へファイルを直接ロード 利用可能時期 サポートするファイル形式 Now CSV Q4 2018 Parquet, ORC Note: Dask/Pandas can be used to read all formats CSV, Parquet, ORC, JSON, AVRO in cuDF; However, it is slower because it uses the CPU and needs to be read to system memory, then copied over to GPU memory
- 10. 10 cuML — MACHINE LEARNING Dask 分散トレーニング: cuML での分散モデルトレーニングで利用 Python API 言語バインディング: C++/CUDA ベースの cuML に対する Python バインディング | cuDF データフレームを入力とする cuML 機械学習アルゴリズムの C++/CUDA 実装: 打ち切り特異値分解 (tSVD)、主成分分析 (PCA)、DBSCAN、... ml-prims 機械学習基本演算のCUDA 実装: cuML で利用される機械学習の基本演算 | 線形代数、統計、行列演算、距離関数、乱数生成 GPU で高速化された scikit-learn と XGBoost ライブラリ ml-prims CUDA ML 基本演算 cuML C++/CUDA 機械学習アルゴリズム Python API 言語バインディング Dask 分散トレーニング
- 11. 11 cuML — ロードマップ Scikit-learn + XGBoost cuML アルゴリズム Available Now Q4-2018 Q1-2019 XGBoost GBDT MGMN Truncated Singular Value Decomposition (tSVD) SG MG Principal Component Analysis (PCA) SG MG Density-based Spatial Clustering of Applications with Noise (DBSCAN) SG MG XGBoost Random Forest MGMN K-Means Clustering MG Kalman Filter SG MG FAISS K-NN MG MGMN GLM (including Logistic) MGMN Time Series MG Support Vector Machines MGMN Collaborative Filtering MG UMAP MG Last updated 10.16.18 SG Single GPU MG Multi-GPU MGMN Multi-GPU Multi-Node
- 12. 12 cuGRAPH — グラフ分析 GPU 対応グラフ分析ライブラリである nvGraph、Gunrock、Hornet を統合 2019 年リリース予定 GPU で高速化された統合グラフ分析ライブラリ nvGraph HornetGunrock cuGRAPH
- 13. 13 ベンチマークテスト結果 2,290 1,956 1,999 1,948 169 157 0 500 1,000 1,500 2,000 2,500 20 CPU Nodes 30 CPU Nodes 50 CPU Nodes 100 CPU Nodes DGX-2 5x DGX-1 0 2,000 4,000 6,000 8,000 10,000 20 CPU Nodes 30 CPU Nodes 50 CPU Nodes 100 CPU Nodes DGX-2 5x DGX-1 cuML — XGBoost 2,741 1,675 715 379 42 19 0 1,000 2,000 3,000 20 CPU Nodes 30 CPU Nodes 50 CPU Nodes 100 CPU Nodes DGX-2 5x DGX-1 End-to-End cuIO/cuDF — Load and Data Preparation Benchmark 200GB CSV dataset; Data preparation includes joins, variable transformations. CPU Cluster Configuration CPU nodes (61 GiB of memory, 8 vCPUs, 64-bit platform), Apache Spark DGX Cluster Configuration 5x DGX-1 on InfiniBand network Time in seconds — Shorter is better cuIO / cuDF (Load and Data Preparation) Data Conversion XGBoost
- 14. 14 HIGH PERFORMANCE AND EASY TO USE 容易なインテグレーション 新たなツールを覚えることなく、最小限のコード修正で既存の Python データサイエンス ワークフローを高速化 様々な GPU 環境へスケールアウト PC からサーバー、そしてマルチノードクラスターへとシームレスなスケーリングが可能 高精度なモデル 学習と評価のサイクルを加速することで機械学習モデルの精度を向上 トレーニング時間の短縮 データサイエンスの生産性を飛躍的に改善 オープンソース Apache Arrow をベースとし、NVIDIA がサポートするオープンソース ソフトウェアが高い カスタマイズ性、拡張性、相互運用性を実現
- 15. 15 クラウド ダウンロードとデプロイ オンプレミス ソースコード、ライブラリ、パッケージ ソースコードは GitHub | コンテナイメージは NGC と Dockerhub | PIP でも提供予定 NGC
- 16. 16 RAPIDS GPU がデータサイエンスを加速 RAPIDS はデータ操作と機械学習アルゴリズムを GPU で高速化するオープンソース ライブラリ群 詳細は: www.rapids.ai