SlideShare a Scribd company logo
1 of 8
Download to read offline
【VLDB2010勉強会】


    Session 20: Databases on Modern
                           Hardware
                                    担当: 山室健(NTT)


    Session 20: Parallel and Distributed Databases
1                担当:山室健(NTT)
紹介する2本の論文
       1. Louis W. (Eidgenössische Technische Hochschule Zürich,
        Switzerland) et al.: Complex Event Detection at Wire Speed
        with FPGAs
       2. Wenbin F. (The Hong Kong University of Science and
        Technology, People’s Republic of China) et al.: Database
        Compression on Graphics Processors
       3. LoggingRyan J. (Carnegie Mellon University, United States
        of America) et al.: Aether: A Scalable Approach to Logging




    2
           Session 20: Databases on Modern Hardware 担当:山室健(NTT)
Database Compression on Graphics Processors
   論文の概要
       近年DBのクエリ処理最適化に適用されることが多くなったGPUだが、メインメモリ-
        GPUメモリ間のデータ転送がボトルネックになる問題[18][19]
       本論文では上記の問題に対して、9つのデータ圧縮手法を実装し、これらを任意に
        組み合わせること(cascade-compression[15])で、より効率的な圧縮を行い、データ
        転送ボトルネックを緩和
       さらに、最適な圧縮手法の組み合わせを発見するプランナも合わせて設計
       GDB[18]とMonetDB[6]に実装し、人工データとTPC-Hを用いて評価
   現状の課題
       GPUを使用したクエリ処理の15-90%が
        メインメモリ-GPUメモリ間のデータ転送
        処理であることが指摘[15][16]




3
        Session 20: Databases on Modern Hardware 担当:山室健(NTT)
Database Compression on Graphics Processors
   論文で利用している9個の圧縮手法
       Main Schemes – データサイズを小さくする手法
           固定長/可変長のNull Suppression、辞書圧縮、ビットマップ圧縮、ランレングス圧縮
       Auxiliary Schemes – 圧縮のためのデータ変換に関する手法
           Frame-Of-Reference、Delta、Separate、Scale
   最適な組み合わせ&順序の決定を行う圧縮プランナの設計
       探索空間が大きくなるため、圧縮対象の特性を
        考慮に入れて探索空間の縮退
           ソートされていれば、圧縮しやすいなどの枝狩り
       圧縮率、解凍速度などを考慮に入れた
        評価関数の定義
           解凍速度に関しては、GPU内の処理量と
            稼働時間を考慮にいれて実行時間を
            推定するモデルを採用


4
        Session 20: Databases on Modern Hardware 担当:山室健(NTT)
Database Compression on Graphics Processors
   人工データを利用したGDB上での評価
       非圧縮(下図(a)の赤)、単一圧縮手法(下図(a)の青)、圧縮プランナが生成した
        cascade-compression(下図(a)の黒線)の3つで応答速度を評価
   他にもMonetDB上での評価が実施
       データ全体を解凍する必要があるTable-scanでは性能悪化
       部分的な解凍が必要な処理の場合には性能向上→ただしCPU上で同等処理をさせ
        た場合と大差なし




                                                    データ転送の割合が
                                                    約30%程度に減少



5
        Session 20: Databases on Modern Hardware 担当:山室健(NTT)
Aether: A Scalable Aproach to Logging
       論文の概要
           大量の小さな更新Tr.が入力されるワークロード(TPC-B相当)が単体
            のマルチコアマシン上で動作するDBを想定
           上記の環境で発生する4つのボトルネックを明らかにし、これらを解
            決する手法を提案
           従来手法と比較し、20-69%の性能改善を達成
       DBのログマネージャにおける4つのボトルネック
           1. 大量の小さな更新I/O
           2. Log Flushの際のロック期間
           3. ブロックI/Oによるスレッドの
            リスケジュール
           4. メモリ内ログデータ構造の
            アクセス直列化

    6
            Session 20: Databases on Modern Hardware 担当:山室健(NTT)
Aether: A Scalable Aproach to Logging
       “4. メモリ内ログデータアクセスの直列化”に対する3つの提案手法
          (C) Consolidating Buffer Allocation
                Consolidation Arrayという手法を利用して[9][15][19]、連続するログレ
                 コードの挿入を1つにグループ化
           (D) Decoupling Buffer Fill
                ログレコードのCOPY処理は本質的には直列化が必要な処理ではない
                 ため、Tr. のCritical Pathから外すことで、レコードサイズの影響を除外
           (C) + (D)
                互いの手法は排他的ではないため
                 2つを合わせたハイブリッドな手法




    7
            Session 20: Databases on Modern Hardware 担当:山室健(NTT)
Aether: A Scalable Aproach to Logging
       同時スレッド数とログサイズを変化させた場合のスループットを評価(左が
        同時スレッド数、右がログサイズ)
       各手法の動機が反映された結果に
           Cの手法は、スレッド間のロックContentionに対する手法
           Dの手法は、ログサイズの影響を小さくするための手法
       ログサイズを大きくすると、提案手法は全てメモリハンド幅上限に到達

                       並列度大で
                      (C)の効果も大                         レコードサイズ大で
                                                       わずかに(D)が優勢




    8
            Session 20: Databases on Modern Hardware 担当:山室健(NTT)

More Related Content

What's hot

2015年度GPGPU実践プログラミング 第8回 総和計算(高度な最適化)
2015年度GPGPU実践プログラミング 第8回 総和計算(高度な最適化)2015年度GPGPU実践プログラミング 第8回 総和計算(高度な最適化)
2015年度GPGPU実践プログラミング 第8回 総和計算(高度な最適化)智啓 出川
 
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)MasanoriSuganuma
 
論文紹介 "DARTS: Differentiable Architecture Search"
論文紹介 "DARTS: Differentiable Architecture Search"論文紹介 "DARTS: Differentiable Architecture Search"
論文紹介 "DARTS: Differentiable Architecture Search"Yuta Koreeda
 
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化RCCSRENKEI
 
CNNの構造最適化手法について
CNNの構造最適化手法についてCNNの構造最適化手法について
CNNの構造最適化手法についてMasanoriSuganuma
 
200625material naruse
200625material naruse200625material naruse
200625material naruseRCCSRENKEI
 
Iugonet 20120810-nipr-sato
Iugonet 20120810-nipr-satoIugonet 20120810-nipr-sato
Iugonet 20120810-nipr-satoIugo Net
 
2015年度先端GPGPUシミュレーション工学特論 第5回 GPUのメモリ階層の詳細 (様々なメモリの利用)
2015年度先端GPGPUシミュレーション工学特論 第5回 GPUのメモリ階層の詳細(様々なメモリの利用)2015年度先端GPGPUシミュレーション工学特論 第5回 GPUのメモリ階層の詳細(様々なメモリの利用)
2015年度先端GPGPUシミュレーション工学特論 第5回 GPUのメモリ階層の詳細 (様々なメモリの利用) 智啓 出川
 
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール智啓 出川
 
Yu Sasaki Bachelor Thesis
Yu Sasaki Bachelor ThesisYu Sasaki Bachelor Thesis
Yu Sasaki Bachelor Thesispflab
 
Telemetryについて
TelemetryについてTelemetryについて
Telemetryについてtetsusat
 
GPGPU Seminar (GPU Accelerated Libraries, 3 of 3, Thrust)
GPGPU Seminar (GPU Accelerated Libraries, 3 of 3, Thrust) GPGPU Seminar (GPU Accelerated Libraries, 3 of 3, Thrust)
GPGPU Seminar (GPU Accelerated Libraries, 3 of 3, Thrust) 智啓 出川
 
関東GPGPU勉強会資料
関東GPGPU勉強会資料関東GPGPU勉強会資料
関東GPGPU勉強会資料Kimikazu Kato
 
2015年度GPGPU実践プログラミング 第7回 総和計算
2015年度GPGPU実践プログラミング 第7回 総和計算2015年度GPGPU実践プログラミング 第7回 総和計算
2015年度GPGPU実践プログラミング 第7回 総和計算智啓 出川
 
Kapacitorでネットワークにおける リアルタイムイベント検出
Kapacitorでネットワークにおけるリアルタイムイベント検出Kapacitorでネットワークにおけるリアルタイムイベント検出
Kapacitorでネットワークにおける リアルタイムイベント検出tetsusat
 
第5回 配信講義 計算科学技術特論A(2021)
第5回 配信講義 計算科学技術特論A(2021)第5回 配信講義 計算科学技術特論A(2021)
第5回 配信講義 計算科学技術特論A(2021)RCCSRENKEI
 
200730material fujita
200730material fujita200730material fujita
200730material fujitaRCCSRENKEI
 
20170127 JAWS HPC-UG#8
20170127 JAWS HPC-UG#820170127 JAWS HPC-UG#8
20170127 JAWS HPC-UG#8Kohei KaiGai
 
2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境
2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境
2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境智啓 出川
 
MemoryPlus Workshop
MemoryPlus WorkshopMemoryPlus Workshop
MemoryPlus WorkshopHitoshi Sato
 

What's hot (20)

2015年度GPGPU実践プログラミング 第8回 総和計算(高度な最適化)
2015年度GPGPU実践プログラミング 第8回 総和計算(高度な最適化)2015年度GPGPU実践プログラミング 第8回 総和計算(高度な最適化)
2015年度GPGPU実践プログラミング 第8回 総和計算(高度な最適化)
 
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)
 
論文紹介 "DARTS: Differentiable Architecture Search"
論文紹介 "DARTS: Differentiable Architecture Search"論文紹介 "DARTS: Differentiable Architecture Search"
論文紹介 "DARTS: Differentiable Architecture Search"
 
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
 
CNNの構造最適化手法について
CNNの構造最適化手法についてCNNの構造最適化手法について
CNNの構造最適化手法について
 
200625material naruse
200625material naruse200625material naruse
200625material naruse
 
Iugonet 20120810-nipr-sato
Iugonet 20120810-nipr-satoIugonet 20120810-nipr-sato
Iugonet 20120810-nipr-sato
 
2015年度先端GPGPUシミュレーション工学特論 第5回 GPUのメモリ階層の詳細 (様々なメモリの利用)
2015年度先端GPGPUシミュレーション工学特論 第5回 GPUのメモリ階層の詳細(様々なメモリの利用)2015年度先端GPGPUシミュレーション工学特論 第5回 GPUのメモリ階層の詳細(様々なメモリの利用)
2015年度先端GPGPUシミュレーション工学特論 第5回 GPUのメモリ階層の詳細 (様々なメモリの利用)
 
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
 
Yu Sasaki Bachelor Thesis
Yu Sasaki Bachelor ThesisYu Sasaki Bachelor Thesis
Yu Sasaki Bachelor Thesis
 
Telemetryについて
TelemetryについてTelemetryについて
Telemetryについて
 
GPGPU Seminar (GPU Accelerated Libraries, 3 of 3, Thrust)
GPGPU Seminar (GPU Accelerated Libraries, 3 of 3, Thrust) GPGPU Seminar (GPU Accelerated Libraries, 3 of 3, Thrust)
GPGPU Seminar (GPU Accelerated Libraries, 3 of 3, Thrust)
 
関東GPGPU勉強会資料
関東GPGPU勉強会資料関東GPGPU勉強会資料
関東GPGPU勉強会資料
 
2015年度GPGPU実践プログラミング 第7回 総和計算
2015年度GPGPU実践プログラミング 第7回 総和計算2015年度GPGPU実践プログラミング 第7回 総和計算
2015年度GPGPU実践プログラミング 第7回 総和計算
 
Kapacitorでネットワークにおける リアルタイムイベント検出
Kapacitorでネットワークにおけるリアルタイムイベント検出Kapacitorでネットワークにおけるリアルタイムイベント検出
Kapacitorでネットワークにおける リアルタイムイベント検出
 
第5回 配信講義 計算科学技術特論A(2021)
第5回 配信講義 計算科学技術特論A(2021)第5回 配信講義 計算科学技術特論A(2021)
第5回 配信講義 計算科学技術特論A(2021)
 
200730material fujita
200730material fujita200730material fujita
200730material fujita
 
20170127 JAWS HPC-UG#8
20170127 JAWS HPC-UG#820170127 JAWS HPC-UG#8
20170127 JAWS HPC-UG#8
 
2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境
2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境
2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境
 
MemoryPlus Workshop
MemoryPlus WorkshopMemoryPlus Workshop
MemoryPlus Workshop
 

Viewers also liked

SIGMOD’12勉強会 -Session 7-
SIGMOD’12勉強会 -Session 7-SIGMOD’12勉強会 -Session 7-
SIGMOD’12勉強会 -Session 7-Takeshi Yamamuro
 
VLDB2013 R1 Emerging Hardware
VLDB2013 R1 Emerging HardwareVLDB2013 R1 Emerging Hardware
VLDB2013 R1 Emerging HardwareTakeshi Yamamuro
 
Introduction to Modern Analytical DB
Introduction to Modern Analytical DBIntroduction to Modern Analytical DB
Introduction to Modern Analytical DBTakeshi Yamamuro
 
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題Takeshi Yamamuro
 
研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法Takeshi Yamamuro
 
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)Takeshi Yamamuro
 

Viewers also liked (11)

SIGMOD’12勉強会 -Session 7-
SIGMOD’12勉強会 -Session 7-SIGMOD’12勉強会 -Session 7-
SIGMOD’12勉強会 -Session 7-
 
VLDB2013 R1 Emerging Hardware
VLDB2013 R1 Emerging HardwareVLDB2013 R1 Emerging Hardware
VLDB2013 R1 Emerging Hardware
 
20150513 legobease
20150513 legobease20150513 legobease
20150513 legobease
 
Introduction to Modern Analytical DB
Introduction to Modern Analytical DBIntroduction to Modern Analytical DB
Introduction to Modern Analytical DB
 
20150516 icde2015 r19-4
20150516 icde2015 r19-420150516 icde2015 r19-4
20150516 icde2015 r19-4
 
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題
 
20160908 hivemall meetup
20160908 hivemall meetup20160908 hivemall meetup
20160908 hivemall meetup
 
研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法研究動向から考えるx86/x64最適化手法
研究動向から考えるx86/x64最適化手法
 
LLVM最適化のこつ
LLVM最適化のこつLLVM最適化のこつ
LLVM最適化のこつ
 
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
LLVMで遊ぶ(整数圧縮とか、x86向けの自動ベクトル化とか)
 
llvm入門
llvm入門llvm入門
llvm入門
 

Similar to VLDB'10勉強会 -Session 20-

kagami_comput2016_14
kagami_comput2016_14kagami_comput2016_14
kagami_comput2016_14swkagami
 
VLDB'10勉強会 -Session 2-
VLDB'10勉強会 -Session 2-VLDB'10勉強会 -Session 2-
VLDB'10勉強会 -Session 2-Takeshi Yamamuro
 
kagamicomput201814
kagamicomput201814kagamicomput201814
kagamicomput201814swkagami
 
2012-04-25 ASPLOS2012出張報告(公開版)
2012-04-25 ASPLOS2012出張報告(公開版)2012-04-25 ASPLOS2012出張報告(公開版)
2012-04-25 ASPLOS2012出張報告(公開版)Takahiro Shinagawa
 
C16 45分でわかるPostgreSQLの仕組み by 山田努
C16 45分でわかるPostgreSQLの仕組み by 山田努C16 45分でわかるPostgreSQLの仕組み by 山田努
C16 45分でわかるPostgreSQLの仕組み by 山田努Insight Technology, Inc.
 
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
VLDB2011勉強会 Research Session 18: MapReduce and HadoopVLDB2011勉強会 Research Session 18: MapReduce and Hadoop
VLDB2011勉強会 Research Session 18: MapReduce and HadoopHiroaki Shiokawa
 
第1回 配信講義 計算科学技術特論A (2021)
第1回 配信講義 計算科学技術特論A (2021)第1回 配信講義 計算科学技術特論A (2021)
第1回 配信講義 計算科学技術特論A (2021)RCCSRENKEI
 
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTT DATA Technology & Innovation
 
第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッションHiroki Kashiwazaki
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習Preferred Networks
 
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜griddb
 
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...Insight Technology, Inc.
 
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)Insight Technology, Inc.
 
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニングアドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニングYosuke Mizutani
 
データセンター視点で考えてみるHadoop
データセンター視点で考えてみるHadoopデータセンター視点で考えてみるHadoop
データセンター視点で考えてみるHadoopAtsushi Nakada
 
2021 03-09-ac ri-nngen
2021 03-09-ac ri-nngen2021 03-09-ac ri-nngen
2021 03-09-ac ri-nngen直久 住川
 
オープンソースコンパイラNNgenでつくるエッジ・ディープラーニングシステム
オープンソースコンパイラNNgenでつくるエッジ・ディープラーニングシステムオープンソースコンパイラNNgenでつくるエッジ・ディープラーニングシステム
オープンソースコンパイラNNgenでつくるエッジ・ディープラーニングシステムShinya Takamaeda-Y
 

Similar to VLDB'10勉強会 -Session 20- (20)

kagami_comput2016_14
kagami_comput2016_14kagami_comput2016_14
kagami_comput2016_14
 
VLDB'10勉強会 -Session 2-
VLDB'10勉強会 -Session 2-VLDB'10勉強会 -Session 2-
VLDB'10勉強会 -Session 2-
 
kagamicomput201814
kagamicomput201814kagamicomput201814
kagamicomput201814
 
2012-04-25 ASPLOS2012出張報告(公開版)
2012-04-25 ASPLOS2012出張報告(公開版)2012-04-25 ASPLOS2012出張報告(公開版)
2012-04-25 ASPLOS2012出張報告(公開版)
 
C16 45分でわかるPostgreSQLの仕組み by 山田努
C16 45分でわかるPostgreSQLの仕組み by 山田努C16 45分でわかるPostgreSQLの仕組み by 山田努
C16 45分でわかるPostgreSQLの仕組み by 山田努
 
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
VLDB2011勉強会 Research Session 18: MapReduce and HadoopVLDB2011勉強会 Research Session 18: MapReduce and Hadoop
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
 
第1回 配信講義 計算科学技術特論A (2021)
第1回 配信講義 計算科学技術特論A (2021)第1回 配信講義 計算科学技術特論A (2021)
第1回 配信講義 計算科学技術特論A (2021)
 
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
 
StreamGraph
StreamGraphStreamGraph
StreamGraph
 
第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
 
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
 
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
 
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
 
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニングアドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニング
 
第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)
第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)
第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)
 
データセンター視点で考えてみるHadoop
データセンター視点で考えてみるHadoopデータセンター視点で考えてみるHadoop
データセンター視点で考えてみるHadoop
 
CMSI計算科学技術特論A(14) 量子化学計算の大規模化1
CMSI計算科学技術特論A(14) 量子化学計算の大規模化1CMSI計算科学技術特論A(14) 量子化学計算の大規模化1
CMSI計算科学技術特論A(14) 量子化学計算の大規模化1
 
2021 03-09-ac ri-nngen
2021 03-09-ac ri-nngen2021 03-09-ac ri-nngen
2021 03-09-ac ri-nngen
 
オープンソースコンパイラNNgenでつくるエッジ・ディープラーニングシステム
オープンソースコンパイラNNgenでつくるエッジ・ディープラーニングシステムオープンソースコンパイラNNgenでつくるエッジ・ディープラーニングシステム
オープンソースコンパイラNNgenでつくるエッジ・ディープラーニングシステム
 

More from Takeshi Yamamuro

LT: Spark 3.1 Feature Expectation
LT: Spark 3.1 Feature ExpectationLT: Spark 3.1 Feature Expectation
LT: Spark 3.1 Feature ExpectationTakeshi Yamamuro
 
Quick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + αQuick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + αTakeshi Yamamuro
 
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理Takeshi Yamamuro
 
Taming Distributed/Parallel Query Execution Engine of Apache Spark
Taming Distributed/Parallel Query Execution Engine of Apache SparkTaming Distributed/Parallel Query Execution Engine of Apache Spark
Taming Distributed/Parallel Query Execution Engine of Apache SparkTakeshi Yamamuro
 
LLJVM: LLVM bitcode to JVM bytecode
LLJVM: LLVM bitcode to JVM bytecodeLLJVM: LLVM bitcode to JVM bytecode
LLJVM: LLVM bitcode to JVM bytecodeTakeshi Yamamuro
 
20180417 hivemall meetup#4
20180417 hivemall meetup#420180417 hivemall meetup#4
20180417 hivemall meetup#4Takeshi Yamamuro
 
An Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List CompressionAn Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List CompressionTakeshi Yamamuro
 
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4Takeshi Yamamuro
 
A x86-optimized rank&select dictionary for bit sequences
A x86-optimized rank&select dictionary for bit sequencesA x86-optimized rank&select dictionary for bit sequences
A x86-optimized rank&select dictionary for bit sequencesTakeshi Yamamuro
 

More from Takeshi Yamamuro (11)

LT: Spark 3.1 Feature Expectation
LT: Spark 3.1 Feature ExpectationLT: Spark 3.1 Feature Expectation
LT: Spark 3.1 Feature Expectation
 
Apache Spark + Arrow
Apache Spark + ArrowApache Spark + Arrow
Apache Spark + Arrow
 
Quick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + αQuick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + α
 
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理
 
Taming Distributed/Parallel Query Execution Engine of Apache Spark
Taming Distributed/Parallel Query Execution Engine of Apache SparkTaming Distributed/Parallel Query Execution Engine of Apache Spark
Taming Distributed/Parallel Query Execution Engine of Apache Spark
 
LLJVM: LLVM bitcode to JVM bytecode
LLJVM: LLVM bitcode to JVM bytecodeLLJVM: LLVM bitcode to JVM bytecode
LLJVM: LLVM bitcode to JVM bytecode
 
20180417 hivemall meetup#4
20180417 hivemall meetup#420180417 hivemall meetup#4
20180417 hivemall meetup#4
 
An Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List CompressionAn Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List Compression
 
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
浮動小数点(IEEE754)を圧縮したい@dsirnlp#4
 
A x86-optimized rank&select dictionary for bit sequences
A x86-optimized rank&select dictionary for bit sequencesA x86-optimized rank&select dictionary for bit sequences
A x86-optimized rank&select dictionary for bit sequences
 
VAST-Tree, EDBT'12
VAST-Tree, EDBT'12VAST-Tree, EDBT'12
VAST-Tree, EDBT'12
 

VLDB'10勉強会 -Session 20-

  • 1. 【VLDB2010勉強会】 Session 20: Databases on Modern Hardware 担当: 山室健(NTT) Session 20: Parallel and Distributed Databases 1 担当:山室健(NTT)
  • 2. 紹介する2本の論文  1. Louis W. (Eidgenössische Technische Hochschule Zürich, Switzerland) et al.: Complex Event Detection at Wire Speed with FPGAs  2. Wenbin F. (The Hong Kong University of Science and Technology, People’s Republic of China) et al.: Database Compression on Graphics Processors  3. LoggingRyan J. (Carnegie Mellon University, United States of America) et al.: Aether: A Scalable Approach to Logging 2 Session 20: Databases on Modern Hardware 担当:山室健(NTT)
  • 3. Database Compression on Graphics Processors  論文の概要  近年DBのクエリ処理最適化に適用されることが多くなったGPUだが、メインメモリ- GPUメモリ間のデータ転送がボトルネックになる問題[18][19]  本論文では上記の問題に対して、9つのデータ圧縮手法を実装し、これらを任意に 組み合わせること(cascade-compression[15])で、より効率的な圧縮を行い、データ 転送ボトルネックを緩和  さらに、最適な圧縮手法の組み合わせを発見するプランナも合わせて設計  GDB[18]とMonetDB[6]に実装し、人工データとTPC-Hを用いて評価  現状の課題  GPUを使用したクエリ処理の15-90%が メインメモリ-GPUメモリ間のデータ転送 処理であることが指摘[15][16] 3 Session 20: Databases on Modern Hardware 担当:山室健(NTT)
  • 4. Database Compression on Graphics Processors  論文で利用している9個の圧縮手法  Main Schemes – データサイズを小さくする手法  固定長/可変長のNull Suppression、辞書圧縮、ビットマップ圧縮、ランレングス圧縮  Auxiliary Schemes – 圧縮のためのデータ変換に関する手法  Frame-Of-Reference、Delta、Separate、Scale  最適な組み合わせ&順序の決定を行う圧縮プランナの設計  探索空間が大きくなるため、圧縮対象の特性を 考慮に入れて探索空間の縮退  ソートされていれば、圧縮しやすいなどの枝狩り  圧縮率、解凍速度などを考慮に入れた 評価関数の定義  解凍速度に関しては、GPU内の処理量と 稼働時間を考慮にいれて実行時間を 推定するモデルを採用 4 Session 20: Databases on Modern Hardware 担当:山室健(NTT)
  • 5. Database Compression on Graphics Processors  人工データを利用したGDB上での評価  非圧縮(下図(a)の赤)、単一圧縮手法(下図(a)の青)、圧縮プランナが生成した cascade-compression(下図(a)の黒線)の3つで応答速度を評価  他にもMonetDB上での評価が実施  データ全体を解凍する必要があるTable-scanでは性能悪化  部分的な解凍が必要な処理の場合には性能向上→ただしCPU上で同等処理をさせ た場合と大差なし データ転送の割合が 約30%程度に減少 5 Session 20: Databases on Modern Hardware 担当:山室健(NTT)
  • 6. Aether: A Scalable Aproach to Logging  論文の概要  大量の小さな更新Tr.が入力されるワークロード(TPC-B相当)が単体 のマルチコアマシン上で動作するDBを想定  上記の環境で発生する4つのボトルネックを明らかにし、これらを解 決する手法を提案  従来手法と比較し、20-69%の性能改善を達成  DBのログマネージャにおける4つのボトルネック  1. 大量の小さな更新I/O  2. Log Flushの際のロック期間  3. ブロックI/Oによるスレッドの リスケジュール  4. メモリ内ログデータ構造の アクセス直列化 6 Session 20: Databases on Modern Hardware 担当:山室健(NTT)
  • 7. Aether: A Scalable Aproach to Logging  “4. メモリ内ログデータアクセスの直列化”に対する3つの提案手法  (C) Consolidating Buffer Allocation  Consolidation Arrayという手法を利用して[9][15][19]、連続するログレ コードの挿入を1つにグループ化  (D) Decoupling Buffer Fill  ログレコードのCOPY処理は本質的には直列化が必要な処理ではない ため、Tr. のCritical Pathから外すことで、レコードサイズの影響を除外  (C) + (D)  互いの手法は排他的ではないため 2つを合わせたハイブリッドな手法 7 Session 20: Databases on Modern Hardware 担当:山室健(NTT)
  • 8. Aether: A Scalable Aproach to Logging  同時スレッド数とログサイズを変化させた場合のスループットを評価(左が 同時スレッド数、右がログサイズ)  各手法の動機が反映された結果に  Cの手法は、スレッド間のロックContentionに対する手法  Dの手法は、ログサイズの影響を小さくするための手法  ログサイズを大きくすると、提案手法は全てメモリハンド幅上限に到達 並列度大で (C)の効果も大 レコードサイズ大で わずかに(D)が優勢 8 Session 20: Databases on Modern Hardware 担当:山室健(NTT)