Soumettre la recherche
Mettre en ligne
AWS Redshift Analyzeの必要性とvacuumの落とし穴
•
9 j'aime
•
7,462 vues
Moto Fukao
Suivre
2014.11.26 JAWS-UG Tokyo アンチパターン祭りLT
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 30
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Web Services Japan
Amazon Redshift 概要 (20分版)
Amazon Redshift 概要 (20分版)
Amazon Web Services Japan
AWS Black Belt Online Seminar Amazon Aurora
AWS Black Belt Online Seminar Amazon Aurora
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
Amazon Web Services Japan
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
Redshift勉強会
Redshift勉強会
yuya-nakamura
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
Yoshiyasu SAEKI
Recommandé
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Web Services Japan
Amazon Redshift 概要 (20分版)
Amazon Redshift 概要 (20分版)
Amazon Web Services Japan
AWS Black Belt Online Seminar Amazon Aurora
AWS Black Belt Online Seminar Amazon Aurora
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
Amazon Web Services Japan
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
Redshift勉強会
Redshift勉強会
yuya-nakamura
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
Yoshiyasu SAEKI
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon Athena
AWS Black Belt Online Seminar 2017 Amazon Athena
Amazon Web Services Japan
Deep Dive: Amazon DynamoDB (db tech showcase 2016)
Deep Dive: Amazon DynamoDB (db tech showcase 2016)
Amazon Web Services Japan
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
Ohyama Masanori
AWS Black Belt Online Seminar Amazon Redshift
AWS Black Belt Online Seminar Amazon Redshift
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS Shield
AWS Black Belt Online Seminar 2017 AWS Shield
Amazon Web Services Japan
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
akirahiguchi
Managed Service Provider(MSP)によるマルチOrganizations管理の裏側(Security JAWS 第24回 発表資料)
Managed Service Provider(MSP)によるマルチOrganizations管理の裏側(Security JAWS 第24回 発表資料)
NTT DATA Technology & Innovation
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
Amazon Web Services Japan
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Web Services Japan
AWS BlackBelt AWS上でのDDoS対策
AWS BlackBelt AWS上でのDDoS対策
Amazon Web Services Japan
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
Amazon Web Services Japan
20190806 AWS Black Belt Online Seminar AWS Glue
20190806 AWS Black Belt Online Seminar AWS Glue
Amazon Web Services Japan
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
Amazon Web Services Japan
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Amazon Web Services Japan
[AWS Start-up ゼミ] よくある課題を一気に解説!〜御社の技術レベルがアップする 2017 夏期講習〜
[AWS Start-up ゼミ] よくある課題を一気に解説!〜御社の技術レベルがアップする 2017 夏期講習〜
Amazon Web Services Japan
20141126 jaws-antipattern
20141126 jaws-antipattern
Yasuhiro Araki, Ph.D
Contenu connexe
Tendances
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon Athena
AWS Black Belt Online Seminar 2017 Amazon Athena
Amazon Web Services Japan
Deep Dive: Amazon DynamoDB (db tech showcase 2016)
Deep Dive: Amazon DynamoDB (db tech showcase 2016)
Amazon Web Services Japan
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
Ohyama Masanori
AWS Black Belt Online Seminar Amazon Redshift
AWS Black Belt Online Seminar Amazon Redshift
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS Shield
AWS Black Belt Online Seminar 2017 AWS Shield
Amazon Web Services Japan
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
akirahiguchi
Managed Service Provider(MSP)によるマルチOrganizations管理の裏側(Security JAWS 第24回 発表資料)
Managed Service Provider(MSP)によるマルチOrganizations管理の裏側(Security JAWS 第24回 発表資料)
NTT DATA Technology & Innovation
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
Amazon Web Services Japan
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Web Services Japan
AWS BlackBelt AWS上でのDDoS対策
AWS BlackBelt AWS上でのDDoS対策
Amazon Web Services Japan
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
Amazon Web Services Japan
20190806 AWS Black Belt Online Seminar AWS Glue
20190806 AWS Black Belt Online Seminar AWS Glue
Amazon Web Services Japan
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
Amazon Web Services Japan
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Amazon Web Services Japan
Tendances
(20)
AWSで作る分析基盤
AWSで作る分析基盤
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
AWS Black Belt Online Seminar 2017 Amazon Athena
AWS Black Belt Online Seminar 2017 Amazon Athena
Deep Dive: Amazon DynamoDB (db tech showcase 2016)
Deep Dive: Amazon DynamoDB (db tech showcase 2016)
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
AWS Black Belt Online Seminar Amazon Redshift
AWS Black Belt Online Seminar Amazon Redshift
AWS Black Belt Online Seminar 2017 AWS Shield
AWS Black Belt Online Seminar 2017 AWS Shield
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
Managed Service Provider(MSP)によるマルチOrganizations管理の裏側(Security JAWS 第24回 発表資料)
Managed Service Provider(MSP)によるマルチOrganizations管理の裏側(Security JAWS 第24回 発表資料)
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
AWS BlackBelt AWS上でのDDoS対策
AWS BlackBelt AWS上でのDDoS対策
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
20190806 AWS Black Belt Online Seminar AWS Glue
20190806 AWS Black Belt Online Seminar AWS Glue
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Similaire à AWS Redshift Analyzeの必要性とvacuumの落とし穴
[AWS Start-up ゼミ] よくある課題を一気に解説!〜御社の技術レベルがアップする 2017 夏期講習〜
[AWS Start-up ゼミ] よくある課題を一気に解説!〜御社の技術レベルがアップする 2017 夏期講習〜
Amazon Web Services Japan
20141126 jaws-antipattern
20141126 jaws-antipattern
Yasuhiro Araki, Ph.D
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
Oonishi Takaaki
AWSのデータベースサービス全体像
AWSのデータベースサービス全体像
Amazon Web Services Japan
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
Hideo Takagi
Azure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL Poolベストプラクティス
Microsoft
Dat004 開発者に捧ぐ「sql server_2016_
Dat004 開発者に捧ぐ「sql server_2016_
Tech Summit 2016
エンターテイメント業界におけるAWS活用事例
エンターテイメント業界におけるAWS活用事例
Amazon Web Services Japan
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
SQL Azure のシームレスな管理
SQL Azure のシームレスな管理
junichi anno
Awsビギナー向け資料 ec2 20111124
Awsビギナー向け資料 ec2 20111124
satoshi
Hadoopによるリクルートでの技術調査とその活用
Hadoopによるリクルートでの技術調査とその活用
Chiaki Hatanaka
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Shinpei Ohtani
Chugoku db 17th-postgresql-9.6
Chugoku db 17th-postgresql-9.6
Toshi Harada
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Yasuhiro Araki, Ph.D
20170510aws blackbeltrds-170510101017
20170510aws blackbeltrds-170510101017
anzhong70
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
Amazon Web Services Japan
お金をかけないDBチューニング
お金をかけないDBチューニング
Kazuya Sato
[Japan Tech summit 2017] DAL 003
[Japan Tech summit 2017] DAL 003
Microsoft Tech Summit 2017
分散メモリ環境におけるシェルスクリプトの高速化手法の提案
分散メモリ環境におけるシェルスクリプトの高速化手法の提案
Keisuke Umeno
Similaire à AWS Redshift Analyzeの必要性とvacuumの落とし穴
(20)
[AWS Start-up ゼミ] よくある課題を一気に解説!〜御社の技術レベルがアップする 2017 夏期講習〜
[AWS Start-up ゼミ] よくある課題を一気に解説!〜御社の技術レベルがアップする 2017 夏期講習〜
20141126 jaws-antipattern
20141126 jaws-antipattern
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
AWSのデータベースサービス全体像
AWSのデータベースサービス全体像
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
Azure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL Poolベストプラクティス
Dat004 開発者に捧ぐ「sql server_2016_
Dat004 開発者に捧ぐ「sql server_2016_
エンターテイメント業界におけるAWS活用事例
エンターテイメント業界におけるAWS活用事例
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
SQL Azure のシームレスな管理
SQL Azure のシームレスな管理
Awsビギナー向け資料 ec2 20111124
Awsビギナー向け資料 ec2 20111124
Hadoopによるリクルートでの技術調査とその活用
Hadoopによるリクルートでの技術調査とその活用
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Chugoku db 17th-postgresql-9.6
Chugoku db 17th-postgresql-9.6
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
20170510aws blackbeltrds-170510101017
20170510aws blackbeltrds-170510101017
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
お金をかけないDBチューニング
お金をかけないDBチューニング
[Japan Tech summit 2017] DAL 003
[Japan Tech summit 2017] DAL 003
分散メモリ環境におけるシェルスクリプトの高速化手法の提案
分散メモリ環境におけるシェルスクリプトの高速化手法の提案
Dernier
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
furutsuka
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Dernier
(7)
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
AWS Redshift Analyzeの必要性とvacuumの落とし穴
1.
Amazon Redshift ANALYZEの必要性
& VACUUMの落とし穴
2.
• 深尾 もとのぶ(フリーランス) •
AWS歴:9ヶ月(2014年3月~) • 得意分野:シェルスクリプト • 好きなAWS:Redshift
3.
ビッグデータをSQLで 簡単かつ高速に処理できるDB
4.
S3 Redshift S3
psqlコマンドサマリー 広告配信の集計システム MySQL AP Relay バッチサーバ
5.
Web広告の集計 • 表示回数,
クリック, 予算 • データ量:5,000件/秒以上 • 集計間隔:1分 • 集計所要時間:10秒
6.
事例1 A N
A LY Z E を実行していない
7.
ANALYZEとは? ANALYZE クエリプランナーで使用するテーブル統計を更新します。
分布状況やサイズによって SQLのクエリプランを最適化
8.
A N A
LY Z E を実行しないと 何が起きたの?
9.
集計処理を軽くしたはずが 逆に極端に重くなった
10.
総データ量 集計所要時間 利用データ量
11.
TIMESTAMP (SORTKEY) UID
10/31 23:55 abc 10/31 23:56 def 10/31 23:57 ghi 10/31 23:58 jkl 10/31 23:59 mno 11/1 0:00 pqr 11/1 0:01 stu 11/1 0:02 vwx 11/1 0:03 yz SELECT UID FROM <TABLE> WHERE <SORTKEY> >= ’11/1 0:00’ 10/31以前のデータを スキップしてI/Oを削減
12.
軽くなるはずが・・・ クエリの実行時間が30 倍
40秒1200秒 クエリ実行中の ストレージ使用率2倍 メモリの大量消費?
13.
原因 ANALYZEを実行しておらず テーブル統計が実際と乖離
テーブル統計が更新されるのは ANALYZE
14.
psql (8.4.20, server
8.0.2) WARNING: psql version 8.4, server version 8.0. Some psql features might not work. SSL connection (cipher: ECDHE-RSA-AES256-SHA, bits: 256) Type "help" for help. dmt01=> dmt01=> dmt01=> ANALYZE; テーブル統計を更新
15.
クエリの所要時間 40 秒
秒 1200 10 秒 初期状態 対象絞り込み ANALYZE後
16.
教訓 定期的にA N
A LY Z E で テーブル統計を更新する
17.
事例2 D E
L E T E 後のV A C U U M
18.
VACUUMとは? VACUUM 行のスペースの再利用や行の再ソートを行います。
•データ削除後の解放 •SORTKEYによるソート (差分ソートと全ソート)
19.
ソートは2種類 •通常は差分ソート •
DELETE後は全ソート
20.
通常は差分ソート 古い新しい ソート済み
VACUUM実行 ソート済み 未ソート 未ソート VACUUM実行 ソート済み 追加 追加
21.
DELETE後は全ソート 古い新しい ソート済み
DELETE実行 ソート対象 VACUUM実行 削除 未解放 解放+全ソート 解放済ソート済み
22.
その結果、 DELETE後に残ったのデータの 7
ソートに 時間
23.
DELETE後の全ソートを 避けることはできない DELETE
ONLYやSORT ONLYを使えば 解放とソートを区別することはできるが 差分ソートと全ソートを 区別して実行することはできない。
24.
どうやって古いデータを 削除するの?
25.
時系列テーブルの DROPまたはTRUNCATE
26.
時系列テーブルとは? 時系列テーブルの使用 データの保存期間が固定されている場合、時系列テーブルの順序でデータを整理することを
お勧めします。各テーブルは同じであっても、異なる時間範囲のデータが含まれるようにします。 該当するテーブルで DROP TABLE を実行することで古いデータを簡単に削除できます。大規模な DELETE を実行するよりもはるかに高速であり、その後、VACUUM を実行して領域を再利用する 必要がありません。UNION ALL ビューを作成し、データが異なるテーブルに保存されているとい う事実を隠すことができます。古いデータを削除するとき、UNION ALL ビューを微調整し、ドロ ップしたテーブルを削除します。同様に、新しい期間を新しいテーブルにロードするとき、新しい テーブルをこのビューに追加します。
27.
時系列テーブルとは? UNION ALL
ビュー 1月2月3月4月 5月6月7月 9月10月11月 8月 12月
28.
教訓 定期的に古いデータを 削除するなら時系列テーブル
29.
30.
Let’s try Redshift
Thank you for your attention.
Télécharger maintenant