SlideShare une entreprise Scribd logo
1  sur  14
Google BigQuery
     とは?
   IPROS 勉強会 2012/07/25
  株式会社イプロス 山口隼也
      @junya100
あなたが常識としている
  システム設計上での
パフォーマンスを出すための
  「アンチパターン」
Google BigQueryが
   その常識を
 くつがえします!
Anti Pattern 1


テーブルのJOINを
できるだけ避ける!
(非正規化する!)
Anti Pattern 2


DBのインデックスが
使われるようにする!
Anti Pattern 3


SQLがクエリキャッシュに
乗るようにメモリを増やす!
Anti Pattern 4


Like検索を使わない!
Anti Pattern 5


  RDBMSは遅いので、
NoSQLにキャッシュする!
Anti Pattern 6


レコード数が増えたら
パーティショニングや、
 シャーディングする!
 (テーブルを分ける)
Anti Pattern 7


レコード数が膨大になる
データは、DBではなく、
 テキストファイルに
   吐いておく!
Anti Pattern 8


     しかもそれを
  Hadoopで集計する!
かつ、PigやHiveを使う!
SQLなら簡単なのに・・・
Anti Pattern 9


大量なデータの集計は、
リアルタイム処理を避け、
 バッチ処理にする!
Anti Pattern 10


 ストレージって高価だから、
データを定期的に削除したり、
    圧縮したり、
 そもそも仕様を削ったり!
Google BigQueryがそれらのアンチパターン
        を一切、不要にします!

 https://bigquery.cloud.google.com/

Contenu connexe

Similaire à Google bigqueryとは

IoT FinTech Drupal 20160720
IoT  FinTech  Drupal 20160720IoT  FinTech  Drupal 20160720
IoT FinTech Drupal 20160720Hidekazu Ikeda
 
実はとても面白い...Documentation library
実はとても面白い...Documentation library実はとても面白い...Documentation library
実はとても面白い...Documentation libraryKouta Shiobara
 
B 2-1 はじめての Windows Azure
B 2-1 はじめての Windows AzureB 2-1 はじめての Windows Azure
B 2-1 はじめての Windows AzureGoAzure
 
Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編ThinkIT_impress
 
集合演算を真っ向から否定するアレの話
集合演算を真っ向から否定するアレの話集合演算を真っ向から否定するアレの話
集合演算を真っ向から否定するアレの話Kouhei Aoyagi
 
Japan it 20160707short
Japan it 20160707shortJapan it 20160707short
Japan it 20160707shortHidekazu Ikeda
 
Janog31 bof-pattern-sasaki-01
Janog31 bof-pattern-sasaki-01Janog31 bof-pattern-sasaki-01
Janog31 bof-pattern-sasaki-01Ken SASAKI
 
Google bigquery導入記
Google bigquery導入記Google bigquery導入記
Google bigquery導入記Yugo Shimizu
 
地方企業がソーシャルゲーム開発を成功させるための10のポイント
地方企業がソーシャルゲーム開発を成功させるための10のポイント地方企業がソーシャルゲーム開発を成功させるための10のポイント
地方企業がソーシャルゲーム開発を成功させるための10のポイントKentaro Matsui
 
20200629 データベース基礎~データベースの扱いとデータ設計~
20200629 データベース基礎~データベースの扱いとデータ設計~20200629 データベース基礎~データベースの扱いとデータ設計~
20200629 データベース基礎~データベースの扱いとデータ設計~Hikaru Tanaka
 
SQL Server のロック概要
SQL Server のロック概要SQL Server のロック概要
SQL Server のロック概要Oda Shinsuke
 
DBエンジニアに必要だったPythonのスキル
DBエンジニアに必要だったPythonのスキルDBエンジニアに必要だったPythonのスキル
DBエンジニアに必要だったPythonのスキルSatoshi Yamada
 
[db tech showcase Tokyo 2018] #dbts2018 #D1L 『"何が必要?どう実現?"~異種DB間データリアルタイム連携』
[db tech showcase Tokyo 2018] #dbts2018 #D1L 『"何が必要?どう実現?"~異種DB間データリアルタイム連携』[db tech showcase Tokyo 2018] #dbts2018 #D1L 『"何が必要?どう実現?"~異種DB間データリアルタイム連携』
[db tech showcase Tokyo 2018] #dbts2018 #D1L 『"何が必要?どう実現?"~異種DB間データリアルタイム連携』Insight Technology, Inc.
 

Similaire à Google bigqueryとは (13)

IoT FinTech Drupal 20160720
IoT  FinTech  Drupal 20160720IoT  FinTech  Drupal 20160720
IoT FinTech Drupal 20160720
 
実はとても面白い...Documentation library
実はとても面白い...Documentation library実はとても面白い...Documentation library
実はとても面白い...Documentation library
 
B 2-1 はじめての Windows Azure
B 2-1 はじめての Windows AzureB 2-1 はじめての Windows Azure
B 2-1 はじめての Windows Azure
 
Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編
 
集合演算を真っ向から否定するアレの話
集合演算を真っ向から否定するアレの話集合演算を真っ向から否定するアレの話
集合演算を真っ向から否定するアレの話
 
Japan it 20160707short
Japan it 20160707shortJapan it 20160707short
Japan it 20160707short
 
Janog31 bof-pattern-sasaki-01
Janog31 bof-pattern-sasaki-01Janog31 bof-pattern-sasaki-01
Janog31 bof-pattern-sasaki-01
 
Google bigquery導入記
Google bigquery導入記Google bigquery導入記
Google bigquery導入記
 
地方企業がソーシャルゲーム開発を成功させるための10のポイント
地方企業がソーシャルゲーム開発を成功させるための10のポイント地方企業がソーシャルゲーム開発を成功させるための10のポイント
地方企業がソーシャルゲーム開発を成功させるための10のポイント
 
20200629 データベース基礎~データベースの扱いとデータ設計~
20200629 データベース基礎~データベースの扱いとデータ設計~20200629 データベース基礎~データベースの扱いとデータ設計~
20200629 データベース基礎~データベースの扱いとデータ設計~
 
SQL Server のロック概要
SQL Server のロック概要SQL Server のロック概要
SQL Server のロック概要
 
DBエンジニアに必要だったPythonのスキル
DBエンジニアに必要だったPythonのスキルDBエンジニアに必要だったPythonのスキル
DBエンジニアに必要だったPythonのスキル
 
[db tech showcase Tokyo 2018] #dbts2018 #D1L 『"何が必要?どう実現?"~異種DB間データリアルタイム連携』
[db tech showcase Tokyo 2018] #dbts2018 #D1L 『"何が必要?どう実現?"~異種DB間データリアルタイム連携』[db tech showcase Tokyo 2018] #dbts2018 #D1L 『"何が必要?どう実現?"~異種DB間データリアルタイム連携』
[db tech showcase Tokyo 2018] #dbts2018 #D1L 『"何が必要?どう実現?"~異種DB間データリアルタイム連携』
 

Plus de Junya Yamaguchi

戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」Junya Yamaguchi
 
量子コンピュータ(Quantum Computer)
量子コンピュータ(Quantum Computer)量子コンピュータ(Quantum Computer)
量子コンピュータ(Quantum Computer)Junya Yamaguchi
 
Twilio Usecase at iPROS in Japan
Twilio Usecase at iPROS in JapanTwilio Usecase at iPROS in Japan
Twilio Usecase at iPROS in JapanJunya Yamaguchi
 
イプロス・リーン・マニフェスト
イプロス・リーン・マニフェストイプロス・リーン・マニフェスト
イプロス・リーン・マニフェストJunya Yamaguchi
 
デジタルマーケティグ基礎用語(1)
デジタルマーケティグ基礎用語(1)デジタルマーケティグ基礎用語(1)
デジタルマーケティグ基礎用語(1)Junya Yamaguchi
 
TACについて調べてみました
TACについて調べてみましたTACについて調べてみました
TACについて調べてみましたJunya Yamaguchi
 
Makersを題材にソフトウェア開発を考える
Makersを題材にソフトウェア開発を考えるMakersを題材にソフトウェア開発を考える
Makersを題材にソフトウェア開発を考えるJunya Yamaguchi
 
Marketing Automation Study
Marketing Automation StudyMarketing Automation Study
Marketing Automation StudyJunya Yamaguchi
 
ソフトウェア開発の7つのなぜに答えます
ソフトウェア開発の7つのなぜに答えますソフトウェア開発の7つのなぜに答えます
ソフトウェア開発の7つのなぜに答えますJunya Yamaguchi
 
boudio ライトニングトーク
boudio ライトニングトークboudio ライトニングトーク
boudio ライトニングトークJunya Yamaguchi
 

Plus de Junya Yamaguchi (15)

MBaaS - Parse
MBaaS - ParseMBaaS - Parse
MBaaS - Parse
 
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
 
量子コンピュータ(Quantum Computer)
量子コンピュータ(Quantum Computer)量子コンピュータ(Quantum Computer)
量子コンピュータ(Quantum Computer)
 
Twilio Usecase at iPROS in Japan
Twilio Usecase at iPROS in JapanTwilio Usecase at iPROS in Japan
Twilio Usecase at iPROS in Japan
 
Data Onboarding
Data OnboardingData Onboarding
Data Onboarding
 
機械学習とJubatus
機械学習とJubatus機械学習とJubatus
機械学習とJubatus
 
イプロス・リーン・マニフェスト
イプロス・リーン・マニフェストイプロス・リーン・マニフェスト
イプロス・リーン・マニフェスト
 
デジタルマーケティグ基礎用語(1)
デジタルマーケティグ基礎用語(1)デジタルマーケティグ基礎用語(1)
デジタルマーケティグ基礎用語(1)
 
TACについて調べてみました
TACについて調べてみましたTACについて調べてみました
TACについて調べてみました
 
Makersを題材にソフトウェア開発を考える
Makersを題材にソフトウェア開発を考えるMakersを題材にソフトウェア開発を考える
Makersを題材にソフトウェア開発を考える
 
Marketing Automation Study
Marketing Automation StudyMarketing Automation Study
Marketing Automation Study
 
ソフトウェア開発の7つのなぜに答えます
ソフトウェア開発の7つのなぜに答えますソフトウェア開発の7つのなぜに答えます
ソフトウェア開発の7つのなぜに答えます
 
Strata conference 2012
Strata conference 2012Strata conference 2012
Strata conference 2012
 
boudio ライトニングトーク
boudio ライトニングトークboudio ライトニングトーク
boudio ライトニングトーク
 
P2Pって何?
P2Pって何?P2Pって何?
P2Pって何?
 

Google bigqueryとは

Notes de l'éditeur

  1. \n
  2. \n
  3. \n
  4. \n
  5. \n
  6. \n
  7. \n
  8. \n
  9. \n
  10. \n
  11. \n
  12. \n
  13. \n
  14. \n