Soumettre la recherche
Mettre en ligne
BigQuery で 150万円 使ったときの話
•
1 j'aime
•
2,301 vues
itkr
Suivre
https://connpass.com/event/147801/
Lire moins
Lire la suite
Business
Signaler
Partager
Signaler
Partager
1 sur 52
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
【BS13】チーム開発がこんなにも快適に!コーディングもデバッグも GitHub 上で。 GitHub Codespaces で叶えられるシームレスな開発
【BS13】チーム開発がこんなにも快適に!コーディングもデバッグも GitHub 上で。 GitHub Codespaces で叶えられるシームレスな開発
日本マイクロソフト株式会社
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
Shota Shinogi
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
Google Cloud Platform - Japan
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
Google Cloud Dataflow を理解する - #bq_sushi
Google Cloud Dataflow を理解する - #bq_sushi
Google Cloud Platform - Japan
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Kazuhiro Suga
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
Recommandé
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
【BS13】チーム開発がこんなにも快適に!コーディングもデバッグも GitHub 上で。 GitHub Codespaces で叶えられるシームレスな開発
【BS13】チーム開発がこんなにも快適に!コーディングもデバッグも GitHub 上で。 GitHub Codespaces で叶えられるシームレスな開発
日本マイクロソフト株式会社
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
Shota Shinogi
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
Google Cloud Platform - Japan
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
Google Cloud Dataflow を理解する - #bq_sushi
Google Cloud Dataflow を理解する - #bq_sushi
Google Cloud Platform - Japan
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Kazuhiro Suga
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Shin Ohno
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
Yoshiki Hayama
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
これでBigQueryをドヤ顔で語れる!BigQueryの基本
これでBigQueryをドヤ顔で語れる!BigQueryの基本
Tomohiro Shinden
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
Google Cloud Platform - Japan
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
sairoutine
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
NTT DATA Technology & Innovation
ソーシャルゲームのためのデータベース設計
ソーシャルゲームのためのデータベース設計
Yoshinori Matsunobu
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Miki Shimogai
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
Java + React.jsでSever Side Rendering #reactjs_meetup
Java + React.jsでSever Side Rendering #reactjs_meetup
Toshiaki Maki
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Akihiro Suda
Jenkins x Kubernetesが簡単だと思ったら大変だった話
Jenkins x Kubernetesが簡単だと思ったら大変だった話
Masaki Yamamoto
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
DockerとPodmanの比較
DockerとPodmanの比較
Akihiro Suda
マイクロソフトの AI プラットフォーム & Cognitive Services 概要 ~ Ignite 2020 Recap
マイクロソフトの AI プラットフォーム & Cognitive Services 概要 ~ Ignite 2020 Recap
Ayako Omori
LT.19 BigQueryとGoogleスプレッドシートで作る格安BI
LT.19 BigQueryとGoogleスプレッドシートで作る格安BI
GIG inc.
Contenu connexe
Tendances
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Shin Ohno
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
Yoshiki Hayama
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
これでBigQueryをドヤ顔で語れる!BigQueryの基本
これでBigQueryをドヤ顔で語れる!BigQueryの基本
Tomohiro Shinden
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
Google Cloud Platform - Japan
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
sairoutine
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
NTT DATA Technology & Innovation
ソーシャルゲームのためのデータベース設計
ソーシャルゲームのためのデータベース設計
Yoshinori Matsunobu
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Miki Shimogai
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
Java + React.jsでSever Side Rendering #reactjs_meetup
Java + React.jsでSever Side Rendering #reactjs_meetup
Toshiaki Maki
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Akihiro Suda
Jenkins x Kubernetesが簡単だと思ったら大変だった話
Jenkins x Kubernetesが簡単だと思ったら大変だった話
Masaki Yamamoto
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
DockerとPodmanの比較
DockerとPodmanの比較
Akihiro Suda
Tendances
(20)
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
これでBigQueryをドヤ顔で語れる!BigQueryの基本
これでBigQueryをドヤ顔で語れる!BigQueryの基本
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
ソーシャルゲームのためのデータベース設計
ソーシャルゲームのためのデータベース設計
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Java + React.jsでSever Side Rendering #reactjs_meetup
Java + React.jsでSever Side Rendering #reactjs_meetup
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Jenkins x Kubernetesが簡単だと思ったら大変だった話
Jenkins x Kubernetesが簡単だと思ったら大変だった話
AWSではじめるMLOps
AWSではじめるMLOps
DockerとPodmanの比較
DockerとPodmanの比較
Similaire à BigQuery で 150万円 使ったときの話
マイクロソフトの AI プラットフォーム & Cognitive Services 概要 ~ Ignite 2020 Recap
マイクロソフトの AI プラットフォーム & Cognitive Services 概要 ~ Ignite 2020 Recap
Ayako Omori
LT.19 BigQueryとGoogleスプレッドシートで作る格安BI
LT.19 BigQueryとGoogleスプレッドシートで作る格安BI
GIG inc.
kintoneとコグニティブサービス連携
kintoneとコグニティブサービス連携
Cybozucommunity
kintoneとコグニティブサービス連携(本番)
kintoneとコグニティブサービス連携(本番)
聡 満村
スタートアップで培ったアーキテクチャ設計ノウハウ
スタートアップで培ったアーキテクチャ設計ノウハウ
Masakazu Matsushita
MANABIYA 2018 DB kinoshita DB for AItech
MANABIYA 2018 DB kinoshita DB for AItech
Yasufumi Kinoshita
JPC2018[D1]「信頼できるCloud」のために ― マイクロソフト法務部門からお伝えしたいこと
JPC2018[D1]「信頼できるCloud」のために ― マイクロソフト法務部門からお伝えしたいこと
MPN Japan
CognitoとSDKでサーバーレスなマルチデバイスアプリを構築する
CognitoとSDKでサーバーレスなマルチデバイスアプリを構築する
Hiroyoshi Miyazaki
AI搭載Bingと最新情報(生成系AI系研究会)
AI搭載Bingと最新情報(生成系AI系研究会)
Tomokazu Kizawa
What is tmcn for isit
What is tmcn for isit
Yukihiro Kimura
20180119_AIを支えるクラウド技術
20180119_AIを支えるクラウド技術
康平 秋山
ユーザーの時間軸を含めたプロダクトデザイン
ユーザーの時間軸を含めたプロダクトデザイン
Shin Semiya
Ride on azure~アイデアソン編~
Ride on azure~アイデアソン編~
Tatsuya Ishikawa
IoTデータ活用のフィードバックループ
IoTデータ活用のフィードバックループ
Koichi Sasaki
HTML5でFirefox OSアプリを作ろう
HTML5でFirefox OSアプリを作ろう
Takao Sumitomo
Dat002 ディープラーニン
Dat002 ディープラーニン
Tech Summit 2016
「企業のデジタルトランスフォーメーション ビッグデータ利活用に関する活動と課題」
「企業のデジタルトランスフォーメーション ビッグデータ利活用に関する活動と課題」
scirexcenter
これからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフト
Daisuke Masubuchi
What's TMCN?
What's TMCN?
Yukihiro Kimura
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
Similaire à BigQuery で 150万円 使ったときの話
(20)
マイクロソフトの AI プラットフォーム & Cognitive Services 概要 ~ Ignite 2020 Recap
マイクロソフトの AI プラットフォーム & Cognitive Services 概要 ~ Ignite 2020 Recap
LT.19 BigQueryとGoogleスプレッドシートで作る格安BI
LT.19 BigQueryとGoogleスプレッドシートで作る格安BI
kintoneとコグニティブサービス連携
kintoneとコグニティブサービス連携
kintoneとコグニティブサービス連携(本番)
kintoneとコグニティブサービス連携(本番)
スタートアップで培ったアーキテクチャ設計ノウハウ
スタートアップで培ったアーキテクチャ設計ノウハウ
MANABIYA 2018 DB kinoshita DB for AItech
MANABIYA 2018 DB kinoshita DB for AItech
JPC2018[D1]「信頼できるCloud」のために ― マイクロソフト法務部門からお伝えしたいこと
JPC2018[D1]「信頼できるCloud」のために ― マイクロソフト法務部門からお伝えしたいこと
CognitoとSDKでサーバーレスなマルチデバイスアプリを構築する
CognitoとSDKでサーバーレスなマルチデバイスアプリを構築する
AI搭載Bingと最新情報(生成系AI系研究会)
AI搭載Bingと最新情報(生成系AI系研究会)
What is tmcn for isit
What is tmcn for isit
20180119_AIを支えるクラウド技術
20180119_AIを支えるクラウド技術
ユーザーの時間軸を含めたプロダクトデザイン
ユーザーの時間軸を含めたプロダクトデザイン
Ride on azure~アイデアソン編~
Ride on azure~アイデアソン編~
IoTデータ活用のフィードバックループ
IoTデータ活用のフィードバックループ
HTML5でFirefox OSアプリを作ろう
HTML5でFirefox OSアプリを作ろう
Dat002 ディープラーニン
Dat002 ディープラーニン
「企業のデジタルトランスフォーメーション ビッグデータ利活用に関する活動と課題」
「企業のデジタルトランスフォーメーション ビッグデータ利活用に関する活動と課題」
これからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフト
What's TMCN?
What's TMCN?
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
Dernier
202405_VISIONARYJAPAN_engineerteam_entrancebook(ver2.1)
202405_VISIONARYJAPAN_engineerteam_entrancebook(ver2.1)
KayaSuetake1
UP103シリーズ パワーコメット ユニパー スライドレールタイプ 瓦揚げ機 ウインチ
UP103シリーズ パワーコメット ユニパー スライドレールタイプ 瓦揚げ機 ウインチ
ユニパー株式会社
ストックマーク株式会社がご提供しているAnews(エーニュース)概要紹介.pdf
ストックマーク株式会社がご提供しているAnews(エーニュース)概要紹介.pdf
masakisaito12
事例DBサービス紹介資料(Case Study DB service introduction)
事例DBサービス紹介資料(Case Study DB service introduction)
YujiSakurai3
セルフケア研修で使えるカードゲーム『攻略!きみのストレスを発見せよ!: ゲームで身につくストレスマネジメント』
セルフケア研修で使えるカードゲーム『攻略!きみのストレスを発見せよ!: ゲームで身につくストレスマネジメント』
Jun Chiba
シンフォニティ株式会社(SYMPHONITY , Inc.) 会社説明・人材採用資料
シンフォニティ株式会社(SYMPHONITY , Inc.) 会社説明・人材採用資料
シンフォニティ 株式会社
物流は成長の準備ができていますか? 警告 1 日あたり 1 章を超えて消費しないでください コンテンツが覚醒と変化への意志を引き起こす
物流は成長の準備ができていますか? 警告 1 日あたり 1 章を超えて消費しないでください コンテンツが覚醒と変化への意志を引き起こす
Michael Rada
Service-introduction-materials-misorae-leadership
Service-introduction-materials-misorae-leadership
Yasuyoshi Minehisa
Dernier
(8)
202405_VISIONARYJAPAN_engineerteam_entrancebook(ver2.1)
202405_VISIONARYJAPAN_engineerteam_entrancebook(ver2.1)
UP103シリーズ パワーコメット ユニパー スライドレールタイプ 瓦揚げ機 ウインチ
UP103シリーズ パワーコメット ユニパー スライドレールタイプ 瓦揚げ機 ウインチ
ストックマーク株式会社がご提供しているAnews(エーニュース)概要紹介.pdf
ストックマーク株式会社がご提供しているAnews(エーニュース)概要紹介.pdf
事例DBサービス紹介資料(Case Study DB service introduction)
事例DBサービス紹介資料(Case Study DB service introduction)
セルフケア研修で使えるカードゲーム『攻略!きみのストレスを発見せよ!: ゲームで身につくストレスマネジメント』
セルフケア研修で使えるカードゲーム『攻略!きみのストレスを発見せよ!: ゲームで身につくストレスマネジメント』
シンフォニティ株式会社(SYMPHONITY , Inc.) 会社説明・人材採用資料
シンフォニティ株式会社(SYMPHONITY , Inc.) 会社説明・人材採用資料
物流は成長の準備ができていますか? 警告 1 日あたり 1 章を超えて消費しないでください コンテンツが覚醒と変化への意志を引き起こす
物流は成長の準備ができていますか? 警告 1 日あたり 1 章を超えて消費しないでください コンテンツが覚醒と変化への意志を引き起こす
Service-introduction-materials-misorae-leadership
Service-introduction-materials-misorae-leadership
BigQuery で 150万円 使ったときの話
1.
BigQueryの話 それでもBigQueryを使い続ける理由
2.
BigQueryで150万円使ったときの話 それでもBigQueryを使い続ける理由
3.
発表者について(現在) SENSY株式会社 所属 シニアエンジニア 「感性学習」「パーソナル人工知能」というコンセプトの製品の開発 BigQuery、Cloud Composer、Cloud AutoML…
など、GCPを利用した データ処理や製品開発など (...今日はこの話はしません)
4.
発表者について(ゲーム会社時代) ゲーム会社 所属 技術基盤チームでゲームの基盤の作成、ログなどのデータ分析など BigQueryを使い始めた頃、とあるQiitaの投稿 がちょっと話題に…
5.
BigQuery
6.
BigQueryで 150万円 溶かした人の顔
7.
当時のBigQuery界隈
8.
当時のBigQuery界隈 ● 世間ではRedshiftと比較されることが多かった印象 ● 社内ではRedshift・Elasticsearch・MongoDB・BigQueryなどを使っていた ●
パーティショニングができなかったので日毎のテーブルを作るのが一つの方法 だった
9.
何があったのか
10.
経緯 (1) 大量のゲームログの入っているテーブル を分割しようとした テーブルは月ごとに分かれていて、 各ロ グにはゲームのアクションなどに応じたタ グが振られていた それをタグごと・日ごとのテーブルに分割 しようとした time
tag message 2015-01-01 00:00:00 quest {} 2015-01-01 00:00:00 event {} 2015-01-02 00:00:00 event {} time tag message 2015-01-01 00:00:00 quest {} time tag message 2015-01-01 00:00:00 event {} time tag message 2015-01-02 00:00:00 event {}
11.
SELECT tag, time, message FROM <old table> WHERE tag =
<tag name> AND time BETWEEN <start time> AND <end time>
12.
経緯 (2) 月ごとのテーブルから日付とタグでフィル ターを掛けるクエリを実行し、それを別 テーブルに保存した テーブルには約60種類のタグ、対象の月 は数ヶ月分、1テーブルは約300GB つまり約60✕30(日)✕月数の数だけクエ リを実行することになり、それには毎回 300GB費やす 300 GB 60 種類 数 ヶ月 30 日✕ ✕
✕ =
13.
PB (ペタバイト)
14.
150万円
15.
16.
※ある程度想定できていることであ り、その他の研究開発も含んでい ます。 ※記事はネタとしてのキャッチーさ を狙っていました。 ちなみに…
17.
影響
18.
社内のディレクター (SQLが使える人) 社内 SNS 各種勉強会 社外 Google
19.
今日の内容の対象 技術者はBigQueryについてよく理解して いる人が多いと思うので、 過剰に怖がってしまった意思決定者に説 明できるような内容をお話できればと思 います。
20.
社内 ディレクター 「クエリを実行するとお金がかか る!?」と、必要以上に怖がってしまう 人がいた。
21.
過剰に怖がらなくても良い ● BIツールや検索ツールを使っている ○ 重いクエリを何度も回してしまう確率を少なくできる ○
必要なクエリが限られるのでキャッシュが効く ○ 余計な期間や列を検索しない ● 検索よりもストレージにかかる料金のほうが高かった ○ BIツールに組み込んだり、 ○ ディレクターやデータアナリストが分析で使ったりしていたにもかかわらず ● `for` 文で回すようなことをしないかぎり問題になるような量にはならない
22.
社外 各種勉強会 SNS 各種勉強会では引用されることも多 かった。費用についての意識が広まっ た(?) SNSでは中身読んでいない人も結構 いた印象
23.
料金へのイメージは2分している? ● より理解している人は安いイメージ? ● あまり使ったことがない人は高いイメージ?
24.
実運用への理解 ● 150万円使うだけのデータを集めるのは多くの個人や企業にとって難しい ● 単発のクエリでは問題になるレベルにはならない ●
パーティショニングがあるので今はこのような操作をする必要がない(記事書い た直後に発表) ● 料金には上限を設定できる(記事書いた直後に発表)
25.
Google 中の人 お世話になっている日本法人から連 絡があった。 怒られるかと思ったが…
26.
どうやらBigQueryのプロダクトマネージャーがQiitaのことを知って話をしたがっている らしい。 六本木のGoogleに行って、テレビ会議。 アドバイスもらったり要望聞いてもらったりした。 上限設定を早めに公開した(と聞いた)
27.
!
28.
Googleがすごかった ユーザーに寄り添っている ● 今回の件のようなヒアリング ● StackOverflowなど、関連サイトもチェックしているらしい ●
酒ゲーのような勉強会もユーザーと一緒に行っている いいサービスを作ろうとしていると感じる
29.
その後
30.
その後 当時の会社でも引き続きBigQueryをデータ分析のメインとして使用 むしろ利用箇所は増やしていた 現在の会社でも、特別な理由がない限りBigQueryにデータを集約するようにしている
31.
BigQueryを手放せない理由
32.
1. 安い
33.
?
34.
料金 (asia-northeast1) アクティブ ストレージ $0.023
per GB 長期保存 $0.016 per GB ストリーミング挿入 $0.012 per 200 MB クエリ(オンデマンド) $8.55 per TB https://cloud.google.com/bigquery/pricing?hl=ja
35.
無料枠 ● BigQueryへのデータのバッチ読み込み ● データのエクスポート ●
削除 ○ テーブル ○ ビュー ○ パーティション ○ 関数 ○ データセット ● メタデータの操作 ● キャッシュされたクエリ ● エラーになるクエリ ● 1ヶ月あたりの最初の 10GBのストレージ ● 毎月最初の1TBのクエリ処理データ https://cloud.google.com/blog/products/data-analytics/cost-opt imization-best-practices-for-bigquery
36.
比較サービスはあまりない ● 多くのケースで、BigQueryは無料で使える可能性がある ● 保存容量や検索速度と、安さの両立は他サービスでは難しそう ○
自分でインスタンスを建てるようなサービスで同じ機能を実現するのに相当な台数が必要 ● 比較対象はあまりない ● 長期間更新のないテーブルはストレージ料金も安くなる
37.
2. 便利
38.
便利 (1) ● BIツールなどたくさんのツールが対応している ●
APIを使っていろいろなところから使える ● ライブラリも豊富 ● Googleサービスとの連携 ○ スプレッドシート ○ Google Analytics ○ その他 ● クエリの共有も容易(URLで共有できる)
39.
引用: https://cloud.google.com/blog/ja/products/gcp/connecting-bigquery-and-google-sheets-to-help-with-hefty-data-analysis
40.
便利 (2) ● 標準SQLが使えて、プログラマー以外も分析ができる ●
権限がある限り、プロジェクトをまたいだ検索ができる ● 多少非効率なクエリを書いても、十分に早く結果が返ってくる
41.
権限のある人ならプロジェクトをまたいでJoinもできる
42.
3. 費用管理
43.
費用管理 BigQueryに限らないが、Google Cloud Platform
は「プロジェクト」という単位があ り、プロジェクトごとに費用がわかるので、ビジネス上の費用管理がしやすい。 同時にプロジェクトごとに権限管理もできるので、責任の範囲もコントロールできる。 権限がある限りプロジェクトをまたいでジョブ(クエリ)を実行することができる。 ※ ジョブ(クエリ)はプロジェクトに紐づく
44.
プロジェクトごとの費用管理
45.
安い 便利 費用管理 しやすい
46.
BigQuery 十分に安いです 必要以上に恐れなくても大丈夫
47.
使ってみるだけなら 無料枠で十分
48.
デモ
49.
BigQuery 十分に安いです 必要以上に恐れなくても大丈夫
50.
本(今はちょっと古いのでWebの記事を読んだほうがいいかも)
51.
本(来月頃に出る)
52.
ありがとうございました itkr.github.io
Télécharger maintenant