Soumettre la recherche
Mettre en ligne
Cookpad TechConf 2016 - DWHに必要なこと
•
53 j'aime
•
45,799 vues
Minero Aoki
Suivre
Cookpad TechConf 2016での青木の発表資料。大量のデータを最大限に活用するためのデータ処理システムの構築方針について
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 40
Recommandé
トランザクション入門
トランザクション入門
Kumazaki Hiroki
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
Recruit Technologies
SQL大量発行処理をいかにして高速化するか
SQL大量発行処理をいかにして高速化するか
Shogo Wakayama
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
infinite_loop
データベース技術の羅針盤
データベース技術の羅針盤
Yoshinori Matsunobu
Recommandé
トランザクション入門
トランザクション入門
Kumazaki Hiroki
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
Recruit Technologies
SQL大量発行処理をいかにして高速化するか
SQL大量発行処理をいかにして高速化するか
Shogo Wakayama
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
infinite_loop
データベース技術の羅針盤
データベース技術の羅針盤
Yoshinori Matsunobu
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
AdvancedTechNight
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Shin Ohno
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
日本マイクロソフト株式会社
Spring Cloud Data Flow の紹介 #streamctjp
Spring Cloud Data Flow の紹介 #streamctjp
Yahoo!デベロッパーネットワーク
そんなトランザクションマネージャで大丈夫か?
そんなトランザクションマネージャで大丈夫か?
takezoe
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
楽天における大規模データベースの運用
楽天における大規模データベースの運用
Rakuten Group, Inc.
世界一わかりやすいClean Architecture
世界一わかりやすいClean Architecture
Atsushi Nakamura
設計と実装で 抑えておきたい サービスクラスと例外
設計と実装で 抑えておきたい サービスクラスと例外
Takuya Sato
MySQLで論理削除と正しく付き合う方法
MySQLで論理削除と正しく付き合う方法
yoku0825
グラフデータベース入門
グラフデータベース入門
Masaya Dake
例外設計における大罪
例外設計における大罪
Takuto Wada
Data Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところ
Tsubasa Yoshino
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
NTT DATA Technology & Innovation
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
それはYAGNIか? それとも思考停止か?
それはYAGNIか? それとも思考停止か?
Yoshitaka Kawashima
インフラエンジニアの綺麗で優しい手順書の書き方
インフラエンジニアの綺麗で優しい手順書の書き方
Shohei Koyama
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
ソーシャルゲーム案件におけるDB分割のPHP実装
ソーシャルゲーム案件におけるDB分割のPHP実装
infinite_loop
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
VirtualTech Japan Inc.
第6回 itil講義資料
第6回 itil講義資料
Mugen Fujii
Contenu connexe
Tendances
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
AdvancedTechNight
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Shin Ohno
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
日本マイクロソフト株式会社
Spring Cloud Data Flow の紹介 #streamctjp
Spring Cloud Data Flow の紹介 #streamctjp
Yahoo!デベロッパーネットワーク
そんなトランザクションマネージャで大丈夫か?
そんなトランザクションマネージャで大丈夫か?
takezoe
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
楽天における大規模データベースの運用
楽天における大規模データベースの運用
Rakuten Group, Inc.
世界一わかりやすいClean Architecture
世界一わかりやすいClean Architecture
Atsushi Nakamura
設計と実装で 抑えておきたい サービスクラスと例外
設計と実装で 抑えておきたい サービスクラスと例外
Takuya Sato
MySQLで論理削除と正しく付き合う方法
MySQLで論理削除と正しく付き合う方法
yoku0825
グラフデータベース入門
グラフデータベース入門
Masaya Dake
例外設計における大罪
例外設計における大罪
Takuto Wada
Data Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところ
Tsubasa Yoshino
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
NTT DATA Technology & Innovation
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
それはYAGNIか? それとも思考停止か?
それはYAGNIか? それとも思考停止か?
Yoshitaka Kawashima
インフラエンジニアの綺麗で優しい手順書の書き方
インフラエンジニアの綺麗で優しい手順書の書き方
Shohei Koyama
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
ソーシャルゲーム案件におけるDB分割のPHP実装
ソーシャルゲーム案件におけるDB分割のPHP実装
infinite_loop
Tendances
(20)
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
Spring Cloud Data Flow の紹介 #streamctjp
Spring Cloud Data Flow の紹介 #streamctjp
そんなトランザクションマネージャで大丈夫か?
そんなトランザクションマネージャで大丈夫か?
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
楽天における大規模データベースの運用
楽天における大規模データベースの運用
世界一わかりやすいClean Architecture
世界一わかりやすいClean Architecture
設計と実装で 抑えておきたい サービスクラスと例外
設計と実装で 抑えておきたい サービスクラスと例外
MySQLで論理削除と正しく付き合う方法
MySQLで論理削除と正しく付き合う方法
グラフデータベース入門
グラフデータベース入門
例外設計における大罪
例外設計における大罪
Data Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところ
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
それはYAGNIか? それとも思考停止か?
それはYAGNIか? それとも思考停止か?
インフラエンジニアの綺麗で優しい手順書の書き方
インフラエンジニアの綺麗で優しい手順書の書き方
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
ソーシャルゲーム案件におけるDB分割のPHP実装
ソーシャルゲーム案件におけるDB分割のPHP実装
En vedette
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
VirtualTech Japan Inc.
第6回 itil講義資料
第6回 itil講義資料
Mugen Fujii
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
真吾 吉田
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
WebSig24/7
仕事の成果は「聞き方」で9割決まる
仕事の成果は「聞き方」で9割決まる
Katsuhito Okada
クックパッドの開発プロセス
クックパッドの開発プロセス
Hiroyuki Inoue
オブジェクト指向を学んで図解力、仕事力アップ
オブジェクト指向を学んで図解力、仕事力アップ
Haruo Sato
今年のOss業界10大ニュース
今年のOss業界10大ニュース
Yukio Yoshida
仕事に活きる数学講座(第四回:予測力編)
仕事に活きる数学講座(第四回:予測力編)
schoowebcampus
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
株式会社コパイロツト COPILOT Inc.
AWS クックパッドの運用事例
AWS クックパッドの運用事例
Satoshi Takada
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
de:code 2017
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
Nozomi Ito
5分で分かるサイボウズのSRE
5分で分かるサイボウズのSRE
uchan_nos
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Ryuji Tamagawa
全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!
Kouhei Sutou
Cookpadの料理画像を分類した話
Cookpadの料理画像を分類した話
Shunsuke KITADA
いまの Office 365 ってこんな感じ?
いまの Office 365 ってこんな感じ?
Hirofumi Ota
ITサービスマネジメントとSRE
ITサービスマネジメントとSRE
真吾 吉田
技術者の自分が11年間会社を経営して学んだ7つのこと
技術者の自分が11年間会社を経営して学んだ7つのこと
Haruo Sato
En vedette
(20)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
第6回 itil講義資料
第6回 itil講義資料
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
仕事の成果は「聞き方」で9割決まる
仕事の成果は「聞き方」で9割決まる
クックパッドの開発プロセス
クックパッドの開発プロセス
オブジェクト指向を学んで図解力、仕事力アップ
オブジェクト指向を学んで図解力、仕事力アップ
今年のOss業界10大ニュース
今年のOss業界10大ニュース
仕事に活きる数学講座(第四回:予測力編)
仕事に活きる数学講座(第四回:予測力編)
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
AWS クックパッドの運用事例
AWS クックパッドの運用事例
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
5分で分かるサイボウズのSRE
5分で分かるサイボウズのSRE
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!
Cookpadの料理画像を分類した話
Cookpadの料理画像を分類した話
いまの Office 365 ってこんな感じ?
いまの Office 365 ってこんな感じ?
ITサービスマネジメントとSRE
ITサービスマネジメントとSRE
技術者の自分が11年間会社を経営して学んだ7つのこと
技術者の自分が11年間会社を経営して学んだ7つのこと
Similaire à Cookpad TechConf 2016 - DWHに必要なこと
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
kurikiyo
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
griddb
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
Kazuhiro Mitsuhashi
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
情報爆発シンポジウム infoplosion
情報爆発シンポジウム infoplosion
Rakuten Group, Inc.
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
Katsuhiro Takata
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
Takumi Kurosawa
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
hagino 3000
Hadoopカンファレンス2013
Hadoopカンファレンス2013
Recruit Technologies
ビッグデータ活用とサーバー基盤
ビッグデータ活用とサーバー基盤
日本ヒューレット・パッカード株式会社
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
Kensuke SAEKI
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩
Kimitaka Nakazawa
国内最大級の総合情報メディアを支えるVarnish Cache
国内最大級の総合情報メディアを支えるVarnish Cache
Kazuto Ohara
Strata + Hadoop World 2014 レポート #cwt2014
Strata + Hadoop World 2014 レポート #cwt2014
Cloudera Japan
jubatus pressrelease
jubatus pressrelease
JubatusOfficial
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
Yahoo!デベロッパーネットワーク
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
Google Cloud Platform - Japan
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
Similaire à Cookpad TechConf 2016 - DWHに必要なこと
(20)
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
Big data解析ビジネス
Big data解析ビジネス
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
情報爆発シンポジウム infoplosion
情報爆発シンポジウム infoplosion
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
Hadoopカンファレンス2013
Hadoopカンファレンス2013
ビッグデータ活用とサーバー基盤
ビッグデータ活用とサーバー基盤
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩
国内最大級の総合情報メディアを支えるVarnish Cache
国内最大級の総合情報メディアを支えるVarnish Cache
Strata + Hadoop World 2014 レポート #cwt2014
Strata + Hadoop World 2014 レポート #cwt2014
jubatus pressrelease
jubatus pressrelease
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Dernier
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
sugiuralab
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
sugiuralab
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
Dernier
(7)
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
Cookpad TechConf 2016 - DWHに必要なこと
1.
DWHに必要なこと ∼1人で始めるCIO∼ Minero Aoki
2.
自己紹介 ‣ 青木峰郎(あおき みねろう) ‣
元Rubyコミッター ‣ 分析システム「たべみる」開発 ‣ データ分析基盤エンジニア ‣ 著書多数→
3.
データ活用基盤 今日のテーマ
4.
やりたいこと 大量のデータを 最高に活用したい
5.
やりたいこと 大量のデータを 最高に活用したい ユーザーコンタク トの一元管理 ターゲティング広告 ユーザー行動の分析 アプリのA/Bテスト
6.
DWH (Data Warehouse) が
その解となる
7.
DWHとは ‣ 90年代に提唱されたデータ分析アーキテクチャ ‣ 大量のデータを集めて部署横断で分析 ‣
Bill Inmonが定義(DWHの父と呼ばれている)
8.
DWH = 分析用のきれいなDB
9.
(DWHでない) 普通のDBは汚い
10.
DWHをどう作るか
11.
がんばる
12.
基本方針1. データは一箇所に集める
13.
アプリB ターゲティ ング広告 DB アプリC 行動分析 DB アプリD ABテスト DB アプリA コンタクト 管理 DB 乱立する分析システム
14.
アプリB ターゲティ ング広告 DB アプリC 行動分析 DB アプリD ABテスト DB アプリA コンタクト 管理 DB 乱立する分析システム ダメ
15.
なぜダメか ‣ データを集めるのがつらすぎ…… ‣ 指標の定義が違う!(PVって?
UUって?) ‣ 元データがよくわからない
16.
あるべきすがた アプリA アプリB アプリC
アプリD コンタクト 管理 ターゲティ ング広告 行動分析 ABテスト データベース
17.
DBなににする? • クックパッドでは全面的にRedshiftをDWHとして 使うことにした • 速い •
安い • 普通のSQLが使える
18.
アーキテクチャ Redshift (DWH) マスター Cookpad 広告配信システム ログ マスター ログ マスター ログ マスター ログ ログ マスター 各種サービス ログ マスター 連携システム Re:dash Jupyter Tableau 独自バッチシステム (Bricolage)
19.
データを集めれば DWHか?
20.
もちろん違う
21.
データを集めただけ
22.
DWH
23.
データは加工しないと DWHにはならない
24.
どのように加工するか?
25.
DWHの4つの条件 Integrated Subject- Oriented Time- Variant Non- Volatile
26.
DWHの4つの条件 Integrated Subject- Oriented Time- Variant Non- Volatile略
27.
10年戦える データ分析入門 青木峰郎著 ソフトバンククリエイティブ 詳細は本で
28.
基本方針2. DWHはなりゆきで作る
29.
アプリケーションが先! DWHがあと! Redshift 元データ DWH 活用先ごと Cookpad 広告配信 動画配信 …… コンタクト 管理 ターゲティ ング広告 ユーザー 行動分析 ABテスト as-is
3NF 3NF/Star 構築順(1) 構築順(2)構築順(3)
30.
共通ライブラリ としてのDWH
31.
基本方針3. SQLですべてを処理する
32.
よい例 Redshift テーブル テーブル テーブル INSERT SELECT INSERT SELECT
33.
Redshift テーブル テーブル テーブル ダメな例 RubyRuby SELEC T IN SER T SELEC T IN SER T
34.
ポイント ウェブとDWHでは 同じSQL/RDBでも 使いかたが違う
35.
まとめ
36.
DWHに必要なこと
37.
データは 一箇所に集める
38.
DWHは なりゆきでつくる
39.
すべてをSQLで処理
40.
同じSQLでも ウェブとDWHは別物