Soumettre la recherche
Mettre en ligne
BigQuery読書会#2資料
•
4 j'aime
•
2,725 vues
SATOSHI TAGOMORI
Suivre
Chapter9 #8
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 17
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
2015真夏の自由研究 CADデータ⇒GIS⇒3D
2015真夏の自由研究 CADデータ⇒GIS⇒3D
Kazuyuki Takahashi
02ラスタデータを利用した地形指標の作成と地図表現
02ラスタデータを利用した地形指標の作成と地図表現
Junpei Ishii
データ可視化に関するあるアイデア
データ可視化に関するあるアイデア
Tokai University
タイル地図がおもしろい
タイル地図がおもしろい
Kohei Otsuka
08遺跡景観の分析〜可視領域を調べる〜
08遺跡景観の分析〜可視領域を調べる〜
Junpei Ishii
データパイプラインツールLuigiを使ってCS立体図をワンストップ演算する FOSS4G 2017 Tokyo
データパイプラインツールLuigiを使ってCS立体図をワンストップ演算する FOSS4G 2017 Tokyo
Kunihiko Miyoshi
09遺跡分布を分析する〜カーネル密度推定〜
09遺跡分布を分析する〜カーネル密度推定〜
Junpei Ishii
07QGISで遺跡立地分析
07QGISで遺跡立地分析
Junpei Ishii
Recommandé
2015真夏の自由研究 CADデータ⇒GIS⇒3D
2015真夏の自由研究 CADデータ⇒GIS⇒3D
Kazuyuki Takahashi
02ラスタデータを利用した地形指標の作成と地図表現
02ラスタデータを利用した地形指標の作成と地図表現
Junpei Ishii
データ可視化に関するあるアイデア
データ可視化に関するあるアイデア
Tokai University
タイル地図がおもしろい
タイル地図がおもしろい
Kohei Otsuka
08遺跡景観の分析〜可視領域を調べる〜
08遺跡景観の分析〜可視領域を調べる〜
Junpei Ishii
データパイプラインツールLuigiを使ってCS立体図をワンストップ演算する FOSS4G 2017 Tokyo
データパイプラインツールLuigiを使ってCS立体図をワンストップ演算する FOSS4G 2017 Tokyo
Kunihiko Miyoshi
09遺跡分布を分析する〜カーネル密度推定〜
09遺跡分布を分析する〜カーネル密度推定〜
Junpei Ishii
07QGISで遺跡立地分析
07QGISで遺跡立地分析
Junpei Ishii
05QGISで地図印刷
05QGISで地図印刷
Junpei Ishii
地理教育での地理院地図の活用ポイント
地理教育での地理院地図の活用ポイント
Inoshachu, NPO
FOSS4Gだらけの古地図Platform Maplatのご紹介 (OFF4G 2016)
FOSS4Gだらけの古地図Platform Maplatのご紹介 (OFF4G 2016)
Kohei Otsuka
QGISによる図面情報への位置情報付与手法の検討 アジア航測株式会社 野中 秀樹様
QGISによる図面情報への位置情報付与手法の検討 アジア航測株式会社 野中 秀樹様
OSgeo Japan
03紙地図をGISで使う
03紙地図をGISで使う
Junpei Ishii
GRASSセミナー基礎編
GRASSセミナー基礎編
Kanetaka Heshiki
Gps森林管理 カスタム・マップ(国土地理院地形図)編
Gps森林管理 カスタム・マップ(国土地理院地形図)編
mondaiarimasen
04ベクタデータを利用した地図表現
04ベクタデータを利用した地図表現
Junpei Ishii
01GIS概論
01GIS概論
Junpei Ishii
Qgislecture 0
Qgislecture 0
Hiroaki Sengoku
20140625 nenvgis2014
20140625 nenvgis2014
Taichi Furuhashi
第3回ジオメディアサミットLt
第3回ジオメディアサミットLt
Yoichi Kayama
D3.jsとthree.jsによるgeoプログラミング
D3.jsとthree.jsによるgeoプログラミング
Koichiro Mori
PCD作成手順
PCD作成手順
Takeo Kunishima
NTT空間情報 ちばんMAP ご説明資料
NTT空間情報 ちばんMAP ご説明資料
Michihisa Takahashi
地理教育でのGoogle Earthの活用ポイント
地理教育でのGoogle Earthの活用ポイント
Inoshachu, NPO
Code for Fukuoka 公園データを集めよう
Code for Fukuoka 公園データを集めよう
Kazunari Takaki
地理教育でのGoogleMapsの活用ポイント
地理教育でのGoogleMapsの活用ポイント
Inoshachu, NPO
templateとautoの型推論
templateとautoの型推論
MITSUNARI Shigeo
Emcpp item31
Emcpp item31
mitsutaka_takeda
Emcpp item41
Emcpp item41
mitsutaka_takeda
Emcpp0506
Emcpp0506
Takatoshi Kondo
Contenu connexe
Tendances
05QGISで地図印刷
05QGISで地図印刷
Junpei Ishii
地理教育での地理院地図の活用ポイント
地理教育での地理院地図の活用ポイント
Inoshachu, NPO
FOSS4Gだらけの古地図Platform Maplatのご紹介 (OFF4G 2016)
FOSS4Gだらけの古地図Platform Maplatのご紹介 (OFF4G 2016)
Kohei Otsuka
QGISによる図面情報への位置情報付与手法の検討 アジア航測株式会社 野中 秀樹様
QGISによる図面情報への位置情報付与手法の検討 アジア航測株式会社 野中 秀樹様
OSgeo Japan
03紙地図をGISで使う
03紙地図をGISで使う
Junpei Ishii
GRASSセミナー基礎編
GRASSセミナー基礎編
Kanetaka Heshiki
Gps森林管理 カスタム・マップ(国土地理院地形図)編
Gps森林管理 カスタム・マップ(国土地理院地形図)編
mondaiarimasen
04ベクタデータを利用した地図表現
04ベクタデータを利用した地図表現
Junpei Ishii
01GIS概論
01GIS概論
Junpei Ishii
Qgislecture 0
Qgislecture 0
Hiroaki Sengoku
20140625 nenvgis2014
20140625 nenvgis2014
Taichi Furuhashi
第3回ジオメディアサミットLt
第3回ジオメディアサミットLt
Yoichi Kayama
D3.jsとthree.jsによるgeoプログラミング
D3.jsとthree.jsによるgeoプログラミング
Koichiro Mori
PCD作成手順
PCD作成手順
Takeo Kunishima
NTT空間情報 ちばんMAP ご説明資料
NTT空間情報 ちばんMAP ご説明資料
Michihisa Takahashi
地理教育でのGoogle Earthの活用ポイント
地理教育でのGoogle Earthの活用ポイント
Inoshachu, NPO
Code for Fukuoka 公園データを集めよう
Code for Fukuoka 公園データを集めよう
Kazunari Takaki
地理教育でのGoogleMapsの活用ポイント
地理教育でのGoogleMapsの活用ポイント
Inoshachu, NPO
Tendances
(18)
05QGISで地図印刷
05QGISで地図印刷
地理教育での地理院地図の活用ポイント
地理教育での地理院地図の活用ポイント
FOSS4Gだらけの古地図Platform Maplatのご紹介 (OFF4G 2016)
FOSS4Gだらけの古地図Platform Maplatのご紹介 (OFF4G 2016)
QGISによる図面情報への位置情報付与手法の検討 アジア航測株式会社 野中 秀樹様
QGISによる図面情報への位置情報付与手法の検討 アジア航測株式会社 野中 秀樹様
03紙地図をGISで使う
03紙地図をGISで使う
GRASSセミナー基礎編
GRASSセミナー基礎編
Gps森林管理 カスタム・マップ(国土地理院地形図)編
Gps森林管理 カスタム・マップ(国土地理院地形図)編
04ベクタデータを利用した地図表現
04ベクタデータを利用した地図表現
01GIS概論
01GIS概論
Qgislecture 0
Qgislecture 0
20140625 nenvgis2014
20140625 nenvgis2014
第3回ジオメディアサミットLt
第3回ジオメディアサミットLt
D3.jsとthree.jsによるgeoプログラミング
D3.jsとthree.jsによるgeoプログラミング
PCD作成手順
PCD作成手順
NTT空間情報 ちばんMAP ご説明資料
NTT空間情報 ちばんMAP ご説明資料
地理教育でのGoogle Earthの活用ポイント
地理教育でのGoogle Earthの活用ポイント
Code for Fukuoka 公園データを集めよう
Code for Fukuoka 公園データを集めよう
地理教育でのGoogleMapsの活用ポイント
地理教育でのGoogleMapsの活用ポイント
En vedette
templateとautoの型推論
templateとautoの型推論
MITSUNARI Shigeo
Emcpp item31
Emcpp item31
mitsutaka_takeda
Emcpp item41
Emcpp item41
mitsutaka_takeda
Emcpp0506
Emcpp0506
Takatoshi Kondo
Effective Modern C++勉強会#4 Item 17, 18資料
Effective Modern C++勉強会#4 Item 17, 18資料
Ryo Igarashi
Effective Modern C++ 読書会 Item 35
Effective Modern C++ 読書会 Item 35
Keisuke Fukuda
Effective modern c++ 5
Effective modern c++ 5
uchan_nos
「実践ドメイン駆動設計」社内読書会まとめ ~IDDD本難民に捧げる1章から7章~
「実践ドメイン駆動設計」社内読書会まとめ ~IDDD本難民に捧げる1章から7章~
A AOKI
En vedette
(8)
templateとautoの型推論
templateとautoの型推論
Emcpp item31
Emcpp item31
Emcpp item41
Emcpp item41
Emcpp0506
Emcpp0506
Effective Modern C++勉強会#4 Item 17, 18資料
Effective Modern C++勉強会#4 Item 17, 18資料
Effective Modern C++ 読書会 Item 35
Effective Modern C++ 読書会 Item 35
Effective modern c++ 5
Effective modern c++ 5
「実践ドメイン駆動設計」社内読書会まとめ ~IDDD本難民に捧げる1章から7章~
「実践ドメイン駆動設計」社内読書会まとめ ~IDDD本難民に捧げる1章から7章~
Similaire à BigQuery読書会#2資料
MapReduce基礎
MapReduce基礎
Joongjin Bae
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
Hadoop / Spark Conference Japan
OSC2011 Tokyo/Spring Hadoop入門
OSC2011 Tokyo/Spring Hadoop入門
Shinichi YAMASHITA
Googleの基盤クローン Hadoopについて
Googleの基盤クローン Hadoopについて
Kazuki Ohta
TinyMapReduce on ruby
TinyMapReduce on ruby
Kazuki MATSUMOTO
Hadoop for programmer
Hadoop for programmer
Sho Shimauchi
BPStudy32 CouchDB 再入門
BPStudy32 CouchDB 再入門
Yohei Sasaki
Similaire à BigQuery読書会#2資料
(7)
MapReduce基礎
MapReduce基礎
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
OSC2011 Tokyo/Spring Hadoop入門
OSC2011 Tokyo/Spring Hadoop入門
Googleの基盤クローン Hadoopについて
Googleの基盤クローン Hadoopについて
TinyMapReduce on ruby
TinyMapReduce on ruby
Hadoop for programmer
Hadoop for programmer
BPStudy32 CouchDB 再入門
BPStudy32 CouchDB 再入門
Plus de SATOSHI TAGOMORI
Ractor's speed is not light-speed
Ractor's speed is not light-speed
SATOSHI TAGOMORI
Good Things and Hard Things of SaaS Development/Operations
Good Things and Hard Things of SaaS Development/Operations
SATOSHI TAGOMORI
Maccro Strikes Back
Maccro Strikes Back
SATOSHI TAGOMORI
Invitation to the dark side of Ruby
Invitation to the dark side of Ruby
SATOSHI TAGOMORI
Hijacking Ruby Syntax in Ruby (RubyConf 2018)
Hijacking Ruby Syntax in Ruby (RubyConf 2018)
SATOSHI TAGOMORI
Make Your Ruby Script Confusing
Make Your Ruby Script Confusing
SATOSHI TAGOMORI
Hijacking Ruby Syntax in Ruby
Hijacking Ruby Syntax in Ruby
SATOSHI TAGOMORI
Lock, Concurrency and Throughput of Exclusive Operations
Lock, Concurrency and Throughput of Exclusive Operations
SATOSHI TAGOMORI
Data Processing and Ruby in the World
Data Processing and Ruby in the World
SATOSHI TAGOMORI
Planet-scale Data Ingestion Pipeline: Bigdam
Planet-scale Data Ingestion Pipeline: Bigdam
SATOSHI TAGOMORI
Technologies, Data Analytics Service and Enterprise Business
Technologies, Data Analytics Service and Enterprise Business
SATOSHI TAGOMORI
Ruby and Distributed Storage Systems
Ruby and Distributed Storage Systems
SATOSHI TAGOMORI
Perfect Norikra 2nd Season
Perfect Norikra 2nd Season
SATOSHI TAGOMORI
Fluentd 101
Fluentd 101
SATOSHI TAGOMORI
To Have Own Data Analytics Platform, Or NOT To
To Have Own Data Analytics Platform, Or NOT To
SATOSHI TAGOMORI
The Patterns of Distributed Logging and Containers
The Patterns of Distributed Logging and Containers
SATOSHI TAGOMORI
How To Write Middleware In Ruby
How To Write Middleware In Ruby
SATOSHI TAGOMORI
Modern Black Mages Fighting in the Real World
Modern Black Mages Fighting in the Real World
SATOSHI TAGOMORI
Open Source Software, Distributed Systems, Database as a Cloud Service
Open Source Software, Distributed Systems, Database as a Cloud Service
SATOSHI TAGOMORI
Fluentd Overview, Now and Then
Fluentd Overview, Now and Then
SATOSHI TAGOMORI
Plus de SATOSHI TAGOMORI
(20)
Ractor's speed is not light-speed
Ractor's speed is not light-speed
Good Things and Hard Things of SaaS Development/Operations
Good Things and Hard Things of SaaS Development/Operations
Maccro Strikes Back
Maccro Strikes Back
Invitation to the dark side of Ruby
Invitation to the dark side of Ruby
Hijacking Ruby Syntax in Ruby (RubyConf 2018)
Hijacking Ruby Syntax in Ruby (RubyConf 2018)
Make Your Ruby Script Confusing
Make Your Ruby Script Confusing
Hijacking Ruby Syntax in Ruby
Hijacking Ruby Syntax in Ruby
Lock, Concurrency and Throughput of Exclusive Operations
Lock, Concurrency and Throughput of Exclusive Operations
Data Processing and Ruby in the World
Data Processing and Ruby in the World
Planet-scale Data Ingestion Pipeline: Bigdam
Planet-scale Data Ingestion Pipeline: Bigdam
Technologies, Data Analytics Service and Enterprise Business
Technologies, Data Analytics Service and Enterprise Business
Ruby and Distributed Storage Systems
Ruby and Distributed Storage Systems
Perfect Norikra 2nd Season
Perfect Norikra 2nd Season
Fluentd 101
Fluentd 101
To Have Own Data Analytics Platform, Or NOT To
To Have Own Data Analytics Platform, Or NOT To
The Patterns of Distributed Logging and Containers
The Patterns of Distributed Logging and Containers
How To Write Middleware In Ruby
How To Write Middleware In Ruby
Modern Black Mages Fighting in the Real World
Modern Black Mages Fighting in the Real World
Open Source Software, Distributed Systems, Database as a Cloud Service
Open Source Software, Distributed Systems, Database as a Cloud Service
Fluentd Overview, Now and Then
Fluentd Overview, Now and Then
Dernier
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
sugiuralab
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
Dernier
(8)
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
BigQuery読書会#2資料
1.
Google BigQuery Analytics
読書会#2 2014/08/26(Tue) tagomoris
2.
MapReduce ここ10年くらいのびっぐでーたなアレ データ処理の抽象化がキモ
Map: データ変換 Reduce: データ集約 data.map(&:convert).reduce(&:aggregate)
3.
キモ(い)
4.
かわいい
5.
Hadoop Doug CuttingがYahoo!でつくった
6.
MapReduce Design 実はMapとReduceだけじゃない
Map, Combine, Shuffle, Reduce + 分散FS FS Map Map Map Map Map Combine Combine Combine Combine Combine Reduce Reduce FS Reduce Reduce shuffle
7.
Map phase Map:
副作用なしで作りましょう これにより順序や並列度を好きにできる Mapper in MapReduce input -> [ (key, value), (key, value), ... ]
8.
Combine phase Combiner
in MapReduce Mapperの出力をまとめてI/Oを最適化 Shufflerにわたす
9.
Shuffle phase Shuffler
in MapReduce: 要は並列分散sort sort keyはMapperの出力key 同一keyのvalueは同一Reducerに送る [(k,v1),(k,v2),...] -> (k, [v1,v2,v3,...]) たいてい最も重い hash partitioningだけでよい場合も多い がHadoopは完全なmerge sortを行う
10.
Reduce phase Reduce:
結果セットをまとめる Reducer in MapReduce (k,[v1,v2,...]) -> (k,V)
11.
MapReduce example みんな大好きword
count 省略!
12.
Storage system MapReduce自体はストレージ非依存
だが実際には分散ストレージが必要 大量の並列DiskI/Oを高スループットで処理 する必要がある 書かれていないが 並列度以外にスループット確保のためのbig chunk sizeが必要なはず でも書かれてないってことはGoogleは……?
13.
Worker management Worker
managerが必要 Controller in Google MapReduce Name Node in Hadoop: 間違い! 正: JobTracker (MRv1) or AppMaster(MRv2) 大量のノード管理、failed worker管理、failed job管理 アクシデントで死んだworkerと、バグや入力 データがおかしくて死んだworkerの区別
14.
Comparative analysis(1) フツーのHWを買い足せばリニアにスケール
Mapper/Reducerを書けばなんでもできる ノードのspinupが遅い、shuffle待ちが長い 手を動かしながらの解析には向かない MapとReduceに処理を分解するのはダルい あれこれやると多段MRになりダルさ倍増
15.
Comparative analysis(2) ダルいんでみんなあれこれ作っている
Cascading: Java+FluentAPI -> MR Hive,Pig: SQL or SQL-style queries -> MR PigはSQLじゃないだろ……手続き型なDSL
16.
Comparative analysis(3) MapReduce:
低レベルフレームワーク いろいろ考えないといけない Googleではもう普通は直接使わない FlumeJava経由でMapReduce使う デカいデータ変換とかで使われてる データ調査についてはDremel
17.
Summary BigQueryがどう動くか見たよ Dremel
query engine + Colossus FS 次になんか起きたらどうにかできるかもね HadoopやMySQLと較べたよ 何にでも向くものはないよね、選ぼう 次章はいろんなクエリを見ていくよ
Télécharger maintenant