Hadoop1
•
1 j'aime•9,709 vues
ビッグデータ、クラウド、ハイパースレッディング、敗北など考えられないそのシステムに、人はどこまでも夢を見た...今、奇跡に最も近いシステム、その名はHadoop
Recommandé
Contenu connexe
En vedette
En vedette (20)
Similaire à Hadoop1
Similaire à Hadoop1 (10)
Plus de Shoichi Otomo
Hadoop1
- 17. 環境設定が終わって • • 書籍を含めて資料がほとんど英語しかない。もしくは動物の本… マニュアル,Wikiに関しては少々日本語がある… Hadoopクラスタの人には、ぜひ頑張って日本語化してもらいたい • 自称データ○○、自称アナリスト系のフリンジが公開する劣化した コピペ情報が氾濫 • コードも資料もない出来る出来る系詐欺の記事が氾濫 • あの法案… …日本におけるHadoop(というかクラウドとか ビッグデータ系)は名前の浸透度や先行イメージと 反比例する形で、環境が劣悪なことに気づく。で も、転んでも泣かない… http://geojackass.org
- 19. PigQLを書いてみよう1 --0./DataのLOADを行う。今回は紐付けを行わなくていいように、フルpthを記述 amsr2_input = LOAD 'works/input/amsr2/csv'; /* キャストは ([変換後の型]) SUBSTRING($0[カラムの番号], start[開始時点の文字列番号], end[終了時の文字列番号]) 使える型 int 符号付32bit整数 long 符号付64bit整数 float 32bit浮動小数点 double 64bit浮動小数点 */ --1./SUBSTRINGでの切り出しを行う amsr2_extract = FOREACH amsr2_input GENERATE (double) SUBSTRING($0, 0, 7) AS lat, (double) SUBSTRING($0, 1+7, 13) AS lng, (double) SUBSTRING($0, 1+14, 21) AS sst ; *今回は練習用として半構造化データでも使えるようにSUBSTRINGで切ってますが、構造化データは正 規表現で切り取る方が分かりやすいと思います。その辺は利用するマシンスペックやパフォーマンスなど のトレードオフを十分に考慮してください。個人的には処理の論理モデルとQLは追認性、可読性を重要 視して実際の処理そのものはHadoopでゴリ押しするのが一番パワフルだと思います。 http://geojackass.org
- 20. PigQLを書いてみよう2 --2./SPLITによるエラー処理を行う sst == -9999.0は正常データから除去する。 SPLIT amsr2_extract INTO amsr2_error IF sst == -9999.0, amsr2_target IF sst > 0 ; --3./FILTERによる抽出 ref::https://github.com/chomy/hi-rezclimate/blob/master/trmm/trmmkml.py --asia_areaを抽出するasia = (x1y0,x1y1) amsr2_asia = FILTER amsr2_target BY 90.0 < lat and lat < 180.0 and 0.0 < lng and lng < 60.0; --4./STORE STORE amsr2_asia INTO 'works/output/amsr2/20120701asc'; --黒子の6番./ DUMP amsr2_asia; pigQL自体はGitHubにアップしてあるので、読みにくい方はそちらを参照してください。 https://github.com/geojackassShoichi/HadoopPig/blob/master/amsr2_extract.pig http://geojackass.org
- 27. 参考データ、書籍、資料、引用元一覧 • GCOM-W1/AMSR(しずく)データ引用元 • http://gcom-w1.jaxa.jp/index.html • JAXAの歩き方 • http://www.jaxa.jp/archives/db/tebiki_j.html ＊今回使用したデータは学術目的で使用しています。それ以外の利用方法に関しては、JAXAのポリ シーに従って下さい。この資料等を参考にされた場合に発生したいかなる不測の事態でも、当方では 一切の責任を負いかねます。 • 衛星データ処理勉強会 山本幸生(2010)分散処理システムHadoop • http://c-soda.isas.jaxa.jp/benkyou/Hadoop.pdf • パターンでわかるHadoop MapReduce ビッグデータの処理入門 著者 三木大知 発行所 株式会社 翔泳社 • SKE48 13th.Single 「賛成カワイイ！」Music Video 像使いが出てただけ http://www.youtube.com/watch?v=GHvijEJi8Pc http://geojackass.org