Soumettre la recherche
Mettre en ligne
Pigのインストール
•
0 j'aime
•
457 vues
Noritada Shimizu
Suivre
Technologie
Business
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 11
Recommandé
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
Hadoopのインストール
Hadoopのインストール
Noritada Shimizu
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
Shinichi YAMASHITA
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
Hadoop / Spark Conference Japan
Apache sparkとapache cassandraで行うテキスト解析
Apache sparkとapache cassandraで行うテキスト解析
Kazutaka Tomita
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
Takashi Aoe
Tez on EMRを試してみた
Tez on EMRを試してみた
Satoshi Noto
Recommandé
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
Hadoopのインストール
Hadoopのインストール
Noritada Shimizu
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
Shinichi YAMASHITA
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
Hadoop / Spark Conference Japan
Apache sparkとapache cassandraで行うテキスト解析
Apache sparkとapache cassandraで行うテキスト解析
Kazutaka Tomita
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
Takashi Aoe
Tez on EMRを試してみた
Tez on EMRを試してみた
Satoshi Noto
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
Hadoopの標準GUI HUEの最新情報
Hadoopの標準GUI HUEの最新情報
Cloudera Japan
MapReduceプログラミング入門
MapReduceプログラミング入門
Satoshi Noto
MapReduceを使った並列化 20111212
MapReduceを使った並列化 20111212
marony
Hadoopの標準GUI Hueの最新情報2
Hadoopの標準GUI Hueの最新情報2
Cloudera Japan
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編
ThinkIT_impress
オライリーセミナー Hive入門 #oreilly0724
オライリーセミナー Hive入門 #oreilly0724
Cloudera Japan
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
Sphinxでドキュメントを書こう
Sphinxでドキュメントを書こう
Kazufumi Ohkawa
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
Hadoop / Spark Conference Japan
20190410 cnjp rancher-flexvolume
20190410 cnjp rancher-flexvolume
t8kobayashi
データ活用を効率化するHadoop WebUIと権限管理改善事例
データ活用を効率化するHadoop WebUIと権限管理改善事例
Masahiro Kiura
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
MapR Technologies Japan
Hive chapter 2
Hive chapter 2
masahiro_minami
Hadoop / MapReduce とは
Hadoop / MapReduce とは
Takeshi Matsuoka
Spark shark
Spark shark
Tsuyoshi OZAWA
FukuokaCloud_Azure
FukuokaCloud_Azure
Shinichiro Isago
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
AdvancedTechNight
Hadoop gfarm使い方
Hadoop gfarm使い方
shunsuke Mikami
Contenu connexe
Tendances
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
Hadoopの標準GUI HUEの最新情報
Hadoopの標準GUI HUEの最新情報
Cloudera Japan
MapReduceプログラミング入門
MapReduceプログラミング入門
Satoshi Noto
MapReduceを使った並列化 20111212
MapReduceを使った並列化 20111212
marony
Hadoopの標準GUI Hueの最新情報2
Hadoopの標準GUI Hueの最新情報2
Cloudera Japan
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編
ThinkIT_impress
オライリーセミナー Hive入門 #oreilly0724
オライリーセミナー Hive入門 #oreilly0724
Cloudera Japan
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
Sphinxでドキュメントを書こう
Sphinxでドキュメントを書こう
Kazufumi Ohkawa
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
Hadoop / Spark Conference Japan
20190410 cnjp rancher-flexvolume
20190410 cnjp rancher-flexvolume
t8kobayashi
データ活用を効率化するHadoop WebUIと権限管理改善事例
データ活用を効率化するHadoop WebUIと権限管理改善事例
Masahiro Kiura
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
MapR Technologies Japan
Hive chapter 2
Hive chapter 2
masahiro_minami
Hadoop / MapReduce とは
Hadoop / MapReduce とは
Takeshi Matsuoka
Spark shark
Spark shark
Tsuyoshi OZAWA
FukuokaCloud_Azure
FukuokaCloud_Azure
Shinichiro Isago
Tendances
(20)
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Hadoopの標準GUI HUEの最新情報
Hadoopの標準GUI HUEの最新情報
MapReduceプログラミング入門
MapReduceプログラミング入門
MapReduceを使った並列化 20111212
MapReduceを使った並列化 20111212
Hadoopの標準GUI Hueの最新情報2
Hadoopの標準GUI Hueの最新情報2
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編
オライリーセミナー Hive入門 #oreilly0724
オライリーセミナー Hive入門 #oreilly0724
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
Sphinxでドキュメントを書こう
Sphinxでドキュメントを書こう
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
20190410 cnjp rancher-flexvolume
20190410 cnjp rancher-flexvolume
データ活用を効率化するHadoop WebUIと権限管理改善事例
データ活用を効率化するHadoop WebUIと権限管理改善事例
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Hive chapter 2
Hive chapter 2
Hadoop / MapReduce とは
Hadoop / MapReduce とは
Spark shark
Spark shark
FukuokaCloud_Azure
FukuokaCloud_Azure
Similaire à Pigのインストール
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
AdvancedTechNight
Hadoop gfarm使い方
Hadoop gfarm使い方
shunsuke Mikami
Hadoop gfarm使い方
Hadoop gfarm使い方
shunsuke Mikami
CDH4.1オーバービュー
CDH4.1オーバービュー
Cloudera Japan
HAWQをCDHで動かしてみた
HAWQをCDHで動かしてみた
adachij2002
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
Cloudera Japan
SASとHadoopとの連携
SASとHadoopとの連携
SAS Institute Japan
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
Cloudera Japan
MapReduceからの
MapReduceからの
Shotaro Tsubouchi
Hadoopとその周辺の紹介
Hadoopとその周辺の紹介
Shinya Okano
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop / Spark Conference Japan
Hadoop splittable-lzo-compression
Hadoop splittable-lzo-compression
Daiki Sato
はやわかりHadoop
はやわかりHadoop
Shinpei Ohtani
SASとHadoopとの連携 2015
SASとHadoopとの連携 2015
SAS Institute Japan
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Yahoo!デベロッパーネットワーク
Hadoop loves H2
Hadoop loves H2
Tadashi Satoh
Hadoopの紹介
Hadoopの紹介
bigt23
Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2
Yifeng Jiang
Hadoop, NoSQL, GlusterFSの概要
Hadoop, NoSQL, GlusterFSの概要
日本ヒューレット・パッカード株式会社
Hadoop
Hadoop
Atsushi Shimura
Similaire à Pigのインストール
(20)
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
Hadoop gfarm使い方
Hadoop gfarm使い方
Hadoop gfarm使い方
Hadoop gfarm使い方
CDH4.1オーバービュー
CDH4.1オーバービュー
HAWQをCDHで動かしてみた
HAWQをCDHで動かしてみた
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
SASとHadoopとの連携
SASとHadoopとの連携
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
MapReduceからの
MapReduceからの
Hadoopとその周辺の紹介
Hadoopとその周辺の紹介
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop splittable-lzo-compression
Hadoop splittable-lzo-compression
はやわかりHadoop
はやわかりHadoop
SASとHadoopとの連携 2015
SASとHadoopとの連携 2015
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Hadoop loves H2
Hadoop loves H2
Hadoopの紹介
Hadoopの紹介
Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2
Hadoop, NoSQL, GlusterFSの概要
Hadoop, NoSQL, GlusterFSの概要
Hadoop
Hadoop
Plus de Noritada Shimizu
20160803 devrel
20160803 devrel
Noritada Shimizu
20160713 webvr
20160713 webvr
Noritada Shimizu
20160601 devtools
20160601 devtools
Noritada Shimizu
20150512 webgl-off-the-main-thread
20150512 webgl-off-the-main-thread
Noritada Shimizu
20160428 html5jwebplat
20160428 html5jwebplat
Noritada Shimizu
asm.js x emscripten: The foundation of the next level Web games
asm.js x emscripten: The foundation of the next level Web games
Noritada Shimizu
Mozilla とブラウザゲーム
Mozilla とブラウザゲーム
Noritada Shimizu
2016 gunma.web games-and-asm.js
2016 gunma.web games-and-asm.js
Noritada Shimizu
20151224-games
20151224-games
Noritada Shimizu
20151128 firefoxos-handson
20151128 firefoxos-handson
Noritada Shimizu
20151117 devtools
20151117 devtools
Noritada Shimizu
Inspection & Tweak: Firefox を使ったフロント開発
Inspection & Tweak: Firefox を使ったフロント開発
Noritada Shimizu
20150822 osc-shimane
20150822 osc-shimane
Noritada Shimizu
20150829 firefox-os-handson
20150829 firefox-os-handson
Noritada Shimizu
20150829 firefox-os
20150829 firefox-os
Noritada Shimizu
20150727 Development tools for Firefox OS apps
20150727 Development tools for Firefox OS apps
Noritada Shimizu
Firefox OS でアプリを作るときに気をつけたい N 個のこと
Firefox OS でアプリを作るときに気をつけたい N 個のこと
Noritada Shimizu
Firefox OSアプリ開発ハンズオン(Hello World編)
Firefox OSアプリ開発ハンズオン(Hello World編)
Noritada Shimizu
WebVR(html5j TV部、WebVRとかVRのUIとか勉強会)
WebVR(html5j TV部、WebVRとかVRのUIとか勉強会)
Noritada Shimizu
Application submission, management and manetization in Firefox Marketplace
Application submission, management and manetization in Firefox Marketplace
Noritada Shimizu
Plus de Noritada Shimizu
(20)
20160803 devrel
20160803 devrel
20160713 webvr
20160713 webvr
20160601 devtools
20160601 devtools
20150512 webgl-off-the-main-thread
20150512 webgl-off-the-main-thread
20160428 html5jwebplat
20160428 html5jwebplat
asm.js x emscripten: The foundation of the next level Web games
asm.js x emscripten: The foundation of the next level Web games
Mozilla とブラウザゲーム
Mozilla とブラウザゲーム
2016 gunma.web games-and-asm.js
2016 gunma.web games-and-asm.js
20151224-games
20151224-games
20151128 firefoxos-handson
20151128 firefoxos-handson
20151117 devtools
20151117 devtools
Inspection & Tweak: Firefox を使ったフロント開発
Inspection & Tweak: Firefox を使ったフロント開発
20150822 osc-shimane
20150822 osc-shimane
20150829 firefox-os-handson
20150829 firefox-os-handson
20150829 firefox-os
20150829 firefox-os
20150727 Development tools for Firefox OS apps
20150727 Development tools for Firefox OS apps
Firefox OS でアプリを作るときに気をつけたい N 個のこと
Firefox OS でアプリを作るときに気をつけたい N 個のこと
Firefox OSアプリ開発ハンズオン(Hello World編)
Firefox OSアプリ開発ハンズオン(Hello World編)
WebVR(html5j TV部、WebVRとかVRのUIとか勉強会)
WebVR(html5j TV部、WebVRとかVRのUIとか勉強会)
Application submission, management and manetization in Firefox Marketplace
Application submission, management and manetization in Firefox Marketplace
Dernier
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Dernier
(10)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
Pigのインストール
1.
Pigのインストールと実行 N. Shimizu chikoski@gmail.com
2.
Pigとは • 行指向データのデータを操作するた めのDSL実行環境 • Hadoopと連携可能 –
HDFS上のデータを操作可能 – Mapper / Reducerの自動作成 • 自作モジュールで拡張可能
3.
必要なもの • 絶対必要なもの – Hadoop
0.20.x – Java 1.6.x • なくてもいいもの – Ant 1.7 – Junit 4.5
4.
stableバージョンをダウンロード http://hadoop.apache.org/common/releases.html
5.
tgzの展開 % cd [インストール先] %
tar zxf pig-0.7.0.tar.gz.gz % cd pig-0.7.0
6.
Hadoopとの連携 • conf/pig.properties に設定 •
設定項目 – HDFSのネームノード – JobTrackerの走っているノード
7.
conf/pig.propertiesに追加する項目 • fs.default.name – HDFSのネームノードのURL –
HadoopRoot/etc/core-site.xml の該当 項目の値を書けば良い • mapred.job.tracker – JobTrackerのURL – HadoopRoot/etc/mapred-site.xmlの該 当項目の値を書けば良い
8.
仮想分散モードで動かしている場合 fs.default.name=hdfs://localhost:9 000/ mapred.job.tracker=localhost:900 1
9.
Pigの起動 1. Hadoopを動かす % HadoopRoot/bin/start_all.sh 2.
Pigを起動 % bin/pig
10.
lsコマンドを実行して動作チェック grunt> ls hdfs://localhost:9000/user/chiko/grep-temp- 905694089 <dir> hdfs://localhost:9000/user/chiko/helloworld <dir> hdfs://localhost:9000/user/chiko/input
<dir> hdfs://localhost:9000/user/chiko/output <dir> HDFS上のファイル一覧
11.
まとめ • ここまで – Pigのインストールができた –
HDFS上のファイルを一覧できた • これからやってみること – grep やフィルターの実行 – スクリプトファイルの実行