Submit Search
Upload
鹿駆動勉強会 青江発表資料
•
Download as PPTX, PDF
•
4 likes
•
1,365 views
Takashi Aoe
Follow
2012/04/29鹿駆動勉強会の青江発表分の資料です
Read less
Read more
Technology
Report
Share
Report
Share
1 of 18
Download now
Recommended
業務システムで使える可視化テクニック - Apache HTTP編 -
業務システムで使える可視化テクニック - Apache HTTP編 -
Yasuyuki Sugai
Cloudera World Tokyo 2014 LTセッション「マイクロソフトとHadoop」
Cloudera World Tokyo 2014 LTセッション「マイクロソフトとHadoop」
Kuninobu SaSaki
20140818 オープン白熱塾 ksasakims
20140818 オープン白熱塾 ksasakims
Kuninobu SaSaki
Python と Xpath で ウェブからデータをあつめる
Python と Xpath で ウェブからデータをあつめる
Shuhei Iitsuka
20151205 中国地方db勉強会 dbm_fs
20151205 中国地方db勉強会 dbm_fs
Takahiro Iwase
Viewを使って開発を楽にする話
Viewを使って開発を楽にする話
Isamu Watanabe
2015 コワーキングスペースの未来を考えるオープン忘年会
2015 コワーキングスペースの未来を考えるオープン忘年会
Kunihiro Imura
Drupalを利用した学術ポータル機能について 2013年8月 Code4Lib Japan
Drupalを利用した学術ポータル機能について 2013年8月 Code4Lib Japan
Kunihiro Imura
Recommended
業務システムで使える可視化テクニック - Apache HTTP編 -
業務システムで使える可視化テクニック - Apache HTTP編 -
Yasuyuki Sugai
Cloudera World Tokyo 2014 LTセッション「マイクロソフトとHadoop」
Cloudera World Tokyo 2014 LTセッション「マイクロソフトとHadoop」
Kuninobu SaSaki
20140818 オープン白熱塾 ksasakims
20140818 オープン白熱塾 ksasakims
Kuninobu SaSaki
Python と Xpath で ウェブからデータをあつめる
Python と Xpath で ウェブからデータをあつめる
Shuhei Iitsuka
20151205 中国地方db勉強会 dbm_fs
20151205 中国地方db勉強会 dbm_fs
Takahiro Iwase
Viewを使って開発を楽にする話
Viewを使って開発を楽にする話
Isamu Watanabe
2015 コワーキングスペースの未来を考えるオープン忘年会
2015 コワーキングスペースの未来を考えるオープン忘年会
Kunihiro Imura
Drupalを利用した学術ポータル機能について 2013年8月 Code4Lib Japan
Drupalを利用した学術ポータル機能について 2013年8月 Code4Lib Japan
Kunihiro Imura
Analytics Environment
Analytics Environment
Yuu Kimy
Pandas / Dask / Vaex
Pandas / Dask / Vaex
hide ogawa
It企業向けのdrupal構築アドバイス slideshare
It企業向けのdrupal構築アドバイス slideshare
Kunihiro Imura
見栄えだけのグラフを駆逐せよ! 意味あるデータの捉え方
見栄えだけのグラフを駆逐せよ! 意味あるデータの捉え方
Masayasu Kurashina
Drupal勉強会@さっぽろ/おたる ご紹介
Drupal勉強会@さっぽろ/おたる ご紹介
Kenji Shirane
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
Akihiro Kuwano
便利なHerokuと active recordの 速度改善tips
便利なHerokuと active recordの 速度改善tips
豊明 尾古
「Webサービスのつくり方」 のつくり方
「Webサービスのつくり方」 のつくり方
Yusuke Wada
Lt com camp2016_azureautomation_山p(AzureAutomationを使ってみた話)
Lt com camp2016_azureautomation_山p(AzureAutomationを使ってみた話)
Takatoshi Yamada
第八回 #渋谷Java 最近のjava PaaS事情
第八回 #渋谷Java 最近のjava PaaS事情
Kazuhiro Serizawa
リーダブルパスワード - SQLアンチパターンより抜粋 -
リーダブルパスワード - SQLアンチパターンより抜粋 -
hiro345
第六回 #渋谷java Javaを書き始めて 1年半が経って思うこと
第六回 #渋谷java Javaを書き始めて 1年半が経って思うこと
Kazuhiro Serizawa
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
DevOpsが引き金となるインフラエンジニアの進撃
DevOpsが引き金となるインフラエンジニアの進撃
Teruo Adachi
Apache drillを業務利用してみる(までの道のり)
Apache drillを業務利用してみる(までの道のり)
Keigo Suda
コンソールゲームを世界展開してみた - JAWS DAYS 2015
コンソールゲームを世界展開してみた - JAWS DAYS 2015
Ryo Nakamaru
Trailheadでサクサク!新人研修
Trailheadでサクサク!新人研修
Satoru Ishikawa
Red Hat の日本でできるグローバルな働き方
Red Hat の日本でできるグローバルな働き方
Tadayoshi Sato
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
Puppet本にはcisco nexusを制御する章があるよ
Puppet本にはcisco nexusを制御する章があるよ
Hidetoshi Ochiai
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Hidekazu Ikeda
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
Kotaro Tsukui
More Related Content
What's hot
Analytics Environment
Analytics Environment
Yuu Kimy
Pandas / Dask / Vaex
Pandas / Dask / Vaex
hide ogawa
It企業向けのdrupal構築アドバイス slideshare
It企業向けのdrupal構築アドバイス slideshare
Kunihiro Imura
見栄えだけのグラフを駆逐せよ! 意味あるデータの捉え方
見栄えだけのグラフを駆逐せよ! 意味あるデータの捉え方
Masayasu Kurashina
Drupal勉強会@さっぽろ/おたる ご紹介
Drupal勉強会@さっぽろ/おたる ご紹介
Kenji Shirane
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
Akihiro Kuwano
便利なHerokuと active recordの 速度改善tips
便利なHerokuと active recordの 速度改善tips
豊明 尾古
「Webサービスのつくり方」 のつくり方
「Webサービスのつくり方」 のつくり方
Yusuke Wada
Lt com camp2016_azureautomation_山p(AzureAutomationを使ってみた話)
Lt com camp2016_azureautomation_山p(AzureAutomationを使ってみた話)
Takatoshi Yamada
第八回 #渋谷Java 最近のjava PaaS事情
第八回 #渋谷Java 最近のjava PaaS事情
Kazuhiro Serizawa
リーダブルパスワード - SQLアンチパターンより抜粋 -
リーダブルパスワード - SQLアンチパターンより抜粋 -
hiro345
第六回 #渋谷java Javaを書き始めて 1年半が経って思うこと
第六回 #渋谷java Javaを書き始めて 1年半が経って思うこと
Kazuhiro Serizawa
What's hot
(12)
Analytics Environment
Analytics Environment
Pandas / Dask / Vaex
Pandas / Dask / Vaex
It企業向けのdrupal構築アドバイス slideshare
It企業向けのdrupal構築アドバイス slideshare
見栄えだけのグラフを駆逐せよ! 意味あるデータの捉え方
見栄えだけのグラフを駆逐せよ! 意味あるデータの捉え方
Drupal勉強会@さっぽろ/おたる ご紹介
Drupal勉強会@さっぽろ/おたる ご紹介
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
便利なHerokuと active recordの 速度改善tips
便利なHerokuと active recordの 速度改善tips
「Webサービスのつくり方」 のつくり方
「Webサービスのつくり方」 のつくり方
Lt com camp2016_azureautomation_山p(AzureAutomationを使ってみた話)
Lt com camp2016_azureautomation_山p(AzureAutomationを使ってみた話)
第八回 #渋谷Java 最近のjava PaaS事情
第八回 #渋谷Java 最近のjava PaaS事情
リーダブルパスワード - SQLアンチパターンより抜粋 -
リーダブルパスワード - SQLアンチパターンより抜粋 -
第六回 #渋谷java Javaを書き始めて 1年半が経って思うこと
第六回 #渋谷java Javaを書き始めて 1年半が経って思うこと
Similar to 鹿駆動勉強会 青江発表資料
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
DevOpsが引き金となるインフラエンジニアの進撃
DevOpsが引き金となるインフラエンジニアの進撃
Teruo Adachi
Apache drillを業務利用してみる(までの道のり)
Apache drillを業務利用してみる(までの道のり)
Keigo Suda
コンソールゲームを世界展開してみた - JAWS DAYS 2015
コンソールゲームを世界展開してみた - JAWS DAYS 2015
Ryo Nakamaru
Trailheadでサクサク!新人研修
Trailheadでサクサク!新人研修
Satoru Ishikawa
Red Hat の日本でできるグローバルな働き方
Red Hat の日本でできるグローバルな働き方
Tadayoshi Sato
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
Puppet本にはcisco nexusを制御する章があるよ
Puppet本にはcisco nexusを制御する章があるよ
Hidetoshi Ochiai
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Hidekazu Ikeda
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
Kotaro Tsukui
hbstudy#6LTyuzorock
hbstudy#6LTyuzorock
yuzorock
sitTokyo2022_Dev_05_Kawanabe.pptx
sitTokyo2022_Dev_05_Kawanabe.pptx
ssuser5bff5a
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Yukio Yoshida
基幹業務もHadoopで!! -ローソンにおける店舗発注業務へのHadoop + Hive導入と その取り組みについて-
基幹業務もHadoopで!! -ローソンにおける店舗発注業務へのHadoop + Hive導入と その取り組みについて-
Keigo Suda
Kerasで可視化いろいろ
Kerasで可視化いろいろ
Masakazu Muraoka
Serverless Meetup Japan Virtual #6
Serverless Meetup Japan Virtual #6
Toshiaki Aoike
HTML5でOpen Dataをやってみた
HTML5でOpen Dataをやってみた
Masakazu Muraoka
ソフトウェアエンジニアと高位合成
ソフトウェアエンジニアと高位合成
Kenichiro MITSUDA
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Amazon Web Services Japan
Roo
Roo
terahide
Similar to 鹿駆動勉強会 青江発表資料
(20)
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
DevOpsが引き金となるインフラエンジニアの進撃
DevOpsが引き金となるインフラエンジニアの進撃
Apache drillを業務利用してみる(までの道のり)
Apache drillを業務利用してみる(までの道のり)
コンソールゲームを世界展開してみた - JAWS DAYS 2015
コンソールゲームを世界展開してみた - JAWS DAYS 2015
Trailheadでサクサク!新人研修
Trailheadでサクサク!新人研修
Red Hat の日本でできるグローバルな働き方
Red Hat の日本でできるグローバルな働き方
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
Puppet本にはcisco nexusを制御する章があるよ
Puppet本にはcisco nexusを制御する章があるよ
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
hbstudy#6LTyuzorock
hbstudy#6LTyuzorock
sitTokyo2022_Dev_05_Kawanabe.pptx
sitTokyo2022_Dev_05_Kawanabe.pptx
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
基幹業務もHadoopで!! -ローソンにおける店舗発注業務へのHadoop + Hive導入と その取り組みについて-
基幹業務もHadoopで!! -ローソンにおける店舗発注業務へのHadoop + Hive導入と その取り組みについて-
Kerasで可視化いろいろ
Kerasで可視化いろいろ
Serverless Meetup Japan Virtual #6
Serverless Meetup Japan Virtual #6
HTML5でOpen Dataをやってみた
HTML5でOpen Dataをやってみた
ソフトウェアエンジニアと高位合成
ソフトウェアエンジニアと高位合成
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Roo
Roo
More from Takashi Aoe
AsakusaのドキュメントをDashで見たい
AsakusaのドキュメントをDashで見たい
Takashi Aoe
JavaOneで聴いてきたディープなJavaFXセッション
JavaOneで聴いてきたディープなJavaFXセッション
Takashi Aoe
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
Takashi Aoe
JavaOne2013報告会 JavaFX Update
JavaOne2013報告会 JavaFX Update
Takashi Aoe
Java Day Tokyo 2013 Java the Night 監視ツールでみるJavaFXとJava EEの魅力
Java Day Tokyo 2013 Java the Night 監視ツールでみるJavaFXとJava EEの魅力
Takashi Aoe
JavaFXでマルチタッチプログラミング
JavaFXでマルチタッチプログラミング
Takashi Aoe
More from Takashi Aoe
(6)
AsakusaのドキュメントをDashで見たい
AsakusaのドキュメントをDashで見たい
JavaOneで聴いてきたディープなJavaFXセッション
JavaOneで聴いてきたディープなJavaFXセッション
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
JavaOne2013報告会 JavaFX Update
JavaOne2013報告会 JavaFX Update
Java Day Tokyo 2013 Java the Night 監視ツールでみるJavaFXとJava EEの魅力
Java Day Tokyo 2013 Java the Night 監視ツールでみるJavaFXとJava EEの魅力
JavaFXでマルチタッチプログラミング
JavaFXでマルチタッチプログラミング
Recently uploaded
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Recently uploaded
(9)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
鹿駆動勉強会 青江発表資料
1.
2.
自己紹介 青江 崇
(株)ノーチラス・テクノロジーズ所属 Twitter ID: aoetk / Hatena ID: aoe-tk 奈良育ち! 今は東京で仕事してますが 最近はHadoopなどの分散ミドルウェアを用いた 業務バッチ開発について、その開発標準を考えた り運用周りの基盤開発をやったりとかしてます
3.
自己紹介(続き) それまでは割と典型的なSI開発やってて主に
JavaEE系の色んなシステム作ってました B2CやB2BのWebサービスとか、社内基幹システムと か色々 近年はFlexやJavaScriptを使ったRIA開発とかも なので個人的にはGUI開発にすごく興味有り 今JavaFX追っかけてます!
4.
今日のお話 うちの会社のメンバーが中心になって開発、展開
している、Asakusa FrameworkというOSSフレーム ワークの紹介をします Hadoopを業務バッチ開発に、なフレームワークで す
5.
Hadoopとは? きっとここに集った皆様には 大仏様に説法でしょうが…
6.
一応簡単に説明 OSSの分散処理ミドルウェアです http://hadoop.apache.org/ 中核はHDFS(分散ファイルシステム)と
MapReduce(分散処理フレームワーク)
7.
おっきな
巨大なファイルをそ データ れなりの大きさに分 データのあるとこ 処理 割して分散配置 (HDFS) ろに処理を飛ばす (MapReduce) 処理 処理 処理 サーバーたち • 処理を分散したデータの所に飛ばすのがポイント(I/Oを分散させる) • 「処理」はmap関数とreduce関数の組み合わせに限定 →お陰で簡単に分散できる
8.
でもHadoopが使われてい
る所って… Webサービスとかのログ解析とか 機械学習とか ソーシャルグラフ分析とか マーケットバスケット分析とか 要はSIerな現場には縁の無い話とちゃうの?
9.
案外そうでもないかも こんなことありませんか?
夜間バッチの突き抜けにgkbrしてませんか? RDBとかだとどうしてもディスクI/Oがボトルネック になって速くならなくて困ったりとか で、パーティション切って何台かのマシンで並列実行 したりとか さっきも言ったようにHadoopの強みはI/Oの分散 これが活かせるなら使えます 後は処理が分散可能かですが… 人間が業務をやったときに人海戦術でできるかを考え ましょう(人海戦術でできる=分散可能)
10.
でも… Hadoopってmap関数とreduce関数しか書けへんよ
ね?それでロジック組むのしんどくない? 品質とっても大事やけどテストとかどうすんの? そこで…
11.
Asakusa Frameworkとは
その設計をそのまま落とし込める バッチ処理をデータフローの視点に JavaのDSLで書いてフレームワー 沿って設計して… クのコンパイラにかけると... Hadoop MapReduceのジョブ群が吐き出される! データ 演算子
12.
そしてこれはOSS! https://github.com/asakusafw/
13.
ドキュメント充実してま
す!(しかも日本語) http://asakusafw.s3.amazonaws.com/documents/0.2/ release/ja/html/index.html
14.
テストフレームワークも
あります! テストケース、テストデー タ、検証内容をExcelで書け ます! Excel大好きな貴方の上司もこれで安心
15.
結構実践的なサンプルも
POSデータをカテゴリ別に 集計するサンプル 設計ガイドとサンプルアプ リケーションがあります http://www.asakusafw.com/techinfo/methodology.ht ml
16.
一発インストーラ的なも
のもあります Jinrikishaという名前です! http://www.asakusafw.com/techinfo/download.html
17.
というわけで
是非お試しあれ 公式ホームページ http://www.asakusafw.com/ GitHub https://github.com/asakusafw ドキュメント http://asakusafw.s3.amazonaws.com/documents/0.2/rel ease/ja/html/index.html
18.
ご清聴 ありがとうございました
Download now