Recommandé
Contenu connexe
En vedette
Similaire à Askusa on aws
Similaire à Askusa on aws (20)
Plus de Shingo Furuyama
Askusa on aws
- 1. Asakusa on AWS 第9回 AWS User Group - Japan 東京勉強会 Shingo Furuyama @marblejenka
- 2. 自己紹介 Asakusa Frameworkの概要 Asakusa on EC2 今後の展開など Hadoopについて
- 3. 自己紹介 Asakusa Frameworkの概要 Asakusa on EC2 今後の展開など Hadoopについて
- 5. キャリア [2007/4～2010/6] SimplexTechnology, Inc. 金利デリバティブに関するシステム開発 Treasury Risk Managementに関するシステム開発 [2010/7～2011/2] Self Employee Hadoopの金融領域における利用についてのPoC EMRを基盤とするログ解析アプリケーションの開発 [2011/3～2011/9] UL Systems, Inc. Asakusa Framework/Hadoopインフラ検証・設定 分散処理のアプリケーションに関するPoC/開発 [2011/10～]Nautilus Technologies, Inc. 分散処理のアプリケーションに関するPoC/開発など 自己紹介 http://www.facebook.com/profile.php?id=1762939167&sk http://www.linkedin.com/in/shingofuruyama
- 6. 自己紹介 Asakusa Frameworkの概要 Asakusa on EC2 今後の展開など Hadoopについて
- 7. MapReduceによる分散計算ができる HDFSでデータインテンシブな計算をサポート Disk I/Oを分散させてスループットを高めるアーキテクチャ Hadoopについて
- 8. 業務システムの複雑さのレベルに比して変更耐性が弱い HDFSにトランザクションという概念が存在しない 単体テスト・結合テストの仕組みがそれほど考えられているものではない Hadoopについて Hadoopを業務システムに適用する際の問題点 Asakusa Frameworkはこれらの弱点を補うレイヤとして機能する
- 9. 自己紹介 Asakusa Frameworkの概要 Asakusa on EC2 今後の展開など Hadoopについて
- 10. Apache License, Version 2.0で公開されているOSS https://github.com/asakusafw/ http://asakusafw.s3.amazonaws.com/documents/0.2/develop/ja/html/index.html 業務処理をJavaをホスト言語とするDSLで記述し、JavaのコンパイラとAsakusaのMapReduceコンパイラでコンパイルし、バッチアプリケーションを生成する コンパイルされたバッチアプリケーションを制御する薄いラッパーを経由してHadoopのジョブを実行するため、Hadoopに対する追加のセットアップは不要 Asakusa Frameworkの概要
- 11. Asakusa Frameworkの概要 AsakusaによるHadoopの補完 変更耐性が低い DSL/Generic Data Flow DMDL/DMTL トランザクションがない ThunderGate (RDBMSとの連携) テスト支援が弱い TestDriver
- 14. Cloudera 配布のVMware仮想マシンによるQuick Startの解説/ハンズオンAsakusa Frameworkの概要 買ってね！
- 15. 自己紹介 Asakusa Frameworkの概要 Asakusa on EC2 今後の展開など Hadoopについて
- 16. スタンドアロンモードで動作する開発環境向けのAMIを提供中 https://github.com/asakusafw/asakusafw/wiki/Asakusa-SDK-AMI-ja Asakusa on EC2
- 17. Asakusa FrameworkのCIはAWS上で実行 http://ec2-175-41-241-89.ap-northeast-1.compute.amazonaws.com/jenkins/ Asakusa on EC2
- 18. aws-toos HadoopのクラスタをEC2上に自動生成するツール Private IPで通信したいので、起動後に設定ファイルのwiringを行う 諸般の事情により未公開 AWSでのHadoop完全分散モードによる実行環境について 東京リージョンではClusterCompute Instanceにできないため、HadoopのShuffleフェーズの性能が問題になる 別にお試しならClusterComputeでなくてもよいが・・・ EMRが使えるべきだが、Hadoopのバージョンの違いがあり、動作しない Asakusa on EC2
- 19. 自己紹介 Asakusa Frameworkの概要 Asakusa on EC2 今後の展開など Hadoopについて
- 21. Thank You!!