1. 1
Cloudera
サポートの現場から、YARN
の最新事情
Sho
Shimauchi,
Cloudera
2014/07/08

2. 2
Who
am
I?
• 嶋内 翔(しまうち しょう)
• Clouderaの社員
• email:
sho@cloudera.com
• twiFer:
@shiumachi

3. 3
YARNのおさらい
• Hadoopのサブプロジェクトとして開発されているリ
ソース管理フレームワーク
• 詳細は省略

4. 4
CDHにおけるYARN
• CDH4
(2012年)
YARN
導入
• しかし
not
producLon
ready
• CDH5
(2014年)
YARN、ついに
producLon
ready
に

5. 5
典型的な問い合わせ
(2013年)

6. 6
YARNはいつ
GAになるんですか？

7. 7
それから1年の
月日が流れた…

8. 8
問い合わせ数がすごいことになった

9. 9
YARNユーザの急増
• CDH5b1のリリース後、多くのユーザで本格的な検証
がスタート
• Cloudera
の顧客では既に何社も本番稼働させてい
る
• 日本でもYARNを検証している顧客はいます

10. 10
典型的な問い合わせ
(2014年前半)

11. 11
ジョブが失敗する
↓
メモリ不足

12. 12
メモリはちゃんと確保しましょう
• VMで動かしてたらそもそもジョブが起動しない
• (多分)誰もが通る道
• yarn.app.mapreduce.am.resource.mb
(デフォルト1.5GB)
を
確保できないと起動すらできない
• VMで動かすときは減らしましょう
• yarn.nodemanager.resource.memory-­‐mb
• NMのメモリ割り当て
• 足りないのでジョブが実行できない、というのが典型
• 増やしましょう

13. 13
バグもあります
• YARN-­‐1924
• RM
HA
環境で、YARN
app
が
submiFed
ステートのときに
kill
するとエラー
• CDH
5.0.1
で
fix
• YARN-­‐2073
• リソースに余裕があるのにFairスケジューラのプリエンプ
ションが発生する
• CDH
5.0.2
で
fix

14. 14
まとめ
• YARNはCDH5がGAになってから検証する人が急増し
た
• 本番環境導入も始まってる
• しかしまだまだ基本的な運用ノウハウが浸透してい
ないので初歩的なミスが目立つ
• YARN対応済みの
Cloudera
の管理者コース受けま
しょう！

15. 15