JobTracker Memory Leak Solution
•
0 j'aime•534 vues
solution for hadoop job tracker memory leak based on hadoop-0.20.203 also find in 1.x
Recommandé
Contenu connexe
Similaire à JobTracker Memory Leak Solution
Similaire à JobTracker Memory Leak Solution (20)
JobTracker Memory Leak Solution
- 2. ⺫⽬目录 • ⼀一、问题现象 • ⼆二、调查过程 • 三、产⽣生原因 • 四、解决⽅方案
- 3. ⼀一、问题现象
- 4. ⼀一、问题现象
- 5. ⼀一、问题现象
- 6. ⼀一、问题现象 • What is the problems? 1、thousands of threads lead to too much Context Switching degrades performance 2、too much memory consumption lead to GC stop the world
- 7. ⼆二、调查过程 ! ! ! • One instance of Filesystem has one DFSClient • One DFSClient has one thread of LeaseChecker DFSClient FileSystem LeaseChecker DFSClient NameNode Renew Lease Thread
- 8. ⼆二、调查过程 • 可能的问题：FileSystem close，但是DFSClient没有 close,可能性低。 • 可能的问题：FileSystem没有close导致DFSClient没 有close,从⽽而有⼤大量的LeaseChecker，可能性⾼高。 • 曾经的问题：Scribe java版本中代码bug导致⽂文件⻓长 时间⽆无法close，甚⾄至⽆无法recovery
- 13. 三、产⽣生原因 ! ! • JobInProgress init ⽣生成FileSystem object ! • JobHistory获得FileSystem object
- 15. 三、产⽣生原因 • ⽤用户conf没有定义schema，那么获得的FileSystem 就是JIP初始化时候的FS，close会全部close掉 • 如果⽤用户⾃自定义conf，并且scema不同，那么获得 History FS将与JIP初始化FS不同，并且没有close⽅方 法，造成泄漏
- 16. 四、解决⽅方法 • 1、重启JobTracker:影响⾯面较⼤大 • 2、动态更改runtime bytecode
- 18. 四、解决⽅方法 • JVM Instrumentation: introduced in jdk 1.5 • statically & dynamically load byte code at runtime • ⽆无限可能(⻛风险) • usage: profile tools , monitor tools
- 19. 四、解决⽅方法 • lifecycle of java-agent • Premain • Main • AgentMain !
- 20. 四、解决⽅方法 • load过程
- 21. 四、解决⽅方法 • Using JVM Instrumentation • 1、create agent: jar , Manifest (1)command line:javaagent:jarpath[=options] (2)attach to an existing jvm • 2、ClassLoader load agent
- 22. 四、解决⽅方法
- 23. 四、解决⽅方法 • Instrumentation把实现交给了⽤用户 ! ! ! ! example:http://blog.javabenchmark.org/2013/05/java- instrumentation-tutorial.html bytecode manipulation tools:ASM, javassist
- 24. 四、解决⽅方法 • 我们的解决⽅方法： 1、通过agent 把代码inject到JobTracker中 2、代码⾸首先通过反射获得所有的Cache中的 DistributedFileSystem实例(包括正常的和泄漏的) 3、加锁，通过DFS的conf获得JobID对象，对应了正在执⾏行 的Job 4、反查JT中Map<JobID, JobInProgress> jobs 5、release leak filesystem
- 25. refrence • http://dhruba.name/2010/02/07/creation-dynamic- loading-and-instrumentation-with-javaagents/ • http://dhruba.name/2010/02/07/creation-dynamic- loading-and-instrumentation-with-javaagents/ • http://blog.javabenchmark.org/2013/05/java- instrumentation-tutorial.html • 代码及详细说明：https://svn.intra.sina.com.cn/ data/DGM/docs/ProblemsSummary/hadoop