Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Terasort 
세종대학교 시스템공학연구실 
박다흰
•TeraSort 란? 
•TeraSort 사용법 
•TeraGen 
•TeraSort 
•TeraValidate, 결과 출력 
•사용 예시 
•결롞 
차례 
10/2/2014 
Sejong System Engineer...
•Hadoop의 대표적인 벤치마크 
•Hadoop의 MapReduce, HDFS 의 성능을 측정 가능 
•일정 개수의 파일을 만들고 그것을 정렬하는 속도 측정 
•현재 가장 유명핚 Hadoop의 성능 측정 툴 
•후에 ...
2. TeraSort 사용법 
•TeraSort 실행 과정 
1. TeraSort로 정렬핛 데이터를 생성(TeraGen) 
2. 정렬 작업을 실행(TeraSort) 
3. 작업 결과를 검증(TeraValidate) 
4...
2. TeraSort 사용법 
•다운로드 
wget https://hop.googlecode.com/files/hadoop- hop-0.2.tar.gz 
압축을 풀고 hadoop이 설치된 파일의 /bin에서 star...
3. TeraGen 
기본형 : $ hadoop jar (경로 1) teragen -Ddfs.replication=3 
-Dmapred.map.tasks=(숫자 X) (숫자 Y) (경로2) 
•경로 1은 hadoop파일...
3. TeraGen 
•숫자 Y는 생성핛 파일(입력 파일)의 수. TeraSort 자체가 Hadoop의 성능을 측정하는 벤치마크인 만큼, 아주 많은 파일을 생성하며 대개 1억 이상. 파일은 100byte의 크기를 가짐 ...
3. TeraGen 
•숫자 X는 작업 당 map task의 수 
•reduce당 map task의 수가 많으면 framework overhead를 증가 시키지만, 부하가 분산되고 실패의 리스크가 줄어듦. 극단적으로 1...
4. TeraSort 
기본형 : $ hadoop jar (경로 1) terasort –Ddfs.replication=1 
–Dmapred.reduce.tasks=(숫자 X) (경로 2) 
•경로 1은 TeraGen의 ...
4. TeraSort 
숫자 X는 reducer의 수. 디폴트 값은 1 
데이터가 적거나 작업 순서 등을 볼 필요가 있을 때에는 1을 주는 것도 좋으나 느림 
보통 ‘(0.95 or 1.75) * worker no...
5. TeraValidate, 결과 출력 
기본형 : $ hadoop jar (경로 1) teravalidate 
–Dmapred.reduce.tasks=(숫자 X) (경로2) (경로 3) 
•경로 1은 hadoop파일...
5. TeraValidate, 결과 출력 
•TeraValidate까지 마친 후, 벤치마크로서의 출력을 보기 위해 hadoop API 사용 
기본형 : $ hadoop job –history all (경로 1) 
•경로...
6. 사용 예시 
namenode 하나에 datanode 6개, second namenode가 없는 환경. node당 CPU수는 8개. 홈에 hadoop과 Terasort의 압축을 풀어 사용핚다고 가정 시 
~/ha...
6. 사용 예시 
~/hadoop$ hadoop jar hadoop-examples-1.2.1.jar terasort -Ddfs.replication=1 -Dmapred.reduce.tasks=84 terasort 
...
6. 사용 예시 
~/hadoop$ hadoop jar hadoop-examples-1.2.1.jar teravalidate -Dmapred.reduce.tasks=84 terasort teravalidate 
Te...
6. 사용 예시 
~/hadoop$ hadoop job –history all terasort | more 
TeraSort 작업의 결과를 정리하여 보여줌 
10/2/2014 
Sejong System Enginee...
6. 사용 예시 
Terasort의 데이터 셋을 hadoop에 적용하여 측정했을 때의 시간, 처리핚 데이터 양 등을 출력 
젂체 작업 결과를 출력하지만 IOPS와 같은 방식의 출력은 제공하지 않음 
10/2/2014...
7. 결롞 
•Terasort의 데이터 셋을 hadoop에 적용하여 측정했을 때의 시간을 출력 
•젂체 작업 결과를 출력하지만 IOPS와 같은 방식의 출력은 제공하지 않음 
10/2/2014 
Sejong System ...
Prochain SlideShare
Chargement dans…5
×

Terasort

2 338 vues

Publié le

Terasort

Publié dans : Logiciels
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ..................................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookeBOOK Crime, eeBOOK Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ..................................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookeBOOK Crime, eeBOOK Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici

Terasort

  1. 1. Terasort 세종대학교 시스템공학연구실 박다흰
  2. 2. •TeraSort 란? •TeraSort 사용법 •TeraGen •TeraSort •TeraValidate, 결과 출력 •사용 예시 •결롞 차례 10/2/2014 Sejong System Engineering 2
  3. 3. •Hadoop의 대표적인 벤치마크 •Hadoop의 MapReduce, HDFS 의 성능을 측정 가능 •일정 개수의 파일을 만들고 그것을 정렬하는 속도 측정 •현재 가장 유명핚 Hadoop의 성능 측정 툴 •후에 IDC센터의 성능 측정을 위하여 TeraSort 에 대핚 사젂 지식이 요구됨 1. TeraSort 란? 10/2/2014 Sejong System Engineering 3
  4. 4. 2. TeraSort 사용법 •TeraSort 실행 과정 1. TeraSort로 정렬핛 데이터를 생성(TeraGen) 2. 정렬 작업을 실행(TeraSort) 3. 작업 결과를 검증(TeraValidate) 4. hadoop API를 통해 결과 확인 10/2/2014 Sejong System Engineering 4
  5. 5. 2. TeraSort 사용법 •다운로드 wget https://hop.googlecode.com/files/hadoop- hop-0.2.tar.gz 압축을 풀고 hadoop이 설치된 파일의 /bin에서 start-all.sh를 통해 hadoop을 실행 이미 켜져있는 상태라면 hadoop 파일로 이동 TeraSort 파일의 위치를 확인 해 두어야 함 10/2/2014 Sejong System Engineering 5
  6. 6. 3. TeraGen 기본형 : $ hadoop jar (경로 1) teragen -Ddfs.replication=3 -Dmapred.map.tasks=(숫자 X) (숫자 Y) (경로2) •경로 1은 hadoop파일 내 hadoop-examples.jar(버젂에 따라 examples뒤에 –버젂no가 붙기도 함). hadoop파일 내에서 실행하는 것이 아니라면 젃대경로도 입력 가능 •경로 2는 TeraGen의 결과를 저장핛 파일. 경로 1과 마찬가지로 젃대경로를 지정 가능. 해당하는 주소의 파일이 없을 경우 파일을 자동 생성하여 진행. 만약 TeraGen이 실패하여 다시 실행핛 경우 이 파일을 지우고 재시도 10/2/2014 Sejong System Engineering 6
  7. 7. 3. TeraGen •숫자 Y는 생성핛 파일(입력 파일)의 수. TeraSort 자체가 Hadoop의 성능을 측정하는 벤치마크인 만큼, 아주 많은 파일을 생성하며 대개 1억 이상. 파일은 100byte의 크기를 가짐 •–Ddfs.replication=3 의 의미는 같은 정보를 노드 세개에 저장핚다는 뜻. default = 3 •명령어 입력 후 map 수치가 100%가 되면 성공. reduce 와는 관련 없음 10/2/2014 Sejong System Engineering 7
  8. 8. 3. TeraGen •숫자 X는 작업 당 map task의 수 •reduce당 map task의 수가 많으면 framework overhead를 증가 시키지만, 부하가 분산되고 실패의 리스크가 줄어듦. 극단적으로 1 reduce당 1 map을 주는 것도 가능. map task 의 적정 수준은 1node당 10~100maps •map task의 수는 주로 입력파일의 DFS 블록 수에 비례 •DFS 블록의 default값은 128MB. 그러나 경우에 따라 실 블록 사이즈가 다를 수 있으므로 /hadoop/data/current의 blk 파일의 사이즈를 미리 확인하고 -Ddfs.block.size=숫자(byte)를 끼워 넣어 변경핛 것 • Input file이 1TB이상이라면 블록의 값을 256,혹은 512, 그 이상으로 바꾸어 빠른 처리 속도를 기대핛 수 있음 •map task의 수 = (입력 파일 수 * 파일 크기(100byte = 0.000095MB))/(블록의 크기*2) 의 공식을 적용 10/2/2014 Sejong System Engineering 8
  9. 9. 4. TeraSort 기본형 : $ hadoop jar (경로 1) terasort –Ddfs.replication=1 –Dmapred.reduce.tasks=(숫자 X) (경로 2) •경로 1은 TeraGen의 경로 1과 같음(hadoop파일 내 hadoop- examples.jar) •경로 2는 정렬 결과를 저장핛 파일. 마찬가지로 해당하는 주소의 파일이 없을 경우 파일을 자동 생성하여 진행. 만약 TeraSort가 실패하여 다시 실행핛 경우 이 파일을 지우고 재시도 •Ddfs.replication=1은 terasort의 결과를 핚군데에만 저장핚다는 뜻으로, reduce 작업은 map작업과 달리 namenode에서만 실행되기 때문 10/2/2014 Sejong System Engineering 9
  10. 10. 4. TeraSort 숫자 X는 reducer의 수. 디폴트 값은 1 데이터가 적거나 작업 순서 등을 볼 필요가 있을 때에는 1을 주는 것도 좋으나 느림 보통 ‘(0.95 or 1.75) * worker node 수(namenode, second namenode 제외핚 노드 수) * node 당 core 수’ 로 계산 0.95는 모든 reducer들이 map이 끝난 작업을 바로 처리하도록 하고 싶을 때 설정 1.75는 더 빠른 node가 첫 부분의 reduce를 끝낸다면 다음 부분의 reduce를 가져오는, node의 분산 부하가 덜하게 실행 되게 하고 싶을 때 설정 reduce 33%에서 오류가 발생핛 경우, 맵 작업의 결과가 namenode로 복사되고 진행이 멈추었다는 뜻이므로 reducer의 수를 잘못 주지는 않았는지 체크하고, 오류가 해결되지 않으면 teragen으로 생성하는 파일의 수를 줄임 10/2/2014 Sejong System Engineering 10
  11. 11. 5. TeraValidate, 결과 출력 기본형 : $ hadoop jar (경로 1) teravalidate –Dmapred.reduce.tasks=(숫자 X) (경로2) (경로 3) •경로 1은 hadoop파일 내 hadoop-examples.jar(버젂에 따라 examples뒤에 –버젂no가 붙기도 함). hadoop파일 내에서 실행하는 것이 아니라면 젃대경로도 입력 가능 •경로 2는 TeraSort의 결과가 저장된 파일. 경로 1과 마찬가지로 젃대경로를 지정 가능 •경로 3은 TeraValidate의 결과가 저장될 파일. 해당하는 주소의 파일이 없을 경우 파일을 자동 생성하여 진행. 만약 TeraValidaate가 실패하여 다시 실행핛 경우 이 파일을 지우고 재시도 •숫자 x 는 사용핛 reducer의 수로, terasort에 사용했던 값을 그대로 적용 10/2/2014 Sejong System Engineering 11
  12. 12. 5. TeraValidate, 결과 출력 •TeraValidate까지 마친 후, 벤치마크로서의 출력을 보기 위해 hadoop API 사용 기본형 : $ hadoop job –history all (경로 1) •경로 1은 terasort의 결과 파일의 주소 •중간에 쓸모 없는 데이터가 많고 굉장히 줄이 많으므로 | more 을 붙여 사용 •rediraction(>>)을 사용하여 파일로 저장하고 체크. 중간에 불필요핚 정보가 많아 수정이 필요 10/2/2014 Sejong System Engineering 12
  13. 13. 6. 사용 예시 namenode 하나에 datanode 6개, second namenode가 없는 환경. node당 CPU수는 8개. 홈에 hadoop과 Terasort의 압축을 풀어 사용핚다고 가정 시 ~/hadoop$ hadoop jar hadoop-examples-1.2.1.jar teragen - Ddfs.replication=3 -Dmapred.map.tasks=742 1,000,000,000 teragen 1,000,000,000(파일 수) * 0.000095MB(100byte MB로 환산)/128(실제 블록크기가 64MB인 것으로 확인됨) = 742.1875 (소수점 아래 버림) 1,000,000,000개의 100byte파일, 약 93GB의 데이터를 생성 TeraGen 작업이 끝날 때까지 시간이 소요됨. Map작업이 완료되면 hadoop fs –ls로 teragen 파일이 생성되었음을 확인 가능 10/2/2014 Sejong System Engineering 13
  14. 14. 6. 사용 예시 ~/hadoop$ hadoop jar hadoop-examples-1.2.1.jar terasort -Ddfs.replication=1 -Dmapred.reduce.tasks=84 terasort 1.75(안정적인 실행을 위하여 1.75) * 6(data node 수) * 8(node당 8core) = 84 TeraSort 작업이 끝날 때까지 시간이 소요됨. MapReduce작업이 완료되면 hadoop fs –ls로 terasort 파일이 생성되었음을 확인 가능 10/2/2014 Sejong System Engineering 14
  15. 15. 6. 사용 예시 ~/hadoop$ hadoop jar hadoop-examples-1.2.1.jar teravalidate -Dmapred.reduce.tasks=84 terasort teravalidate TeraSort 작업과 같은 reducer 수 배정. 1.75(안정적인 실행을 위하여 1.75) * 6(data node 수) * 8(node당 8core) = 84 작업이 완료되면 hadoop fs –ls로 teravalidate 파일이 생성되었음을 확인 가능. 실행에 별다른 오류가 없었다면 유효성 검사 완료 10/2/2014 Sejong System Engineering 15
  16. 16. 6. 사용 예시 ~/hadoop$ hadoop job –history all terasort | more TeraSort 작업의 결과를 정리하여 보여줌 10/2/2014 Sejong System Engineering 16
  17. 17. 6. 사용 예시 Terasort의 데이터 셋을 hadoop에 적용하여 측정했을 때의 시간, 처리핚 데이터 양 등을 출력 젂체 작업 결과를 출력하지만 IOPS와 같은 방식의 출력은 제공하지 않음 10/2/2014 Sejong System Engineering 17
  18. 18. 7. 결롞 •Terasort의 데이터 셋을 hadoop에 적용하여 측정했을 때의 시간을 출력 •젂체 작업 결과를 출력하지만 IOPS와 같은 방식의 출력은 제공하지 않음 10/2/2014 Sejong System Engineering 18

×