Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

TestDFSIO

1 611 vues

Publié le

TestDFSIO

Publié dans : Logiciels
  • Identifiez-vous pour voir les commentaires

TestDFSIO

  1. 1. TestDFSIO 세종대학교 시스템공학 연구실 박다흰
  2. 2. 차례 •TestDFSIO 란? •TestDFSIO 사용법 •write •read •clean •결과 출력 •사용 예시 2014-10-02 Sejong System Engineering 2
  3. 3. TestDFSIO 란? •hadoop의 성능을 측정하는 벤치마크 중 하나 •MapReduce를 사용하여 파일을 읽고 쓰는 성능을 측정 2014-10-02 Sejong System Engineering 3
  4. 4. TestDFSIO 사용법 •TestDFSIO 실행 과정 1.write로 파일을 작성 2.read로 write에서 생성한 파일을 읽음 3.작업한 파일들을 지우고 결과 확인 2014-10-02 Sejong System Engineering 4
  5. 5. TestDFSIO 사용법 2014-10-02 Sejong System Engineering 5 •다운로드 –wget https://repository.cloudera.com/content/repositories/releases/org/apache/hadoop/hadoop-test/2.3.0-mr1-cdh5.1.0/hadoop- test-2.3.0-mr1-cdh5.1.0-sources.jar •압축을 풀 필요 없이 바로 실행 가능
  6. 6. write •hadoop jar (경로 1) TestDFSIO –write - nrFiles (숫자1) -fileSize (숫자2) -resFile (경로2) •경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함) 2014-10-02 Sejong System Engineering 6
  7. 7. write •경로 2는 write결과를 저장할 .txt 파일 경로. 없으면 파일을 생성하여 저장 •숫자 1은 파일 수, 숫자 2는 파일의 크기(MB) 2014-10-02 Sejong System Engineering 7
  8. 8. read •hadoop jar (경로 1) TestDFSIO –read - nrFiles (숫자1) -fileSize (숫자2) -resFile (경로2) •경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함) 2014-10-02 Sejong System Engineering 8
  9. 9. read •경로 2는 read결과가 저장된 .txt 파일 경로 •숫자 1은 파일 수, 숫자 2는 파일의 크기(MB) 2014-10-02 Sejong System Engineering 9
  10. 10. clean •hadoop jar (경로 1) TestDFSIO –clean •경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함) •작업을 통해 생성된 파일들을 지움 2014-10-02 Sejong System Engineering 10
  11. 11. 결과 출력 •명령어를 모두 치고 나면 write와 read에서 생성한 파일이 남아 측정 결과를 가지고 있음 2014-10-02 Sejong System Engineering 11
  12. 12. 사용 예시 •홈에 hadoop의 압축을 풀고, hadoop 파일 내에 TestDFSIO를 다운받았다고 가정 시 •~/hadoop $ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –write -nrFiles 100 -fileSize 100 -resFile TDFS_Input.txt •100MB짜리 파일 100개를 생성 2014-10-02 Sejong System Engineering 12
  13. 13. 사용 예시 •~/hadoop $ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –read -nrFiles 100 -fileSize 100 -resFile TDFS_Input.txt •write에서 생성한 100MB짜리 파일 100개를 읽음 •~/hadoop $ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –clean •작업 내역을 지움 2014-10-02 Sejong System Engineering 13
  14. 14. 사용 예시 •cat TDFS_Input.txt 로 read와 write 결과 확인 가능 2014-10-02 Sejong System Engineering 14
  15. 15. 결론 •TestDFSIO는 가볍고 단순한 조작으로 성능을 측정할 수 있는 벤치마크 •먼저 공부한 TeraSort보다 결과를 해석하기 용이함 2014-10-02 Sejong System Engineering 15

×