![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/75/kaist-53-2048.jpg?cb=1667527732)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/75/kaist-54-2048.jpg?cb=1667527732)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/75/kaist-55-2048.jpg?cb=1667527732)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/75/kaist-56-2048.jpg?cb=1667527732)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/75/kaist-57-2048.jpg?cb=1667527732)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/75/kaist-58-2048.jpg?cb=1667527732)
[215]네이버콘텐츠통계서비스소개 김기영
Le téléchargement de votre SlideShare est en cours.
×
Plus De Contenu Connexe
Diaporamas pour vous (20)
Similaire à [KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요? (20)
Plus récents (20)
[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?
- 1. 채용 설명회 | DEVSISTERS 박주홍 데이터 엔지니어는 무슨 일을 하나요? J.Park@devsisters.com
- 2. 2007 KAIST 입학 2013 DEVSISTERS • Server Engineer • Data Engineer • KAIST 데이터 연구, CHI LBW 발표 • Data Science & Infrastructure 팀장
- 3. 2007 KAIST 입학 2013 DEVSISTERS • Server Engineer • Data Engineer • KAIST 데이터 연구, CHI LBW 발표 • Data Science & Infrastructure 팀장 입학 후에 강산이 한번 바뀌고 2016 KAIST 수리과학과 졸업
- 4. 01 빅데이터가 뭔가요?
- 5. V3 Volume Variety Velocity
- 6. V4 Volume Variety Velocity Value
- 7. V5 Volume Variety Velocity Value Veracity
- 8. VX Volume Variety Velocity Value Veracity V… V… V… V… V…
- 9. VX Plus Volume Variety Velocity Value Veracity V… V… V… V… V… +…
- 10. 그것보다 Real World 에서 느끼는 빅데이터란
- 11. Single Server
- 12. Single Server Out of Memory
- 13. Single Server Disk Full
- 14. Big Data > Single Server
- 15. 02 그러면 데이터 엔지니어는 뭘 하나요?
- 16. Big Data > Single Server
- 17. Single Server → Multi Server
- 18. Big Data < Multi Server
- 19. Server Cluster
- 20. Server Cluster Cluster Management Parallel Computing Load Balancing
- 21. 데이터 엔지니어는 빅데이터를 처리합니다. 빅데이터를 처리하기 위해 서버 클러스터를 사용합니다.
- 22. 서버 클러스터로 빅데이터를 처리하면서 발생하는 다양한 Cluster Management Parallel Computing Load Balancing 문제를 해결합니다.
- 23. 03 데브시스터즈에서는 어떻게 문제를 해결하나요?
- 24. Server Cluster
- 25. Server Cluster Which Where
- 26. Reference: www.jenunderwood.com
- 27. • 분산 처리 클러스터 엔진 • 메모리 기반의 빠른 분석 지원 • SQL, DataFrame 지원
- 28. EC2 S3
- 29. EC2 • Cloud Server • 원하는 때 원하는 만큼 서버 생성 • 사용한 만큼 비용 지불
- 30. • Cloud Storage • 병렬 업로드, 병렬 다운로드 지원 • 저장한 만큼 비용 지불 S3
- 31. EC2 Cluster
- 32. S3 EC2 Cluster
- 33. S3 EC2 Cluster
- 34. S3 EC2 Cluster
- 35. Two More Things
- 36. S3 EC2 Cluster
- 37. S3 EC2 Cluster
- 38. S3 EC2 Cluster Airflow
- 39. New York 에서 진행된 Spark Summit 에 출장가서 Flintrock 개발자와 미팅
- 40. DEVSISTSERS 로 Flintrock 개발자를 초청해서 필요한 기능을 공동개발
- 41. S3 EC2 Cluster Airflow
- 42. 04 DEVSISTERS 는 어떤 데이터 엔지니어를 뽑나요?
- 43. 1TB 이상 빅데이터를 처리해보신분
- 44. Reference: tvN 알바트로스
- 45. 데이터 엔지니어 신입의 경우 빅데이터를 1TB 이상 구할 수 없거나 빅데이터를 다룰 서버 클러스터가 없기 때문에 사실상 빅데이터를 다룬 경력이 있을 수가 없다.
- 46. 그래서 빅데이터 기술보다는 전산학 기본기와 데이터 엔지니어에게 필요한 자질을 중점으로 평가합니다.
- 47. Python Linux
- 48. Python Linux Data Structure System Engineering
- 49. 테스트를 확실하게 진행하는 꼼꼼함 실전에서 지속적으로 제품을 개선하는 책임감 Python Linux Data Structure System Engineering
- 50. 빅데이터 세션은 일어서서 보는 정도가 아니라 강의장 밖에서도 본다.
- 51. 데이터 엔지니어로 성장하고 싶다면 막강한 권한과 자유로 기회를 제공하는 그렇지만 막중한 책임과 기대에 부응해야 하는 DEVSISTERS 로 오십시오.
- 52. 빅데이터 전투력 1024TB 을 넘겨보고 싶으신 분 빅데이터 전투력 측정기 폭발시키고 싶으신 분! 환영합니다 J.Park@devsisters.com
