Submit Search
Upload
Cloudera & Zookeeper
•
1 like
•
720 views
J
Junyoung Park
Follow
Cloudera & Zookeeper in DataLAB
Read less
Read more
Software
Report
Share
Report
Share
1 of 32
Download now
Download to read offline
Recommended
클라우데라 세션 스파크 교육자료 Cloudera Session Seoul Spark bootcamp
Cloudera session seoul - Spark bootcamp
Cloudera session seoul - Spark bootcamp
Sang-bae Lim
hadoop cluster OS Tuning jvm 1.7 vs 1.8 hive 1.2 vs spark 1.6.2 vs spark 2.0.0 ( HDP 2.5 Stack )
Hadoop cluster os_tuning_v1.0_20170106_mobile
Hadoop cluster os_tuning_v1.0_20170106_mobile
상연 최
Spark Bootcamp 스파크 초보자용 교육자료
Spark Day 2017@Seoul(Spark Bootcamp)
Spark Day 2017@Seoul(Spark Bootcamp)
Sang-bae Lim
Spark와 Hadoop이 어떻게 실시간 예측을 위해 함께 쓰일 수 있는지 방향을 모색한다.
Spark와 Hadoop, 완벽한 조합 (한국어)
Spark와 Hadoop, 완벽한 조합 (한국어)
Teddy Choi
Spark_Overview_qna
Spark_Overview_qna
현철 박
유통업에서 구축한 빅데이터 구축 사례 입니다
빅데이터 구축 사례
빅데이터 구축 사례
Taehyeon Oh
Spark Machine Learning and Deep Learning Deep Dive. Scenarios that use Spark hybrid with other data analytics tools (MS R on Spark, Tensorflow(keras) with Spark, Scikit-learn with Spark, etc)
Spark machine learning & deep learning
Spark machine learning & deep learning
hoondong kim
Spark Overview 스파크 사용자 모임때 발표한 자료입니다. 자료는 10분짜리였으나 토론과 질의응답으로 40분 이상 소요되었습니다. 자료보다는 오프라인에 참석하시는 것을 추천드립니다! ^^ (www.facebook.com/groups/sparkkoreauser)
Spark overview 이상훈(SK C&C)_스파크 사용자 모임_20141106
Spark overview 이상훈(SK C&C)_스파크 사용자 모임_20141106
SangHoon Lee
Recommended
클라우데라 세션 스파크 교육자료 Cloudera Session Seoul Spark bootcamp
Cloudera session seoul - Spark bootcamp
Cloudera session seoul - Spark bootcamp
Sang-bae Lim
hadoop cluster OS Tuning jvm 1.7 vs 1.8 hive 1.2 vs spark 1.6.2 vs spark 2.0.0 ( HDP 2.5 Stack )
Hadoop cluster os_tuning_v1.0_20170106_mobile
Hadoop cluster os_tuning_v1.0_20170106_mobile
상연 최
Spark Bootcamp 스파크 초보자용 교육자료
Spark Day 2017@Seoul(Spark Bootcamp)
Spark Day 2017@Seoul(Spark Bootcamp)
Sang-bae Lim
Spark와 Hadoop이 어떻게 실시간 예측을 위해 함께 쓰일 수 있는지 방향을 모색한다.
Spark와 Hadoop, 완벽한 조합 (한국어)
Spark와 Hadoop, 완벽한 조합 (한국어)
Teddy Choi
Spark_Overview_qna
Spark_Overview_qna
현철 박
유통업에서 구축한 빅데이터 구축 사례 입니다
빅데이터 구축 사례
빅데이터 구축 사례
Taehyeon Oh
Spark Machine Learning and Deep Learning Deep Dive. Scenarios that use Spark hybrid with other data analytics tools (MS R on Spark, Tensorflow(keras) with Spark, Scikit-learn with Spark, etc)
Spark machine learning & deep learning
Spark machine learning & deep learning
hoondong kim
Spark Overview 스파크 사용자 모임때 발표한 자료입니다. 자료는 10분짜리였으나 토론과 질의응답으로 40분 이상 소요되었습니다. 자료보다는 오프라인에 참석하시는 것을 추천드립니다! ^^ (www.facebook.com/groups/sparkkoreauser)
Spark overview 이상훈(SK C&C)_스파크 사용자 모임_20141106
Spark overview 이상훈(SK C&C)_스파크 사용자 모임_20141106
SangHoon Lee
TechDays Korea 2015
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
Sang Don Kim
하둡 기초 개념 빅 데이터 기초 개념 하둡과 NFS Learn about Hadoop basic Hadoop with NetApp NFS Connector (TR-4382: NetApp FAS NFS Connector for Hadoop)
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
SeungYong Baek
java로 스파크 어플리케이션 개발하기
2.apache spark 실습
2.apache spark 실습
동현 강
Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)
Channy Yun
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
치완 박
페이스북 그룹인 "실리콘 밸리를 꿈꾸는 판교 사람들"의 7월 테크톡에서 발표한 자료입니다. AWS 기반으로 서비스 운영중인 스타트업들의 로그 시스템 구축에 도움이 될 것입니다.
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
Matthew (정재화)
Spark Day 2017 발표자료(17.06.27) 주제 : Bigdata, 머신러닝, 딥러닝 with spark, Automl Slideshare는 자주 사용하지 않아서 질문은 페북으로 주세요.
Spark Day 2017 Machine Learning & Deep Learning With Spark
Spark Day 2017 Machine Learning & Deep Learning With Spark
SangHoon Lee
2015년 9월 Tajo TechTalk 발표 자료 (정재화 수석) - Tajo 소개 및 핵심 기능 - Tajo vs Spark - 로드맵 및 적용 사례
Introduction to Apache Tajo
Introduction to Apache Tajo
Gruter
D2에서 지원하는 Spark User Group에서 진행한 머신러닝 워크샵 발표자료를 공유합니다. 2강 - 스파크를 통한 딥러닝의 이론과 실제
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
NAVER D2
AWSKRUG Winter Meetup 김명보 / VCNC
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
AWSKRUG - AWS한국사용자모임
Spark로 시작하는 빅데이터라는 주제로 사내세미나 진행했던 자료입니다. Spark를 활용한다면 그 동작구조를 명확하게 이해해야 된다고 생각합니다.
Spark로 알아보는 빅데이터 처리
Spark로 알아보는 빅데이터 처리
Jeong-gyu Kim
Apache Hbase Overview 발표자료(2016.04.27)
Apache hbase overview (20160427)
Apache hbase overview (20160427)
Steve Min
Pivotal Greenplum Database의 Best practices 문서를 한글화하였습니다. GPDB 구축시에 한 번은 고민해야 할 사항들이 정리가 되어 있습니다. http://gpdb.docs.pivotal.io/gpdb-434.html
Gpdb best practices v a01 20150313
Gpdb best practices v a01 20150313
Sanghee Lee
Talk at SOSCON (Samsung OpenSource CONference) 2015
Expanding Your Data Warehouse with Tajo
Expanding Your Data Warehouse with Tajo
Matthew (정재화)
빅데이터 개념 부터 시작해서 빅데이터 분석 플랫폼의 출현(hadoop)과 스파크의 등장배경까지 풀어서 작성된 spark 소개 자료 입니다. 스파크는 RDD에 대한 개념과 spark SQL 라이브러리에 대한 자료가 조금 자세히 설명 되어있습니다. (텅스텐엔진, 카탈리스트 옵티마이져에 대한 간략한 설명이 있습니다.) 마지막에는 간단한 설치 및 interactive 분석 실습자료가 포함되어 있습니다. 원본 ppt 를 공개해 두었으니 언제 어디서든 필요에 따라 변형하여 사용하시되 출처만 잘 남겨주시면 감사드리겠습니다. 다른 슬라이드나, 블로그에서 사용된 그림과 참고한 자료들은 작게 출처를 표시해두었는데, 본 ppt의 초기버전을 작성하면서 찾았던 일부 자료들은 출처가 불분명한 상태입니다. 자료 출처를 알려주시면 반영하여 수정해 두도록하겠습니다. (제보 부탁드립니다!)
Apache spark 소개 및 실습
Apache spark 소개 및 실습
동현 강
R은 데이터 분석 분야에서 널리 사용되고 있는 무료 도구입니다. 뛰어난 기능과 확장성 등으로 인해 다양한 분야에서 널리 활용되고 있지만 대용량 데이터를 직접 다루는 데 한계가 있다는 약점이 있었습니다. 스파크는 클러스터 환경에서 동작하는 대용량 분산 데이터 처리 시스템입니다. 뛰어난 성능과 더불어 다양하고 유용한 데이터 처리 함수를 제공하며 R, 하둡, Hive 등 기존 데이터 분석 도구등과 연동하여 사용할 수 있는 다양한 기능을 제공합니다. 이 문서에서는 R과 스파크를 연동하는 방법과 함께 R 스크립트에서 R과 스파크 함수를 함께 사용하는 방법을 소개합니다. 또한 웹 브라우저 기반의 작업 환경을 제공하는 제플린과의 연동을 통해 다수의 사용자가 시간과 공간의 제약 없이 자유롭게 서버에 접속하여 데이터를 분석하고 그 결과를 공유할 수 있는 방법에 대해서도 소개합니다. 스파크와 R, 제플린을 적절히 조합하여 사용한다면 다른 유료 분석 툴 부럽지 않은 분석 환경을 구축할 수 있을 것입니다.
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
위키북스
- 대용량 데이터 기반의 OLAP을 지원하는 오픈소스인 Druid, Apache Kylin, Apache Lens의 특징 - 각 오픈소스별 장점 및 활용방안
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
SANG WON PARK
Druid+superset
Druid+superset
Druid+superset
Dongwoo Lee
spark 1.6을 기준으로 spark sql에 대해서 개략적으로 설명한 자료입니다. 발표 자료가 친절하지 않으나 한글로 된 자료가 없길래 혹시나 도움 되시는 분들이 있을까 하여 공유합니다. 발표자료 보다는 마지막 페이지의 참고자료들을 읽어보시기를 권장 드립니다. 출처만 남겨주시면 자유롭게 가져가셔서 사용하셔도 무방합니다.
Spark sql
Spark sql
동현 강
(Apacje Spark)아파치 스파크에 대해 간략히 소개한 자료 입니다. 간단히 살펴보세요~
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
탑크리에듀(구로디지털단지역3번출구 2분거리)
Summary of Big Data Application Architecture
Big data application architecture 요약2
Big data application architecture 요약2
Seong-Bok Lee
전 세계적으로 클라우드 기반의 디지털 트랜스포메이션이 빠르게 진행되고 있음에도 불구하고, 기업에서 클라우드를 도입하고 마이그레이션 하는 과정은 여전히 어려움이 많습니다. 성공적인 마이그레이션은 클라우드로의 단순 인프라 변경에서 그치는 것이 아니라 비즈니스와 프로세스가 함께 변화할 때 완성될 수 있습니다. 그리고 그 변화의 중심에는 인공지능(AI)과 머신러닝(ML)이 있습니다. 인공지능과 머신러닝은 모든 것을 자동화하여 스스로 데이터를 분류하며 유의미한 가치를 찾아냅니다. 바로 여기에서부터 기업의 비즈니스 혁신은 시작됩니다. 클라우드로의 디지털 트랜스포메이션 전략과 인공지능/머신러닝을 활용한 비즈니스 혁신 방법 중, 어떻게 성공적으로 클라우드 마이그레이션을 할 수 있을지에 대해 이번 세션을 통해 알아보겠습니다.
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
BESPIN GLOBAL
More Related Content
What's hot
TechDays Korea 2015
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
Sang Don Kim
하둡 기초 개념 빅 데이터 기초 개념 하둡과 NFS Learn about Hadoop basic Hadoop with NetApp NFS Connector (TR-4382: NetApp FAS NFS Connector for Hadoop)
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
SeungYong Baek
java로 스파크 어플리케이션 개발하기
2.apache spark 실습
2.apache spark 실습
동현 강
Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)
Channy Yun
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
치완 박
페이스북 그룹인 "실리콘 밸리를 꿈꾸는 판교 사람들"의 7월 테크톡에서 발표한 자료입니다. AWS 기반으로 서비스 운영중인 스타트업들의 로그 시스템 구축에 도움이 될 것입니다.
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
Matthew (정재화)
Spark Day 2017 발표자료(17.06.27) 주제 : Bigdata, 머신러닝, 딥러닝 with spark, Automl Slideshare는 자주 사용하지 않아서 질문은 페북으로 주세요.
Spark Day 2017 Machine Learning & Deep Learning With Spark
Spark Day 2017 Machine Learning & Deep Learning With Spark
SangHoon Lee
2015년 9월 Tajo TechTalk 발표 자료 (정재화 수석) - Tajo 소개 및 핵심 기능 - Tajo vs Spark - 로드맵 및 적용 사례
Introduction to Apache Tajo
Introduction to Apache Tajo
Gruter
D2에서 지원하는 Spark User Group에서 진행한 머신러닝 워크샵 발표자료를 공유합니다. 2강 - 스파크를 통한 딥러닝의 이론과 실제
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
NAVER D2
AWSKRUG Winter Meetup 김명보 / VCNC
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
AWSKRUG - AWS한국사용자모임
Spark로 시작하는 빅데이터라는 주제로 사내세미나 진행했던 자료입니다. Spark를 활용한다면 그 동작구조를 명확하게 이해해야 된다고 생각합니다.
Spark로 알아보는 빅데이터 처리
Spark로 알아보는 빅데이터 처리
Jeong-gyu Kim
Apache Hbase Overview 발표자료(2016.04.27)
Apache hbase overview (20160427)
Apache hbase overview (20160427)
Steve Min
Pivotal Greenplum Database의 Best practices 문서를 한글화하였습니다. GPDB 구축시에 한 번은 고민해야 할 사항들이 정리가 되어 있습니다. http://gpdb.docs.pivotal.io/gpdb-434.html
Gpdb best practices v a01 20150313
Gpdb best practices v a01 20150313
Sanghee Lee
Talk at SOSCON (Samsung OpenSource CONference) 2015
Expanding Your Data Warehouse with Tajo
Expanding Your Data Warehouse with Tajo
Matthew (정재화)
빅데이터 개념 부터 시작해서 빅데이터 분석 플랫폼의 출현(hadoop)과 스파크의 등장배경까지 풀어서 작성된 spark 소개 자료 입니다. 스파크는 RDD에 대한 개념과 spark SQL 라이브러리에 대한 자료가 조금 자세히 설명 되어있습니다. (텅스텐엔진, 카탈리스트 옵티마이져에 대한 간략한 설명이 있습니다.) 마지막에는 간단한 설치 및 interactive 분석 실습자료가 포함되어 있습니다. 원본 ppt 를 공개해 두었으니 언제 어디서든 필요에 따라 변형하여 사용하시되 출처만 잘 남겨주시면 감사드리겠습니다. 다른 슬라이드나, 블로그에서 사용된 그림과 참고한 자료들은 작게 출처를 표시해두었는데, 본 ppt의 초기버전을 작성하면서 찾았던 일부 자료들은 출처가 불분명한 상태입니다. 자료 출처를 알려주시면 반영하여 수정해 두도록하겠습니다. (제보 부탁드립니다!)
Apache spark 소개 및 실습
Apache spark 소개 및 실습
동현 강
R은 데이터 분석 분야에서 널리 사용되고 있는 무료 도구입니다. 뛰어난 기능과 확장성 등으로 인해 다양한 분야에서 널리 활용되고 있지만 대용량 데이터를 직접 다루는 데 한계가 있다는 약점이 있었습니다. 스파크는 클러스터 환경에서 동작하는 대용량 분산 데이터 처리 시스템입니다. 뛰어난 성능과 더불어 다양하고 유용한 데이터 처리 함수를 제공하며 R, 하둡, Hive 등 기존 데이터 분석 도구등과 연동하여 사용할 수 있는 다양한 기능을 제공합니다. 이 문서에서는 R과 스파크를 연동하는 방법과 함께 R 스크립트에서 R과 스파크 함수를 함께 사용하는 방법을 소개합니다. 또한 웹 브라우저 기반의 작업 환경을 제공하는 제플린과의 연동을 통해 다수의 사용자가 시간과 공간의 제약 없이 자유롭게 서버에 접속하여 데이터를 분석하고 그 결과를 공유할 수 있는 방법에 대해서도 소개합니다. 스파크와 R, 제플린을 적절히 조합하여 사용한다면 다른 유료 분석 툴 부럽지 않은 분석 환경을 구축할 수 있을 것입니다.
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
위키북스
- 대용량 데이터 기반의 OLAP을 지원하는 오픈소스인 Druid, Apache Kylin, Apache Lens의 특징 - 각 오픈소스별 장점 및 활용방안
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
SANG WON PARK
Druid+superset
Druid+superset
Druid+superset
Dongwoo Lee
spark 1.6을 기준으로 spark sql에 대해서 개략적으로 설명한 자료입니다. 발표 자료가 친절하지 않으나 한글로 된 자료가 없길래 혹시나 도움 되시는 분들이 있을까 하여 공유합니다. 발표자료 보다는 마지막 페이지의 참고자료들을 읽어보시기를 권장 드립니다. 출처만 남겨주시면 자유롭게 가져가셔서 사용하셔도 무방합니다.
Spark sql
Spark sql
동현 강
(Apacje Spark)아파치 스파크에 대해 간략히 소개한 자료 입니다. 간단히 살펴보세요~
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
탑크리에듀(구로디지털단지역3번출구 2분거리)
What's hot
(20)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
2.apache spark 실습
2.apache spark 실습
Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
Spark Day 2017 Machine Learning & Deep Learning With Spark
Spark Day 2017 Machine Learning & Deep Learning With Spark
Introduction to Apache Tajo
Introduction to Apache Tajo
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
Spark로 알아보는 빅데이터 처리
Spark로 알아보는 빅데이터 처리
Apache hbase overview (20160427)
Apache hbase overview (20160427)
Gpdb best practices v a01 20150313
Gpdb best practices v a01 20150313
Expanding Your Data Warehouse with Tajo
Expanding Your Data Warehouse with Tajo
Apache spark 소개 및 실습
Apache spark 소개 및 실습
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
Druid+superset
Druid+superset
Spark sql
Spark sql
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
Similar to Cloudera & Zookeeper
Summary of Big Data Application Architecture
Big data application architecture 요약2
Big data application architecture 요약2
Seong-Bok Lee
전 세계적으로 클라우드 기반의 디지털 트랜스포메이션이 빠르게 진행되고 있음에도 불구하고, 기업에서 클라우드를 도입하고 마이그레이션 하는 과정은 여전히 어려움이 많습니다. 성공적인 마이그레이션은 클라우드로의 단순 인프라 변경에서 그치는 것이 아니라 비즈니스와 프로세스가 함께 변화할 때 완성될 수 있습니다. 그리고 그 변화의 중심에는 인공지능(AI)과 머신러닝(ML)이 있습니다. 인공지능과 머신러닝은 모든 것을 자동화하여 스스로 데이터를 분류하며 유의미한 가치를 찾아냅니다. 바로 여기에서부터 기업의 비즈니스 혁신은 시작됩니다. 클라우드로의 디지털 트랜스포메이션 전략과 인공지능/머신러닝을 활용한 비즈니스 혁신 방법 중, 어떻게 성공적으로 클라우드 마이그레이션을 할 수 있을지에 대해 이번 세션을 통해 알아보겠습니다.
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
BESPIN GLOBAL
Open standard open cloud engine (3)
Open standard open cloud engine (3)
uEngine Solutions
2017 : Red Hat Private IaaS Cloud, OSP introduction : Samuel Basic is very important
(Red hat]private cloud-osp-introduction(samuel)2017-0530(printed)
(Red hat]private cloud-osp-introduction(samuel)2017-0530(printed)
SAMUEL SJ Cheon
Amazone Web Service를 다루는 기술 교재와 AWS 기술문서를 중심으로 만든 강의 교재로, 강의는 4회에 걸쳐 진행하고 있다.
비트교육센터-AWS활용 1주차: EC2, S3, Elastic Beanstalks 사용
비트교육센터-AWS활용 1주차: EC2, S3, Elastic Beanstalks 사용
고포릿 default
전자신문 All show TV에서 진행한 하시코프, 그리고 하시코프 솔루션에 대한 소개
Do you know HashiCorp? I know Terraform!
Do you know HashiCorp? I know Terraform!
규석 이
sparklyr을 활용하여 R 분석 작업 효율성을 높이는 방법에 대한 소개
sparklyr을 활용한 R 분산 처리
sparklyr을 활용한 R 분산 처리
Sang-bae Lim
빅데이터 분석을 위해 온프레미스 환경에서 대규모 하둡 클러스터를 운영하고 있는 고객은 매우 많습니다. 하지만 고객은 최근 관리 및 운영, 비용 등 다양한 어려움을 겪고 있으며, 이를 극복하기 위한 클라우드 전환을 적극적으로 검토하고 있습니다. 온프레미스 하둡을 클라우드 기반으로 마이그레이션 하기 위해 세워야 할 전략과 고려사항, 최적화를 위한 다양한 기법과 비용/성능 최적의 클러스터 구성 방안, 더 나아가서 TCO를 최적화하기 위한 구체적인 방안을 본 세션을 통해 소개드립니다.
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
Amazon Web Services Korea
Ahems lab cloud view-final
Ahems lab cloud view-final
kssssw
2017년 8월 30일 열린 Ad-Tech on AWS 세미나에서 김필중 AWS 솔루션즈 아키텍트가 발표한 [AWS에서의 빅데이터와 분석] 강연의 발표자료입니다.
2017 Ad-Tech on AWS 세미나ㅣAWS에서의 빅데이터와 분석
2017 Ad-Tech on AWS 세미나ㅣAWS에서의 빅데이터와 분석
Amazon Web Services Korea
제2회
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
영재 김
제2회 OpenCloudCloud Day 2015.02.13 Bahamas를 이용한 클라우드 환경에서의 Software Stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
영재 김
KTH 화성에서온 개발자 금성에서온 기획자 시리즈 2번째로 발표 한 "기획자를 위한 클라우드"
클라우드란 (기획자대상)
클라우드란 (기획자대상)
Minwoo Park
* 발표 동영상: https://youtu.be/7LAKBz4QWpc AWS Activate 프로그램은 스타트업의 비즈니스 성장에 도움이 되도록 AWS 크레딧, 기술 지원 및 교육을 포함한 다양한 혜택을 제공합니다. AWS 클라우드를 기반으로 스타트업 비즈니스를 구축하신다면 꼭 아셔야 할 Activate 프로그램을 상세하게 소개합니다! / 스타트업은 아이디어를 빠르게 구체화하고 개발하고 지속적으로 혁신해야합니다. 안전하고 성능과 운영 및 비용 효율을 만족시키면서 핵심 비즈니스에 집중할 수 있도록 해주는 AWS 서비스들을 소개합니다.
AWS와 함께하는 스타트업 여정 AWS Activate 프로그램/스타트업에게 가장 사랑받는 AWS 서비스들 – 김민지, 박진우 :: AWS...
AWS와 함께하는 스타트업 여정 AWS Activate 프로그램/스타트업에게 가장 사랑받는 AWS 서비스들 – 김민지, 박진우 :: AWS...
Amazon Web Services Korea
엔터프라이즈 비지니스 애플리케이션 이전 및 도입사례 제주항공사례 - AWS Summit Seoul 2017
엔터프라이즈 비지니스 애플리케이션 이전 및 도입사례 제주항공사례 - AWS Summit Seoul 2017
Amazon Web Services Korea
[AWS Summit Seoul 2017] 현재 많은 기업들이 기업 내에서 보유한 많은 인프라를 아마존 기반의 클라우드 환경으로 이관하고, 데이터센터와 클라우드를 연결한 후 시스템을 이관하는 것으로 요구하고 있습니다. 이 때 기존 시스템을 분석, 데이터 이관, 애플리케이션 이관 등의 복잡한 절차를 통해 시스템을 전환하게 됩니다. 본 발표에서는 그러한 복잡한 형태의 클라우드 이관 시 이를 분석, 전환할 수 있는 방법과 그에 대한 도구(AWS ISV 파트너 도구 및 신규 U2C 솔루션)를 소개하고 최적의 전환 방법을 설명합니다. 또한 르노삼성자동차 등의 실제 전환 고객 사례를 통해 DB 마이그레이션, 서버 마이그레이션에 대한 노하우를 들으실 수 있습니다.
[오픈소스컨설팅]Data Center to cloud - 최지웅 컨설팅코치, 오픈소스컨설팅
[오픈소스컨설팅]Data Center to cloud - 최지웅 컨설팅코치, 오픈소스컨설팅
Open Source Consulting
AWS와 컴피턴시 파트너사 BSG Partners에서 준비한 “SAP on AWS: 경영혁신 플랫폼의 뉴 노멀” 온라인 세미나에서는 AWS 클라우드를 아껴주시는 SAP 고객분들께 온라인 세미나를 통해 SAP 를 AWS에 쉽고 빠르게 이관/구축 전략부터 Cloud 환경에 맞는 SAP license 정책까지 이번 세미나를 통해 제공하고 있습니다. 특히, 이번 웨비나 참석해 주시는 고객 중 SAP on AWS 도입 의사를 밝혀 주시는 고객께는 국내 유일 SAP 플래티넘 파트너이자 AWS의 SAP 컴피턴시 파트너사인 BSG Partners의 다양한 SAP 프로세스 지식과 융합한 Cloud Native Applications 적용 방안도 함께 제공하오니, 이번 온라인 세미나를 통해 SAP on AWS에 대한 새로운 지식 및 기업 내에서 Cloud Native Application 을 활용할 수 있는 다양한 아이디어를 찾으시길 바랍니다.
SAP on AWS : 경영혁신 플랫폼의 뉴 노멀
SAP on AWS : 경영혁신 플랫폼의 뉴 노멀
Amazon Web Services Korea
왜 기업은 멀티/하이브리드 클라우드에 주목해야하는지, 그리고 실제 멀티/하이브리드 유형과 사례를 살펴봄으써 멀티/하이브리드 수행 전략을 세움에 있어 실질적인 도움을 드립니다 | Why businesses should pay attention to multi-/hybrid clouds, and by looking at real-world multi/hybrid types and examples, we offer real help in creating a multi- and hybrid performance strategy.
멀티·하이브리드 클라우드 구축 전략 - 네이버비즈니스플랫폼 박기은 CTO
멀티·하이브리드 클라우드 구축 전략 - 네이버비즈니스플랫폼 박기은 CTO
NAVER CLOUD PLATFORMㅣ네이버 클라우드 플랫폼
클라우드컴퓨팅 클라우드컴퓨팅시대에 접근하는 일반회사의 전락
클라우드컴퓨팅 V4
클라우드컴퓨팅 V4
Alex Yang
DB관점에서 본 빅데이터에 대한 내용을 다루며, 다양한 세미나 및 연구회에서 활용되었습니다. 본 자료의 내용이 버티카나 마이크로포커스의 입장을 대표하지 않습니다.
DB관점에서 본 빅데이터 (2019년 8월)
DB관점에서 본 빅데이터 (2019년 8월)
Kee Hoon Lee
Similar to Cloudera & Zookeeper
(20)
Big data application architecture 요약2
Big data application architecture 요약2
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
Open standard open cloud engine (3)
Open standard open cloud engine (3)
(Red hat]private cloud-osp-introduction(samuel)2017-0530(printed)
(Red hat]private cloud-osp-introduction(samuel)2017-0530(printed)
비트교육센터-AWS활용 1주차: EC2, S3, Elastic Beanstalks 사용
비트교육센터-AWS활용 1주차: EC2, S3, Elastic Beanstalks 사용
Do you know HashiCorp? I know Terraform!
Do you know HashiCorp? I know Terraform!
sparklyr을 활용한 R 분산 처리
sparklyr을 활용한 R 분산 처리
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
Ahems lab cloud view-final
Ahems lab cloud view-final
2017 Ad-Tech on AWS 세미나ㅣAWS에서의 빅데이터와 분석
2017 Ad-Tech on AWS 세미나ㅣAWS에서의 빅데이터와 분석
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
클라우드란 (기획자대상)
클라우드란 (기획자대상)
AWS와 함께하는 스타트업 여정 AWS Activate 프로그램/스타트업에게 가장 사랑받는 AWS 서비스들 – 김민지, 박진우 :: AWS...
AWS와 함께하는 스타트업 여정 AWS Activate 프로그램/스타트업에게 가장 사랑받는 AWS 서비스들 – 김민지, 박진우 :: AWS...
엔터프라이즈 비지니스 애플리케이션 이전 및 도입사례 제주항공사례 - AWS Summit Seoul 2017
엔터프라이즈 비지니스 애플리케이션 이전 및 도입사례 제주항공사례 - AWS Summit Seoul 2017
[오픈소스컨설팅]Data Center to cloud - 최지웅 컨설팅코치, 오픈소스컨설팅
[오픈소스컨설팅]Data Center to cloud - 최지웅 컨설팅코치, 오픈소스컨설팅
SAP on AWS : 경영혁신 플랫폼의 뉴 노멀
SAP on AWS : 경영혁신 플랫폼의 뉴 노멀
멀티·하이브리드 클라우드 구축 전략 - 네이버비즈니스플랫폼 박기은 CTO
멀티·하이브리드 클라우드 구축 전략 - 네이버비즈니스플랫폼 박기은 CTO
클라우드컴퓨팅 V4
클라우드컴퓨팅 V4
DB관점에서 본 빅데이터 (2019년 8월)
DB관점에서 본 빅데이터 (2019년 8월)
More from Junyoung Park
Quantitive Algorithm Trading
Quantitive Algorithm Trading
Quantitive Algorithm Trading
Junyoung Park
K-Means Clustering
K-Means Clustering
K-Means Clustering
Junyoung Park
Common Design for Distributed Machine Learning, Deep Learning
Common Design for Distributed Machine Learning
Common Design for Distributed Machine Learning
Junyoung Park
- Spark Basic (Based on PySpark) - AWS EMR, YARN client mode - Spark ML, Distributed ML Algorithm
AWS EMR + Spark ML
AWS EMR + Spark ML
Junyoung Park
Kaggle KKBox Churn Prediction 대회 발표자료
Kaggle KKBox Churn Prediction
Kaggle KKBox Churn Prediction
Junyoung Park
About Spark Configuration 스파크 설정 값 관련 정리
Spark config
Spark config
Junyoung Park
Korean Natural Language Processing
한국어 자연어처리 101
한국어 자연어처리 101
Junyoung Park
With Gitlab CI, Docker Registry, Fabric
Continuous Integration with Gitlab
Continuous Integration with Gitlab
Junyoung Park
Docker introduction
Docker Intro
Docker Intro
Junyoung Park
Python Test Framework for Flask
Python Testing for Flask
Python Testing for Flask
Junyoung Park
Software Maestro 7th. News4U project - News clustering and Recommendation system using Word Embedding
News clustering and Recommendation system using Word Embedding
News clustering and Recommendation system using Word Embedding
Junyoung Park
About Clustering, k means algorithm
Clustering, k means algorithm
Clustering, k means algorithm
Junyoung Park
About Neural Network
About Neural Network
About Neural Network
Junyoung Park
About SVM
About SVM
About SVM
Junyoung Park
More from Junyoung Park
(14)
Quantitive Algorithm Trading
Quantitive Algorithm Trading
K-Means Clustering
K-Means Clustering
Common Design for Distributed Machine Learning
Common Design for Distributed Machine Learning
AWS EMR + Spark ML
AWS EMR + Spark ML
Kaggle KKBox Churn Prediction
Kaggle KKBox Churn Prediction
Spark config
Spark config
한국어 자연어처리 101
한국어 자연어처리 101
Continuous Integration with Gitlab
Continuous Integration with Gitlab
Docker Intro
Docker Intro
Python Testing for Flask
Python Testing for Flask
News clustering and Recommendation system using Word Embedding
News clustering and Recommendation system using Word Embedding
Clustering, k means algorithm
Clustering, k means algorithm
About Neural Network
About Neural Network
About SVM
About SVM
Cloudera & Zookeeper
1.
Cloudera Manager 클라우데라매니저로구축하는빅데이터에코시스템
2.
Cloudera? 클라우데라는Apache Hadoop에대해가장잘압니다 세계 3대하둡기업:
클라우데라, 호튼웍스, 맵알 하둡의창시자"더그 커팅"도수석아키텍트로합류 빅데이터시스템고도화관련컨설팅 주요제품: DataHub, AnalyticDB, Impala
3.
Cloudera Manager? 빅데이터에코시스템을쉽게 설치하고
관리해주는도구 Cloudera Express (무료) / Enterprise (유료) 클라우데라하둡배포판(CDH)를사용
4.
Apache BigTop 아파치재단의Top‑level 프로젝트 빅데이터에코시스템을패키징,
테스트, 가상화등지원 AWS EMR 4.0부터빌드및패키징프로세스를관리하기 위해Apache Bigtop를사용
5.
6.
환경 구축 도저히내노트북에가상머신3개를돌릴수없음 Amazon Web
Service 클라우드환경에구축 AWS t2.micro / CentOS 7 / 1GiB / 8GiB 먼저인스턴스하나에환경 구축하고, 이미지복제
7.
AWS 관련Tip CentOS는기본으로제공하지않음 Marketplace에서이미지를받아서사용 default 유저아이디는centos
(centos@12.214.12.3)
8.
그러나...
9.
Trouble‑Shooting t2.micro free tier
인스턴스에서절대안돌아간다 메모리문제라고 클라우데라에서말하더라 명시되어있는권장인스턴스m4.large AWS m4.large / CentOS 7 / 8GiB / 8GiB
10.
Trouble‑Shooting 다좋은데, 3개 돌아가는거
생각하면너무비싸다 시간 당$0.123 * 3 = $0.369 AMI를만들어두고 Spot Instance를활용 시간 당$0.0184 * 3 = $0.0552 가격이훨씬저렴하다
11.
Cloudera Manager 설치
12.
Cloudera Manager 설치 공식문서가
너무친절함 http://www.cloudera.com/documentation/manager/5‑1‑ x/Cloudera‑Manager‑Installation‑ Guide/cm5ig_install_on_ec2.html AWS에서설치할때는 https://hadoopabcd.wordpress.com/2015/01/21/installing‑ cloudera‑manager‑and‑cdh‑on‑amazon‑ec2‑part‑1/
13.
Cloudera Manager 설치 가장최신버전을받아서그대로설치진행 $
wget http://archive.cloudera.com/cm5/installer/latest/clouder $ chmod u+x cloudera-manager-installer.bin $ ./cloudera-manager-installer.bin
14.
Trouble‑Shooting AWS Inbound Rules
지정 TCP 7180 ~ 7182 ICMP protocol 각 인스턴스에Elastic IP 할당(고정아이피) CentOS 방화벽해제 service iptables stop
15.
Trouble‑Shooting Fatal Error: SELinux
is enabled. It must be disabled to install and use this product.
16.
Trouble‑Shooting $ vi /etc/selinux/config $
SELINUX=disabled # 변경 클라우데라공식문서는친절하다 https://www.cloudera.com/documentation/enterprise/5‑5‑ x/topics/install_cdh_disable_selinux.html
17.
18.
19.
Cloudera Manager 접속
20.
Cloudera Manager 접속 http://
[AWS public IP] :7180/ username : admin password : admin
21.
Cloudera Manager 설정
22.
Trouble‑Shooting
23.
Trouble‑Shooting CDH를설치하기 위해임시로루트계정의ssh 접속허용 설치후에는다시잠금
설정할것 $ sudo vi /etc/ssh/sshd_config $ PermitRootLogin yes $ systemctl restart sshd.service # Log message $ sudo tail -F /var/log/cloudera-scm-agent/cloudera-scm-agent.
24.
Link https://www.cloudera.com/documentation/enterprise/release‑ notes/topics/cm_rn_known_issues.html
25.
ZooKeeper
26.
ZooKeeper 서버가 수십, 수백대인분산처리환경 네트워크장애,
예기치못한중지, 서버확장 분산된시스템간의정보를어떻게 공유할것인지 클러스터에있는서버들의상태를체크 분산된서버들간에동기화를위한락(lock)을처리
27.
ZooKeeper는심플하다 Zookeeper의데이터모델(디렉토리구조) 디렉토리구조의각 노드에데이터를저장(znode) 서버의상태, 락정보,
환경 설정과 같은메타데이터
28.
ZooKeeper 클라이언트들은단일주키퍼서버에연결 클라이언트는TCP 연결로요청을보내거나, 응답을받고,
이벤트를감시 하며하트비트(heartbeats)를보내는것을통해유지 만약주키퍼서버가 사용불가한상태가 되면클라이언트의TCP 연결은 다른주키퍼서버로연결
29.
SPOF (Single Point
of Failure) 단일장애지점 문제가 발생하면서비스전체의장애를초래할수도있음 어떻게 해결? 다중화 보통3대의서버를클러스터로묶어서배포(ensemble) 클러스터에포함되는서버는모두같은데이터를저장 클러스터마다리더가 있어서리더가 데이터일관성을보장
30.
SPOF (Single Point
of Failure)
31.
그런데만약리더가 죽으면? 리스트의가장위에있는노드가 리더의역할을대체
32.
Zookeeper 운영시주의사항 데이터의변경이자주발생하는서비스에서ZooKeeper를데이터저장 소로사용하는것은비추 ZooKeeper 서버가
제대로실행되지않을때가 있는데, 대부분서버간의 데이터불일치로인한데이터동기화실패가 그 원인 zoo.cfg라는설정(configuration) 파일에ZooKeeper 서버목록확인
Download now