Golang+on+analytics+and+blockchain
•
0 j'aime•271 vues
Airbridge에서의 Go 도입기 Airbloc에서의 Go 도입기 장점과 단점에 대한 회고
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Golang+on+analytics+and+blockchain
Similaire à Golang+on+analytics+and+blockchain (20)
Plus de NAVER Engineering
Plus de NAVER Engineering (20)
Golang+on+analytics+and+blockchain
- 2. About Speaker Airbridge Android Developer Airbridge Backend Developer Airbloc Blockchain Engineering Lead Blockchain Engineering Cryptoeconomics Research Project Management Hyojun Kim
- 3. 광고 애널리틱스에서는 Go를 어떻게 활용할까? 기존 서비스 스택에 Go를 어떨 때 도입하면 좋을까? 왜 블록체인 개발을 Go로 하는걸까? 도입할 때 어떤 이점을 보았고, 단점이 있었나? 이발표로 얻을수있는것
- 4. 광고 애널리틱스에서는 Go를 어떻게 활용할까? 기존 서비스 스택에 Go를 어떨 때 도입하면 좋을까? 왜 블록체인 개발을 Go로 하는걸까? 도입할 때 어떤 이점을 보았고, 단점이 있었나? 이발표로 얻을수있는것 얻을수없는것 재미, 연륜
- 5. 목차 1. Go의 특징 소개 2. 에서의 Go 도입기, 적용을 중심으로 3. AIRBLOC 에서의 Go 도입기, 개발을 중심으로 4. 장단점에 대한 회고
- 6. 처음도입한제품
- 9. Postback Request Worker Postback Request Worker 처음도입한컴포넌트
- 10. Postback Request Worker Postback Request Worker 처음도입한컴포넌트 Postback Request Worker Attribution Engine Postback Postback이 무엇인가? 에어브릿지의 트래킹 링크가 매체에 나감. Ex) 카울리, 네이버 애드, 애드워즈 등 우리가 설치 정보를 받게 됨. 하지만 채널들 도 정보를 알고 싶다. 그래서 채널들에게 정산 $ 정산 $
- 11. Python Monolithic = 200 TPS 느 리 다 ! Postback Request Worker
- 13. • 빨라야한다. • 안정적이여야한다.(광고비정산!!) • 비동기리퀘스트다. • 여러곳에정산로그를남겨야한다. • NewRelic • MySQL • Kafka→HDFS Postback Request Worker 요구사항을 정리해보자
- 15. What is Go? Native, Static-Typed Modern Language Made by Google What is Golang?
- 16. Go의특징 • (잘 알려진) 당연한 특징 : 성능, 정적 타입, 엄격한 문법… • 다른 언어 대비 세가지 특징을 꼽는다면? 1. Goroutine을 통한 동시성 프로그래밍 2. 명시적 에러 핸들링 3. 암시적 인터페이스 What is Golang?
- 17. 1.Goroutine을통한동시성프로그래밍 What is Golang? 함수 호출 앞에 go만 붙이면 마이크로스레드에서 병렬 실행됨 채널을 통한 편리한 고루틴간 통신 컨텍스트 스위칭 비용 : 📉 고루틴 생성 비용 : 👌
- 18. What is Golang? 비동기 I/O가 필요없어짐. 모든 걸 동기식으로!
- 19. 2.명시적에러핸들링 What is Golang? No try-catch! Just return error! → I/O 코드 작성 중 실수를 엄청나게 줄여줌.
- 20. 3.암시적인터페이스 What is Golang? 다른 언어와는 달리, 어떤 인터페이스를 명시적으로 구현하겠다고 할 필요 없음 그냥 인터페이스의 자격 요건에만 충족되면 해당 타입은 그 인터페이스를 따름
- 21. What is Golang?
- 22. 3.암시적인터페이스 What is Golang? 다른 언어와는 달리, 어떤 인터페이스를 명시적으로 구현하겠다고 할 필요 없음 그냥 인터페이스의 자격 요건에만 충족되면 해당 타입은 그 인터페이스를 따름 장점 • 구현체가 인터페이스로부터 완전히 디커플링됨 • 동일 인터페이스가 여러 군데에 구현되어 있어도 문제가 전혀 없다. (e.g. Sortable) • 모듈이나 패키지의 확장성이 증가됨. Pluggable!
- 23. Postback Request Worker Back to …
- 24. • 빨라야한다. 빠름! • 안정적이여야한다. 에러처리직관적! • 비동기리퀘스트다. 고루틴짱 • 여러곳에로그를남겨야한다. • NewRelic • MySQL • Kafka→HDFS Postback Request Worker 요구사항을 정리해보자
- 29. Postback Request Worker Before 200 RPS After 4000 RPS 성능
- 30. Postback Request Worker 마이크로서비스화 Before MQ (Beanstalkd) Core Worker Core Worker Trivial Jobs HTTP Reqs
- 31. Postback Request Worker 마이크로서비스화 After! Beanstalkd Core Worker Postback Req. Worker Trivial Jobs HTTP Reqs Kafka
- 32. 도입을통해 해결된것 Postback Request Worker • 성능의비약적인향상(200->4000TPS) • 당시요구사항인1000TPS를훨씬웃돔 • 따라서ScaleDown가능,비용절감! • 매우안정적임 • 성공적인마이크로서비스화 • Easytodeploy!
- 33. A Struggle: Graceful Exit Postback Request Worker
- 34. Postback Request Worker 알수없는버그? Graceful Exit 로그가 종종 누락돼요... 재배포할 때인것 같은데
- 35. Postback Request Worker 발견한문제점 Graceful Exit
- 36. Postback Request Worker 발견한문제점 Graceful Exit
- 37. Postback Request Worker 발견한문제점 Graceful Exit Kafka Message WaitGroup coverage Send Postback Request Log Async Unsafe!
- 38. Postback Request Worker 발견한문제점 Graceful Exit • Sarama를사용해간단한KafkaConsumerInterface를구현함. • 최상위프레임워크단에서매니징하지못하는고루틴을생성함 • 최상위WaitGroup에포함되지않으므로,종료대기가안됨 • 기존에고려가알아서되는웹프레임워크를쓰다보니몰랐다... • GracefulExit처리에대한고려가조금부족했음
- 39. Postback Request Worker 첫도입에서의총평 Successful Debut! 다른곳에도사용해보자!
- 41. Core WASTouchpoints Conversions Ad Integration Requests Mobile / Web User Events What is Event WAS? Event WAS Event WAS
- 43. Event WAS Go-ifyEventWAS • 별도의 비즈니스 로직이 없음 • 이벤트를 받아서 Kafka에 넣어주는 역할만 수행 • 그렇지만 높은 Throughput의 비동기 I/O를 요구한다. • 전환비용이 낮은데 운영비용 최적화가 쉽네? 😏 • Go를 도입하기 매우 적합한 컴포넌트!
- 44. 현재Go를사용중인 많은모듈들 • Kafka Deduplicator • Summary Worker • Identity Resolution Engine • Postback Target Worker
- 45. 프로덕션도입총평 👏 • I/O Heavy한병목포인트에매우강력함 • 특히Bypass 성격의서비스라면,도입비용이매우낮고 그에비해얻는이득이크므로부담없이적용해볼만함 • 서비스관리와CD (Continuous Delivery)가편하다. • 프로젝트설정및바이너리배포가가벼움. • 게다가에러핸들링방식안정적+정적타입의컴파일언어 • 결론적으로관리코스트가낮음.
- 46. 프로덕션도입총평 😢 • 비즈니스로직작성이(에어브릿지에선)매우불편했음 • Airbridge는데이터파이프라인뒷단으로갈수록 포스트백및서드파티연동으로인해비정형데이터를많이다룸. • 각종매체들에대한예외규칙과형식이매우다양함 • 정적타입언어의한계! • 정작핵심도메인에선,느려도Python을계속쓰는걸선택했다.
- 47. 그 다 음 제 품
- 49. AS-IS • Python 으로 초기 코어를 개발함 • 하지만 (성능 말고도) 예상치 못한 한계가 발생 • 암호화 라이브러리 서포트 • P2P 네트워킹 스택이 지원되지 않음 • No (Advanced) Blockchain Interaction
- 50. Airbloc is P2P Network 다양한종류의노드들이 데이터거래네트워크를이룸. Provider Node Consumer Node User Delegate Node Data Validator Node
- 51. Developing P2P
- 52. 구세주!!
- 53. libp2p • IPFS에서만든P2P네트워킹프레임워크 • Ethereum의DEVP2P스택에기반함 • KademilaDHT,MulticastDNS,Gossip Protocol등다양한노드디스커버리를지원 • End-to-end암호화지원 • Python미지원
- 62. 문제 1. Cyclic Import can't load package: import cycle not allowed package airbloc-go/accounts/account imports airbloc-go/node imports airbloc-go/accounts/account import cycle not allowed 초반(미숙한)패키지구조설계로인한고질적인에러
- 63. 문제 1. Cyclic Import - Python,JS등이소스수준의패키지구조를가진다면 - Go는폴더수준의패키지구조를가짐. - 컴파일러성능을위해Import상호참조를불허함 - 패키지분리가필요함을인지함(e.g.AccountAPI와Controller)
- 64. 문제 2. Dependency Management
- 65. 문제 2. Dependency Management
- 66. 장단점에 대한 회고
- 67. 장점 😎 • 암시적인터페이스를통한모듈화&확장 • 에어블록의각컴포넌트를필요한패키지별로조합하고 • 직접코드수정없이도가능하다. • 블록체인생태계지원이매우풍부함 • 믿고낭비하는고루틴 • 가볍고간단한프로젝트셋업및배포
- 68. ex. Modular Design In Ethereum 모든내부모듈들이Pluggable하게디자인됨. 별도의SDK를만들필요도,쓸필요도없음. ex)Gorange— ContractDeploymentFramework
- 69. ex. Modular Design In Ethereum 모든내부모듈들이Pluggable하게디자인됨. 별도의SDK를만들필요도,쓸필요도없음. ex)Gorange— ContractDeploymentFramework
- 70. 장점 😎 • 암시적인터페이스를통한모듈화&확장 • 에어블록의각컴포넌트를필요한패키지별로조합하고 • 직접코드수정없이도가능하다. • 블록체인생태계지원이매우풍부함 • 믿고낭비하는고루틴 • 가볍고간단한프로젝트셋업및배포
- 71. 장점 😎 • 암시적인터페이스를통한모듈화&확장 • 에어블록의각컴포넌트를필요한패키지별로조합하고 • 직접코드수정없이도가능하다. • 블록체인생태계지원이매우풍부함 • 믿고낭비하는고루틴 • 가볍고간단한프로젝트셋업및배포
- 72. 장점 😎 • 암시적인터페이스를통한모듈화&확장 • 에어블록의각컴포넌트를필요한패키지별로조합하고 • 직접코드수정없이도가능하다. • 블록체인생태계지원이매우풍부함 • 믿고낭비하는고루틴 • 가볍고간단한프로젝트셋업및배포
- 73. 단점 😢 • 지겹고,심지어답이없는에러처리 • Go2.0에서해결될때까지는존버… • 동적인타입(e.g.JSON)을다룰때쥐약임 • 비즈니스로직이극과극으로갈림 • Null처리 • 최신트렌드(객체지향,함수형,리액티브…)와동떨어진언어
- 74. 단점 😢 • 지겹고,심지어답이없는에러처리 • Go2.0에서해결될때까지는존버… • 동적인타입(e.g.JSON)을다룰때쥐약임 • 비즈니스로직이극과극으로갈림 • Null처리 • 최신트렌드(객체지향,함수형,리액티브…)와동떨어진언어
- 76. 단점 😢 • 지겹고,심지어답이없는에러처리 • Go2.0에서해결될때까지는존버… • 동적인타입(e.g.JSON)을다룰때쥐약임 • 비즈니스로직이극과극으로갈림 • Null처리 • 최신트렌드(객체지향,함수형,리액티브…)와동떨어진언어
- 77. 단점 😢 • 지겹고,심지어답이없는에러처리 • Go2.0에서해결될때까지는존버… • 동적인타입(e.g.JSON)을다룰때쥐약임 • 비즈니스로직이극과극으로갈림 • Null처리 • 최신트렌드(객체지향,함수형,리액티브…)와동떨어진언어
- 78. 단점 😢 • 지겹고,심지어답이없는에러처리 • Go2.0에서해결될때까지는존버… • 동적인타입(e.g.JSON)을다룰때쥐약임 • 비즈니스로직이극과극으로갈림 • Null처리 • 최신트렌드(객체지향,함수형,리액티브…)와동떨어진언어
- 79. 단점 😢 • 지겹고,심지어답이없는에러처리 • Go2.0에서해결될때까지는존버… • 동적인타입(e.g.JSON)을다룰때쥐약임 • 비즈니스로직이극과극으로갈림 • Null처리 • 최신트렌드(객체지향,함수형,리액티브…)와동떨어진언어
- 80. 단점 😢 • 지겹고,심지어답이없는에러처리 • Go2.0에서해결될때까지는존버… • 동적인타입(e.g.JSON)을다룰때쥐약임 • 비즈니스로직이극과극으로갈림 • Null처리 • 최신트렌드(객체지향,함수형,리액티브…)와동떨어진언어
- 81. 감사합니다!