Pycon 2019 Hyperconnect Sponsor Session 파이콘 2019 하이퍼커넥트 스폰서 세션

1. PyCon Korea 2019
Azar WebView Logging
이준영/용현택

3. 하이퍼커넥트
Real-time
Video
Social
Discovery
하이퍼커넥트는 WebRTC와 AI 기술을 바탕으로,
Video로 전 세계 사람들을 연결해 새로운 가치를 만들고 있습니다.
[Chat]
Live chat Azar
[Entertainment]
Live streaming Hakuna
and more...
WebRTC Video + Mobile Optimized AI

4. 성장
95%가 해외에서!
2017 : 9th
매출액 성장 아자르의 글로벌 성과
글로벌 기업들과 경쟁하는 앱 매출 순위
2018 : 7th 2019 1Q : 5th5년 간의 매출 추이

5. 기술력
● 전 세계 어느 국가, 통신사, 단말기에서도안정적으로영상 통화 가능
● 지구 반대편 남미의 통신사별 망 품질관리 모니터링 가능한 글로벌
인프라 확보
모바일 WebRTC를 최초로 상용화 모바일에 최적화된 머신 러닝 기술
● 서버에 데이터를 보내지 않고 모바일에서실시간으로데이터를 처리하는
On-device AI
● 낮은 CPU 성능, 적은 메모리 환경에서도빠르게 동작하는 딥러닝 가속 기술

6. 하이퍼커넥트에서
Python이란?...

7. Python X Data

8. Python X ML

9. 파이썬 기반의 백엔드를 사용해 개발 중!
Python X 신규 서비스
[Chat]
Live chat
Azar
and more...
잘 알려진
그리고 앞으로
탄생하게 될
수많은 신규
서비스까지!
[Entertainment]
Live streaming
Hakuna
잘 알려지지 않은 앞으로 탄생할

10. We connect the world!
하이퍼커넥트와 함께 전 세계를 연결할 분을 모십니다!
Tech Blog / hyperconnect.github.io
Website / hyperconnect.com
Facebook / @hpcnt
Instagram / @hyperconnect
Email / career@hpcnt.com

11. 오피스 라이프

12. Azar WebView Logging
이준영
junyoung@hpcnt.com

13. Who am I
● 이준영
● Backend Engineer
● WebPlatform Team Leader@Hyperconnect
○ Azar WebView
○ Azar Admin
● 최근 기술: Python, Django, DRF
● 관심사: 창의적인 업무만 할 수 있는 환경/TDD/자동화/Infra
● Prefer
○ GUI over CLI
○ PyCharm over VSC
○ Explicitly over Implicitly
● Contact: legshort@gmail.com

14. Why
● Logging 중요성!
● WebView 활용 증가함에 따라 증가하는 개발 복잡도
● 우리도 Logging 제대로 안하고 있었다!
● 하지만 우리는 이제 이렇게 Logging 하고 있다!

15. Previous

16. Poor Logging Infra
AWS EC2
Log
access.2019-02-07-06.log
access.2019-02-07.05.gz
access.2019-02-07.04.gz
access.2019-02-07.03.gz
access.2019-02-07.02.gz
access.2019-02-07.01.gz
…
...

17. Azar WebView Architecture
WebView
Azar API
Transaction
iOS/Android

18. Poor Debugging Env
WebView
Azar API
Transaction
iOS/Android
No info regarding User/Device!

19. Poor Debugging Env
WebView
Azar API
Transaction
iOS/Android
No info regarding User/Device &&
JS Client

20. Poor Debugging Env
WebView
Azar API
Transaction
iOS/Android
No info regarding User/Device &&
JS Client && Django Client

21. Problems
● Poor Logging Infra
○ SSH 접속 필요
○ 용량 문제로 시스템 정지
○ 용량 확보를 위해 로그 파일 제거
○ 불편한 검색
● Poor Debugging env
○ Network 요청/받는 쪽 모두 logging 부재
○ 연속성 있는 Network 사이 tracking info 부재

22. Goal
● Log 중앙화
○ GCP Stackdriver Logging
● 모든걸 Logging 하자!
○ env/user/headers/request/response
○ local/dev/qa/staging/production
○ Outbound network call
● Custom Header 적극 활용
○ Credentials
○ Reducing network call for user info
○ Statistics
● TX(transaction) Layer Logging
○ 식별가능한 TX-Id 전달
○ 기존 Header 전달

23. Present

24. Log Centralization
Kinesis Firehose
Amazon S3
Elasticsearch
VS
Stackdriver Logging
BigQuery

25. GCP Stackdriver Logging
● Pros
○ SQL 유사한 문법 제공으로 편리한 검색
○ 사용자별 권한
○ 실시간 Streaming
● Cons
○ 1개 GCP Project 안에 다수 프로젝트/logger 설정이 매우 불편
○ 긴시간 streaming 받으면 Browser 정지
○ 아직 초기 단계

26. Log Everything

27. Log Everything - Inbound/Outbound

28. Custom Header
- Credential
- POST body 사용하다가 Header로 이동
- 기본 사용자 정보
- iOS/Android 기본 사용자 정보 전달
- Network 의존성 제거
- 통계
- Azar Version
- Device Model/OS
- 실시간 웹 브라우저 버전
- 정보 의존성 제거
- iOS/Android/API

29. TX Layer Logging
WebView
Azar API
Transaction
iOS/Android
X-Azar-User-Info
+= X-Server-Info
+= X-TX-Id
+= X-JS-Client-Info
Combining chain requests into one TX

30. TX Layer Logging
Same TX-Id

31. TX Layer Logging
Stackdriver Logging

32. Logging in Django
● Async 하게 Logging 전송 하기 위해
REQUEST_FINISHED Signal 사용
● 실제 Response 전달된 이후 Signal
발생

33. Logging in Django
● REQUEST_FINISHED Signal
Handler 에서 request/response
공유하기 위해 Thread 사용
● Signal Receiver는
request/response 전달 받지 않음

34. Logging in Django
● Requests Exception 처리 중요
● Timeout 사용 필수
● raise_for_status() 필수

35. Achievement
● 디버깅 시간이 극적으로 감소
● 장애대응/디버깅시 로깅 부터 보는 것으로 시작
● 장애대응/디버깅시 타 팀과 의존성 제거
○ iOS/Android/API/CS Team
○ outbound 정보/히스토리

36. Lessons Learned
● Logging은 그냥 너무나도 중요
● TMI logging은 설정할때 괴롭고 필요없어 보이지만 디버깅시 유일한 희망
● Logging infra/전략은 프로젝트 매우 초기에 하자!
● 우리팀이 할수 있는건 우리팀이 하자!
● 수술 장갑이 없다면 수술도 할수 없다(Ref Clean Code)

37. Future

38. Goal
● 통계
○ 실시간 Dynamic 상황 페이지
○ 실시간 browser/device 정보

39. Career
● 대상: Python Engineer
● Job Description
○ Azar Admin
○ Hyperconnect Report + ML
○ Hyperconnect Review + ML

40. QnA

41. PyCon Korea 2019
Azar WebView Logging
이준영/용현택