여욱형 / kakao corp. 동영상 기술 파트 --- 영상 인코딩의 목적은 좋은 화질을 유지하면서 데이터 크기를 최소화하는 것이다. 인코딩 옵션은 다양한 조합이 가능하며 옵션에 따라 영상의 품질 및 크기도 가변적이다. 지금까지는 영상의 종류 및 특성에 관계없이 해상도별로 고정된 인코딩 옵션을 적용하였다. 모든 컨텐츠를 동일한 옵션으로 인코딩하면 필요한 크기보다 많은 데이터가 생성되고 이로 인해 불필요한 트래픽이 발생할 수 있다. 우리는 딥러닝을 통해 사전에 학습된 모델을 만들고, 샘플링한 원본 영상에서 화질과 연관된 다양한 특징을 분석하여 최적의 인코딩 옵션을 실시간으로 찾는 방식을 제안하고자 한다.

1. 발표자 여욱형
동영상 기술 파트
비디오 특성 분석 및
딥러닝을 이용한 실시간 인코딩 효율화

4. 우리의 고민
동영상 트래픽이 폭발적으로 증가
기존 인프라를 그대로 쓰면서 트래픽을 효율적으로 쓸 수 있는 방법이 없을까

5. 우리의 고민
조절이 핵심

6. 우리의 고민

7. 우리의 고민 문제의 발견

8. 새로운 실험
영상의 특성에 따라 비트레이트 설정을 다르게 해보자

9. 새로운 실험
어떻게 해결할 수 있을까

10. 새로운 실험
어떻게 해결할 수 있을까
복잡한 구간덜 복잡한 구간 덜 복잡한 구간
비트레이트 설정1 비트레이트 설정2 비트레이트 설정1

11. 새로운 실험
어떻게 해결할 수 있을까

12. 새로운 실험

13. 동향
의
의
영상별 비트레이트와 의 관계를 찾아내기 위함
영상 특징에 따라서 비트레이트를 배분하는 방식으로 변화

14. 새로운 실험
문제 해결 방식 (Deep Learning)

15. 새로운 실험
문제 해결 방식

16. 새로운 실험
문제 해결 방식

17. 학습 데이터 구성
비디오 특성 분석 데이터

18. 학습 데이터 구성
영상의 구조

19. 학습 데이터 구성

20. 하나의 프레임을 구성하는 요소

21. 하나의 프레임을 구성하는 요소

22. 학습 데이터 구성
16X16 8X8 4X4
16X16 8X8 8X16 16X8
8X8 4X4 4X8 8X4

23. 매크로 블록 파티션 사이즈

24. 매크로 블록 파티션 사이즈

25. 학습 데이터 구성

28. 움직임을 나타낼 수 있는 요소

29. 움직임을 나타낼 수 있는 요소

30. 학습 데이터 구성
영상 분석
● 각 세그먼트 내에서 움직임에 대한 정도를 나타내는 수치 움직임 량 강도
● 프레임을 구성하는 블록의 타입별 분포
● 프레임을 구성하는 블록의 파티션 사이즈 분포
● 세그먼트내의 복잡도 수치
● 비트배분율
● 프레임 레이트 해상도
● 그외 영상과 관련된 전반적인 수치를 더하여 약 여가지의 데이터로 구성

31. 학습 데이터 구성

32. 학습 데이터 구성

33. 학습 데이터 구성

34. 학습 데이터 구성
●
●
●
●
●
●
●
기본적으로 복잡도에 따라 비트를 배분

35. 학습 데이터 구성
• 방식은 덜 복잡한 부분은 비트 할당을 적게 할 수 있기 때문에
대비 낭비되는 비트가 적다 은 주어진 목표 비트레이트를
맞추기 위해서 덜 복잡한 부분에서 낭비될 수 있다
• 조금 더 효율적인 비트 배분이 가능

36. 학습 데이터 구성

37. 학습 데이터 구성

38. 학습 데이터 구성

39. 학습 데이터 구성
●
●
●

40. 학습 데이터 구성
순간적으로 높아지는 비트배분을 제어

41. 학습 데이터 구성
인코딩 파라미터
●
○
●
○

42. 학습 데이터 구성
인코딩파라메터 데이터셋 을 얻어내는 과정

44. 학습
●
●

46. ● 데이터의 낭비를 줄이고 퀄리티를 높여야 할 때 데이터를 더 쓸 수 있도록 하는 것
● 스트리밍 서비스 품질을 높이는 것이 목적
● 원본 영상의 코덱의 종류와 무관하게 동작
● 타켓 영상의 코덱의 종류를 다양하게 지원
● 라이브 영상 및 영상 모두 적용
시스템의 주요 목표

54. 의미 있는 실험

55. 의미 있는 실험
•
•
•

56. 목표
●
●
●
●