1. 셰이더 리소스 빌드 자동화 할 수 없나요?
넥슨 N스퀘어개발본부
W엔지니어링팀
정희석
2013. 04.24

2. 버블파이터
마비노기2
정희석
blackclover
@nexon.co.kr
2008
2011

3. 이 발표는
새로운 기술에 대한 내용이 아니라
직접 구현에 따른 경험 공유

4. 셰이더 코드 조합
컴파일
빌드 시스템 및 바이너리 최적화
목차

5. 셰이더 코드 조합

6. 작은 코드 블럭을 더해가는 방식Micro Shader
Uber Shader
Shader Editor (Material Editor)
일반적으로 사용하는 코드 조합 방식

7. 모든 기능을 가진 코드에서 기능 별로 빼가는 방식
Micro Shader
Uber Shader
Shader Editor (Material Editor)
일반적으로 사용하는 코드 조합 방식

8. 전용 툴 사용하여 Code Gen
Micro Shader
Uber Shader
Shader Editor (Material Editor)
일반적으로 사용하는 코드 조합 방식

9. 마비노기2는 in-house rendering engine
요구 기능의 상한에 대해 고려 가능
관리 가능한 조합 개수 예측
전담 프로그래머 직접 관리

10. 더하기 조합 빼기 조합
혼합하여 사용
#include “...”
#include “...”
#if …
#endif

11. #include “CommonStage.shader”
#include “MeshStage.shader”
#if CompileOption.VTLighting.Enable
#endif
…
…
…
…
#if CompileOption.VTSkinning.Enable
#endif
#if CompileOption.Shadow.Enable
#endif
#if CompileOption.MotionBlur.Enable
#endif
…
…
…
…
…
…

12. 옵션을 조절하는 메타데이터 파일
.ShaderSetting
옵션 중복 기록을 피하기 위한 상속 관계
LOD 관리

13. ShaderSetting [
.Version = 1
.BaseSetting = “CommonMesh”
LOD [
CompileOptions [
CompileOption [
.Name = “AlphaTest.Enable”
.Value = true
]
…
]
]
LOD [
…
]
]
LOD 0
LOD 1
상속
부모에도 옵션이 있다면
값을 Override

14. 하지만 렌더러, 머신 환경에 따른 조합은 고려 하지 않음
이렇게 조합을 통해 실제 컴파일 하여 사용하는 셰이더는
약 60개

15. Cloth.shader
캐릭터 렌더러 프랍 렌더러
서로 다른 조합 옵션 필요

16. VTMeshRenderer.ShaderSetting
StaticMeshRenderer.ShaderSetting
…
…
렌더러 전용 ShaderSetting
C++에서
렌더러별로 오버라이드

17. 그래픽 카드와 같은 머신 환경 마다 다른 분기
셰이더 코드에서
#if Platform.* ~ #endif 형태
머신 환경을 반영하여
전처리 과정에서 치환
C++에서

18. 개발 편의
그래픽 환경 설정
일반 옵션도 전역으로 변경이 필요한 경우
C++에서
예외적으로 적용

19. 셰이더 컴파일

20. 사용 시점에 실시간 컴파일?

21. 초기 로딩 시 느린 응답 속도

22. 3 Step 비동기 로드
전처리 태스크
컴파일 태스크
CreateShader
태스크
#include처리, 옵션 값 치환
컴파일 하여 바이너리 생성
(가장 오래 걸림)
DirectX 접근

23. 3 Step 비동기 로드
전처리 태스크
컴파일 태스크
CreateShader
태스크
[백그라운드]
[백그라운드]
[메인]

24. 이제 셰이더 로딩 중에도 클라이언트 응답은 한다
그러나 여전히 진행은 느리고
반복되는 로딩에 의한 생산성 저하

25. 매번 로딩을 하지 않게 하면 되겠지?

26. 컴파일 된 바이너리를 파일로 저장
이름
바이너리 Key
조합된 소스코드의 해시 값
최초 한번만 로딩, 이후에는 저장된 바이너리 로드

27. 반복 실행 시 빨라진 로딩 속도

28. 여전한 문제
바이너리 존재 여부 체크를 위해 전처리 작업 필요
조합의 수만큼 바이너리 파일들이 생김
릴리즈 문제

29. 빌드 시스템 및 바이너리 최적화

30. 빌드 서버
CruiseControl.NET
Source Control
Perforce
프로젝트 빌드 시스템 구성

31. 최적화 및 릴리즈를 위해
사용할 바이너리를 미리 빌드 해놓자
그런데 어떤 조합으로 빌드를 시켜야 할까?

32. 완전한 자동화 시키고 싶으니
각 옵션 예상 값들을 모두 조합 시켜보자

33. #include “CommonStage.shader”
#include “MeshStage.shader”
#if CompileOption.VTLighting.Enable
#endif
…
…
…
…
#if CompileOption.VTSkinning.Enable
#endif
#if CompileOption.Shadow.Enable
#endif
#if CompileOption.MotionBlur.Enable
#endif
…
…
true
false
true
false
true
false
true
false
조합이 많지만
시도...

34. 컴파일 실패 속출
모든 조합으로 컴파일을 해보니…
당연히 여러 기능들을 분류 하다 보니
컴파일 되지 않는 조합 존재

35. 그래서 컴파일 되지 않는 조합은
Skip 해가며 진행 시도

36. 3시간이 넘도록 컴파일이 끝나지 않았다

37. C++에서 제어하는 조합의 범위를
조합 목록을 자동으로 결정하는 것은 힘들다고 판단
수동으로 관리하기로 결정

38. ShaderBuild [
.ShaderSetting = "Shader://VTMeshRenderer.shaderSetting"
BuildOptions [
BuildOption [
.Name = "VTLighting.Enable"
Build .Value = true
Build .Value = false
]
BuildOption [
.Name = "VTSkinning.Enable"
Build .Value = true
Build .Value = false
]
…
빌드 할 옵션 값 리스트
Permutation 조합
렌더러 세팅

39. 빌드 되는 바이너리 최적화 필요?

40. 앞에서 컴파일 된 바이너리를 조합 수만큼 파일로 저장하고
저장된 바이너리를 다시 읽어 오는 경우
2. 소스코드가 다르더라도 바이너리가 같을 수 있음
1. 저장된 바이너리를 찾기 위해서 소스코드 조합을 마쳐야 함

41. 굳이 옵션 조합 결과인 소스코드로 구분할 필요가 없다
해당 소스코드를 만드는 것은 조합 옵션 리스트다

42. 바이너리 Key
옵션 리스트의 Hash값
이름 CompileOption.Lighting.Enable=True,
CompileOption.Skinning.Enable=False,
…
…

43. 바이너리들을 번들 파일로 통합

44. 번들 파일 구조 (x 셰이더 수)
Version
옵션 리스트 Hash값 : File Offset
옵션 리스트 Hash값 : File Offset
…
바이너리
바이너리
…
Offset
Offset
Offset

45. 각 번들 파일 별 용량: 약 700kb
빌드 결과
총 용량: 약 50mb
빌드 시간: 약 1시간 ~ 1시간 반 정도

46. 이제까지 셰이더는 DX Effect 포맷 사용
VS, PS를 구분해서 최적화를 할 수가 없다
컴파일이 편하다
테크닉

47. HLSL로 VS, PS 따로 컴파일을 하고
테크닉 정의를 자체 포맷으로 만들자

48. Technique
구문은 DX9이 아닌 DX11 기반
메타 데이터였던 ShaderSetting에 정의

49. Techniques [
Technique [
.Name = "Default"
Passes [
Pass [
.RasterizerState = "NoCull"
.DepthStencilState = "DepthTestOnly"
.BlendState = "AlphaBlend"
.SamplerStatePS0 = "PointClamp"
.VertexShader = "DefaultVSMain"
.PixelShader = "DefaultPSMain"
.HullShader = "null"
.GeometryShader = "null"
.DomainShader = "null"
컴파일 할 메인 함수
DX9에선 사용 안 함
State는 따로 정의

50. 번들 파일을 다시 최적화 해보자
이제 서로 다른 셰이더 파일 조합끼리도
같은 VS, PS 바이너리를 사용할 수 있다

51. 번들 인덱스 파일 구조 (x 셰이더 수)
Version
옵션 Hash값 : File Offset
옵션 Hash값 : File Offset
…
함수이름 : 바이너리 File Offset
함수이름 : 바이너리 File Offset
…
Offset
Offset
Offset
번들 바이너리 파일 구조 (1개)
Version
바이너리
…
Offset
Offset
Offset
바이너리

52. 빌드 결과
바이너리 파일 용량: 약 700kb
인덱스 파일 용량: 개당 약 70kb
총 용량: 약 3MB

53. 서버 부하와
긴 빌드 시간 때문에
데일리 빌드로 새벽에 수행
CruiseControl.NET 으로 빌드 시스템에 등록

54. 빌드된 바이너리를
찾을 수 없다고
에러가 나요
에러나요!
연봉협상
할 때 보자

55. 수동으로 관리 하던 빌드 리스트에 항목이 누락되었나?

56. 알고 보니 누군가 셰이더를 고쳐서 체크인
다시 빌드만 하니 정상 동작

57. 새로운 조합에 대한 리스트 추가가 필요한지
단순히 빌드가 안된 것인지

58. 빌드 전략 수정
작업자
빌드 서버
1. 코드 체크인
2. 로컬로 컴파일하도록 클라이언트 Config On
팀원
3. 문제 없이 실행
4. 새벽 빌드 후 다시 클라이언트 Config off

59. 정말 조합이 없을 때만 오류가 발생
그 때 새로운 조합만 추가해주면 됨

60. 요약

61. 요약
- 관리하기 쉽게 적절한 기준으로 조합 룰을 정하자
- 리소스 로드는 응답속도 빠르도록 최적화 하면 할 수록 좋다
- 복잡한 시스템 때문에 완전한 빌드 자동화를 하기 힘들다면
문제점을 찾기 쉽고, 관리가 편리한 시스템을 구성하자

62. 감사합니다