픽셀 아트 이미지는 디지털 아트의 한 종류로서 픽셀 수준으로 형태를 표현한 래스터 이미지를 의미하며 콘솔 게임 등의 표현 형식이 제한적인 매체에 사용되기 때문에 한정적인 색채 팔레트를 이용해 원본 이미지보다 작은 사이즈의 이미지를 생성하는 것이 일반적이다 또렷한 형체의 픽셀 아트 이미지 생성을 위해 다양한 픽셀 아트 이미지 생성 기법이 제안되었지만 세부 묘사가 필수적으로 수반되어야 하는 부분에서 뭉개짐이나 흐림 효과 등의 한계점이 존재한다 본 연구에서는 관심 영역 추출을 통해 시각적으로 주목받는 영역의 세부 묘사를 개선한 픽셀 아트 이미지 생성 방법을 제안한다.

1. 관심 영역 기반
픽셀 아트 이미지 생성
2018. 12. 21 (금)
KAIST 전산학부 기하계산연구실
박사과정 김수지
[KSC‘18 Oral Presentation]

2. INDEX
1. Backgrounds
2. Purpose
3. Methods
4. Results
5. Conclusion
6. References

3. Backgrounds
픽셀 아트 이미지 (Pixel Art Image)
 입력된 이미지를 픽셀 수준의 낮은 해상도로 표현한 래스터 이미지
 콘솔 게임 등의 표현 형식이 제한적인 매체에서 사용되며, 8-bit 또는 16-bit 와 같은 한정적
인 수의 색채 팔레트(color palette)를 이용해 구성됨
3
게임
(Color by Number)
포스트잇(Post-it)을 활용한 픽셀 아트
(Photo credit: kurioso @flickr)
영화/TV 픽셀 아트
(Photo credit: Gustavo Viselner)

4. Backgrounds
픽셀 아트 이미지 (Pixel Art Image)
 픽셀 수준의 해상도로 표현한다는 점에서 하프톤 이미지(halftone image), 다운스케일링
(down scaling) 과 비슷한 특성을 가짐
 원본 이미지 내 물체의 형태를 온전히 유지하도록 색상을 선택해 픽셀에 배치한다는 데에 픽셀
아트의 강점이 존재
4
원본 이미지 다운 스케일링 하프톤 픽셀 아트

5. Backgrounds
픽셀 아트 이미지 (Pixel Art Image) 생성 기법
5
원본 이미지 Naïve Nearest Naïve Cubic [Gerstner et al.]

6. Purpose
 Introduce a saliency-based pixel art image generation.
 Increase the detail of image while preserving the size of pixel
art image.
6

7. Methods
Overview
7
원본 이미지 Saliency Prediction Pixel Art ImageWeighted Image

8. Methods
Saliency Map Generation
 Saliency map shows the significant degree of each pixel in an image.
 CNN-based Saliency Prediction
- SalNet (Pan et al., 2016 CVPR)
8SalNet Architecture Examples of Saliency Map

9. Methods
Previous Pixel Art Generation [Gerstner et al. 2012]
 Simple Linear Interactive Clustering (SLIC) [Achanta et al. 2010]
- Segment an image into superpixels with color and positional difference
 Mass Constrained Deterministic Annealing (MCDA) [Rose 1998]
- Determine the colors in the palette, and assign one palette color to each pixel
9

10. Methods
Saliency-based Pixel Art Generation
 Simple Linear Interactive Clustering (SLIC) [Achanta et al. 2010]
- Segment an image into superpixels with color and positional difference
 Mass Constrained Deterministic Annealing (MCDA) [Rose 1998]
- Determine the colors in the palette, and assign one palette color to each pixel
10

11. Methods
Saliency-based Pixel Art Generation
 Each superpiexel 𝑠𝑠 has a weight 𝛿𝛿 𝑠𝑠 , where 𝜇𝜇𝑡𝑡 is a saliency of pixel 𝑡𝑡:
𝛿𝛿 𝑠𝑠 =
∑𝑡𝑡∈𝑠𝑠 𝜇𝜇𝑡𝑡
𝑠𝑠
11

12. Results
Effects of Saliency Map (1/3)
12
원본 이미지
Saliency Map
Naïve Nearest Naïve Cubic
[Gerstner et al.] Ours

13. Results
Effects of Saliency Map (2/3)
13
원본 이미지
Saliency Map
Naïve Nearest Naïve Cubic
[Gerstner et al.] Ours

14. Results
Effects of Saliency Map (3/3)
14
원본 이미지 Saliency Map Naïve Nearest Naïve Cubic [Gerstner et al.] Ours

15. Results
Effects of Saliency Map
15
Example 1 Example 2 Example 3
SSIM MSE SSIM MSE SSIM MSE
Naïve Nearest 0.657 1286.2 0.842 595.2 0.638 1231.4
Naïve Cubic 0.529 3935.8 0.648 2811.5 0.593 1813.0
[Gerstner et al.] 0.716 1097.8 0.864 479.6 0.684 652.0
Ours 0.713 1271.6 0.858 532.6 0.669 659.2

16. Conclusion
 Our method generates a high quality pixel image art at the same file
size by reflecting the weights according to visual attention, saliency.
 Further work is needed to obtain a more optimal result through the
pre-processing (edge detection, background segmentation).
16

17. References
[1] Chu, Hung-Kuo, et al. “Halftone QR codes.” ACM Transactions on Graphics (TOG) 32.6 (2013): 217.
[2] Kim, Tae-Hoon, and Sang Il Park. “Deep context-aware descreening and rescreening of halftone images.” ACM Transactions on Graphics
(TOG) 37.4 (2018): 48.
[3] Öztireli, A. Cengiz, and Markus Gross. “Perceptually based downscaling of images.” ACM Transactions on Graphics (TOG) 34.4 (2015): 77.
[4] Kuo, Ming‐Hsun, Yong‐Liang Yang, and Hung‐Kuo Chu. “Feature‐Aware Pixel Art Animation.” Computer Graphics Forum. Vol. 35. No. 7.
2016.
[5] Gerstner, Timothy, et al. “Pixelated image abstraction.” Proceedings of the Symposium on Non-Photorealistic Animation and Rendering.
Eurographics Association, 2012.
[6] DeCarlo, Doug, and Anthony Santella. “Stylization and abstraction of photographs.” ACM transactions on graphics (TOG). Vol. 21. No. 3.
ACM, 2002.
[7] 김수지, 최성희. “관심 영역 기반 이미지 자리 표시자 생성.” 한국정보과학회 학술발표논문집, 2018.6, 1430-1432. 2018.
[8] Pan, Junting, et al. “Shallow and deep convolutional networks for saliency prediction.” Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition. 2016.
[9] Jiang, Ming, et al. “Salicon: Saliency in context.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.
[10] Achanta, Radhakrishna, et al. “Slic superpixels.” No. EPFL-REPORT-149300. 2010.
[11] Rose, Kenneth. “Deterministic annealing for clustering, compression, classification, regression, and related optimization problems.”
Proceedings of the IEEE 86.11 (1998): 2210-2239.
17