학습 데이터 세트의 색상 톤을 반영한 사진-애니메이션 변환 기법
Photo-to-anime image translation considering the color tone of a training dataset
- 발행기관 서강대학교 영상대학원
- 지도교수 이상욱
- 발행년도 2022
- 학위수여년월 2022. 8
- 학위명 석사
- 학과 및 전공 영상대학원 영상공학·예술공학
- 실제 URI http://www.dcollection.net/handler/sogang/000000067021
- UCI I804:11029-000000067021
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
애니메이션에서 배경 미술은 중요한 작업이지만 제작을 위한 현장 답사부터 완성까지 많은 시간이 소요된다. 이러한 문제를 보완하기 위해 적대적 생성 신경망(GAN)을 사용하여 사진을 애니메이션 이미지로 변환하기 위한 노력이 지난 몇 년 동안 있었고 많은 방법들이 제안되었으나 변환된 이미지의 색상은 어둡고 선명하지 않으며 애니메이션 학습 데이터 세트의 색상을 제대로 표현하지 못하는 경향이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 AnimeGAN을 기반으로 하는 새로운 신경망 모델을 제안한다. 첫 번째로 multi-scale discriminator를 사용하여 각 스케일에 따라 텍스쳐와 색상을 따로 판별해 준다. 제안한 multi-scale discriminator는 변환된 이미지가 애니메이션 학습 데이터 세트의 텍스쳐와 색상을 보다 잘 반영할 수 있도록 해준다. 또한 입력 사진 이미지의 색상 정보를 유지하지 못하고 잘못된 색상이 들어가는 것을 방지하는 역할을 한다. 두 번째로 변환된 결과 이미지의 색상이 어두워지는 것을 방지하기 위해 네트워크에 layer normalization을 적용한다. 마지막으로 시각적으로 만족스러운 이미지 변환을 위해 손실 함수들을 적용하였다. 2가지의 애니메이션 데이터 세트로 실험을 진행하였으며 기존 연구들과 비교하여 우수한 품질의 애니메이션 이미지를 생성하는 것을 보여준다.
more초록
In anime, background art is important, but takes a lot of time from field survey to completion. Many photo-to-anime image translation methods proposed in recent years employ generative adversarial networks. However, in these methods, the converted images are dark and the anime training dataset’s color scheme is not learned. This paper presents a new AnimeGAN-based architecture to learn an anime training dataset’s color. First, a multi-scale discriminator is proposed to learn anime texture and color separately. To improve expressive power for the anime style, texture is learned in grayscale space and color is learned in RGB space. Second, changing the networks’ normalization avoids darkening the converted image’s color. Finally, a modified loss function is added to produce visually satisfying anime images. The proposed method is evaluated in photos, by converting two different anime styles, and then compared with other methods.
more