Seg2pix : Few shot training line-art colorization with segmented image data
Seg2pix: 영역 분할 데이터와 소량의 이미지를 활용한 스케치 자동 채색 기법
- 주제(키워드) Colorization , Generative adversarial network , Line arts , Sketch , 채색 , 적대적생성모델 , 선화 , 스케치
- 발행기관 서강대학교 일반대학원
- 지도교수 서용덕
- 발행년도 2021
- 학위수여년월 2021. 2
- 학위명 석사
- 학과 및 전공 일반대학원 아트&테크놀로지학과
- UCI I804:11029-000000065607
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
There are various challenging issues against automating line art colorization. In this paper, we propose a GAN approach incorporated with a semantic segmentation image data. Our GAN-based method, named Seg2pix, can automatically generate high quality colorized images, aiming at computerizing one of the most tedious repetitive jobs performed by coloring workers in webtoon industry. The network structure of Seg2pix is mostly modified from architecture of Pix2pix, which is a convolutionbased generative adversarial network for image to image translation. Through this method, we can generate high quality of particular character’s colorized image by only a few numbers of training data. Seg2pix is designed to reproduce a segmented image which becomes a hint data for line art colorization. The segmented image is automatically generated through a generative network with line art image and segmentation ground truth. In the next step, this generative network generates a colorized image from line art and segmented image which generated from the former step of the generative network. To summarize, only one line art image is required for testing the generative model, and an original colorized image and segmented image is additionally required as ground truth for training the model. These generations of segmented image and colorized image proceed in end to end method sharing the same loss functions. By using this method, we produced better qualitative results of auto colorization on a particular character’s line art. This improvement can also be measured by quantitative results with LPIPS comparison. We believe it may help artists exercise their creative expertise mainly in the area where computerization is not yet capable.
more초록/요약
일러스트의 스케치를 자동으로 채색하는 기법에는 현재 여러 방법들이 시도되고있다. 이 논문에서 우리는 GAN 과 영역 분할 데이터를 활용한 방법을 실험한다. Seg2pix라고 명명한 우리의 방법은, 웹툰 업계등에서 반복적인 노동으로 업무가 가중되는 채색단계를 높은 퀄리티로 자동처리하는것을 목표로 하였다. 우리의 생성모델은 Pix2pix 라는 콘볼루션 기반의 image-to-image 전환방식을 채용한 기존의 연구된 모델에서 많은 부분을 참고하였다. 이 방법을 통하여 우리는 특정 지정된 캐릭터 스케치의 채색을 적은 숫자의 데이터로 높은퀄리티를 유지하면서 자동 채색할수있다. Seg2pix는 영역분할 이미지 데이터를 자동적으로 생성하여 그 이미지 데이터를 채색을 위한 힌트맵으로 활용하게끔 설계되어있다 . 영역분할된 이미지는 생성모델에서 스케치 입력과 사람이 직접 레이블링한 영역분할데이터를 ground truth로 자동 생성된다. 다음 단계에서, 이 생성네트워크모델은 스케치와 이전 단계에서 생성한 영역분할데이터를 같이 입력으로 받아 완성도 높은 채색된 이미지를 자동생성해낸다. 요약하자면, 단 한장의 스케치를 입력으로 생성모델에서 영역분할 이미지를 생성하고 그 영역분할 이미지와 스케치데이터를 다시 생성네트워크에 입력으로 넣어 최종적인 채색이 완료된 데이터로 출력된다. 이 영역분할데이터와 채색된이미지의 생성과정은 하나의 loss를 공유한 end to end방식으로 진행된다. 이 방법을 이용하여 우리는 질적 결과로써도 기존 자동채색 방법과 비교하여 더 뛰어난 결과물을 만들어냈다. 그리고 또한 정성적 비교방식을 고려한 LPIPS 비교방식에서도 뛰어난 점수를 얻은것을 확인하였다. 우리는 이 방법이 아티스트들로 하여금 단순 반복업무의 부담을 줄이고 창작적인 부분에 좀 더 집중하게할수있는 기능을 제공한다고 믿는다.
more