A Decomposition Method of Single Image Object Transfiguration
- 발행기관 서강대학교 일반대학원
- 지도교수 강석주
- 발행년도 2020
- 학위수여년월 2020. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- UCI I804:11029-000000065000
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
딥러닝 기반의 객체 변형을 위한 기존 방법들은 비지도 학습의 image-to-image translation에 바탕을 둔다. 기존의 방법들은 대체적으로 좋은 성능을 보이지만 변형할 객체 간의 모양 변화가 클 경우에 알고리즘이 제대로 동작하지 않는 양상을 보인다. 또한, 변형 전의 객체의 텍스쳐와 모양이 변형된 영상에 잔상으로 남아있게 된다. 이러한 문제를 해결하기 위해, 객체 변형 문제를 객체 제거와 합성의 문제로 이분화하는 새로운 방법을 제시한다. 이는 생성된 객체가 원본 객체에 영향을 받는 것을 방지하며 생성된 객체가 더 배경에 잘 어울리도록 만드는 효과가 있다. 인스턴스 정보를 사용하여 영상을 배경과 객체로 구분하고 이분화된 문제를 각각 배경과 객체를 이용하여 모델링한다. 각 모델링에 맞게 학습된 뉴럴 네트워크는 기존 방법들에 비해 원본 객체의 위치, 모양, 크기 등에 영향을 받지 않는다. 또한, 우리는 정성적 결과와 정량적 결과를 통해 제안 방법의 효율성에 대해 증명한다.
more초록/요약
Existing deep learning-based object transfiguration methods are based on unsupervised image-to-image translation which shows reasonable performance. However, previous methods often fail in tasks where the shape of an object changes significantly. In addition, the shape and texture of an original object remain in the converted image. To address these issues, we propose a novel method that decomposes an object transfiguration task into two subtasks: object removal and object synthesis. This prevents an original object from affecting a generated object and makes the generated object better suited to the background. Then, we explicitly formulate each task distinguishing a background and an object using instance information (e.g. object segmentation masks). Our model is unconstrained by position, shape, and size of an original object compared to other methods. We show qualitative and quantitative comparisons with other methods demonstrating the effectiveness of the proposed method.
more