불균형 데이터 분류에서 대조적 학습 기반의 데이터 증강 기법
Data Augmentation for Contrastive Learning on Long-tailed Visual Recognition
- 주제어 (키워드) 불균형 데이터 학습 , 대조적 학습 , Saliency , 마스킹 , 이미지 인식 , 데이터 증강 , Long-tailed learning , Contrastive learning , Saliency , Masking , Vision recognition , Data augmentation
- 발행기관 서강대학교 일반대학원
- 지도교수 소정민
- 발행년도 2023
- 학위수여년월 2023. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000069986
- UCI I804:11029-000000069986
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
실제 세상의 데이터는 종종 클래스 샘플 수 사이의 불균형이 큰 긴 꼬리 분포(Long-tailed distribution)를 따른다. 이런 불균형 데이터를 이용하여 모델을 학습시키는 것의 모든 클래스에 대해서 공통되는 배경적인 특징들이 부족한 샘플 수를 지닌 클래스에서는 관찰되지 않을 수 있다는 것이다. 결과적으로 이런 배경적인 요소들은 다수의 샘플을 지는 클래스에 연관되어 편향된 예측 결과를 도출하게 된다. 본 논문에서는 saliency 마스킹에 기반한 대조적 학습 방법을 제안한다. 이는 saliency 마스킹과 대조적 학습을 이용하여 문제점을 완화하고 모델이 편향되지 않고 일반화된 학습을 할 수 있도록 개선한다. 본 논문에서 제안하는 방법의 주요한 아이디어는 saliency detection을 이용하여 이미지상에서 주요한 부분을 마스킹하고, 대조적 학습을 이용하여 특징 공간(Feature space)상에서 마스킹 된 이미지를 소수 클래스의 방향으로 옮겨주는 것이다. 이를 통해서 마스킹 된 이미지상에서 표현된 배경적인 요소가 더 이상 원본 클래스 만에 종속되지 않도록 만들어주는 것이다. 불균형 클래스 이미지 분류 문제의 벤치마크 데이터 셋(Benchmark dataset)인 CIFAR-10/100-LT와 ImageNet-LT에 대한 분류 실험 결과는 본 논문에서 제안하는 방식이 모델의 성능을 향상시키고 불균형 데이터로부터 발생하는 편향을 완화하였음을 보여준다.
more초록 (요약문)
Real-world data often follows a long-tailed distribution with large imbalances between the number of samples in the classes. It is that background features common to all classes of training dataset, using such imbalanced data may not be observed in classes with insufficient sample numbers. As a result, these background factors are associated with a class having a large number of samples, leading to biased prediction resulting "major" class. In this paper, we propose a contrast learning method based on saliency masking. Our method uses saliency masking and contrastive learning to alleviate the problem and improve the model to learn generalized representation without bias. The main idea of the method proposed in this paper is to mask the salient part in the image using saliency detection and move the masked image in the direction of the minority class in the feature space using contrastive learning. Through this, the background elements expressed on the masked image are no longer dependent only on the original class. The results of classification experiments on CIFAR-10/100-LT and ImageNet-LT, which are benchmark datasets for imbalanced class image classification problems, show that the method proposed in this paper improves the performance and achieves comparable performance to the state-of-the-art on long-tailed datasets.
more