Stable-diffusion과 캡션을 이용한 다중 객체 포함 이미지에서 분포 외 객체 탐지 방법
Out-of-Distribution Object Detection in Images Containing Multiple Objects using Stable-diffusion and Captions
- 주제어 (키워드) 분포 외 데이터 탐지 , 객체 탐지 , Stable-diffusion , Out-of-Distribution detection , Stable-diffusion , Object detection
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과협동과정
- 실제 URI http://www.dcollection.net/handler/sogang/000000079608
- UCI I804:11029-000000079608
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
분포 외 데이터 탐지는 모델이 학습한 데이터 분포를 벗어나는 입력 데이터를 식별하는 과정으로, 모델의 신뢰성과 안정성을 확보하는 데 핵심적인 역할을 한다. 기존 연구들은 주로 단일 객체 이미지를 대상으로 수행되었지만, 실제 환경에서는 복잡한 장면에서 객체 단위로 분포 외 데이터를 탐지하는 능력이 필요하다. 본 논문에서는 Stable-diffusion과 캡션을 활용하여 분포 외 데이터를 탐지하는 새로운 방법을 제안한다. 제안된 방법은 분포 외 데이터가 입력으로 들어왔을 때 손실이 높아지도록 Stable-diffusion을 학습한다. 이때 캡션을 프롬프트로 사용하여 전반적인 이미지의 객체는 유지하면서 재구성할 수 있도록 했다. 실험은 PASCAL VOC를 분포 내 데이터로, MSCOCO를 분포 외 데이터로 설정한 데이터셋에서 검증되었으며, 기존 연구에 비해 AUROC가 약 12% 향상된 결과를 보였다. 더불어, 객체 탐지 모델과의 통합을 통해 모델의 기존 성능을 유지하면서도 추가적인 분포 외 객체를 탐지하여 분포 내 데이터에 없는 객체의 정확한 박스 위치를 출력한다. 이 결과는 Stable-diffusion을 활용해 이미지의 구조적 특성을 보존하며 분포 외 데이터를 탐지할 수 있음을 보여준다.
more초록 (요약문)
Out-of-Distribution(OOD) detection is the process of identifying input data that deviates from the model's learned data distribution, playing a crucial role in ensuring the reliability and robustness of machine learning models. While previous studies have primarily focused on single-object images, real-world scenarios demand the capability to detect OOD data at the object level in complex scenes. This paper proposes a novel method for OOD detection by leveraging Stable-diffusion and captions. The proposed approach trains Stable- diffusion to produce higher reconstruction loss when OOD data is input. Captions are used as prompts, allowing the overall objects in the image to be preserved while reconstructing the image. Experiments were conducted using a dataset with PASCAL VOC as in-distribution data and MSCOCO as out-of-distribution data. The results showed an approximately 12% improvement in AUROC compared to previous studies. Additionally, through integration with an object detection model, the approach maintained the original model's performance while detecting additional OOD objects and providing accurate bounding box locations. These findings demonstrate that Stable-diffusion can preserve the structural characteristics of images while effectively detecting OOD data.
more목차
1. 서론 1
2. 연구 배경 3
2.1 관련 연구 3
2.1.1 Diffusion 모델 3
2.1.2 분포 외 데이터 탐지 연구 4
2.1.3 객체 탐지에서의 분포 외 처리 연구 6
2.2 기존 연구 적용 시의 문제점 6
3. Stable-diffusion 과 캡션을 이용한 분포 외 객체 탐지 시스템 8
3.1 문제 정의 8
3.2 전체 시스템 구조 10
3.3 세부 방법 13
3.2.1 분포 외 데이터 탐지 방법 13
3.2.2 객체 탐지 모델과의 통합 방법 19
4. 실험 및 분석 22
4.1 실험 환경 및 데이터셋 22
4.2 실험 및 성능 분석 24
4.2.1 분포 외 데이터 탐지 성능 분석 24
4.2.2 분포 외 객체 탐지 성능 분석 28
4.3 관련 연구와의 비교 36
4.4 제안한 모델의 한계 분석 36
5. 결론 및 향후 과제 41
6. 참고 문헌 43
