SegPix:시맨틱분할과픽셀단위 블렌딩을활용한문맥인식기반 포트홀탐지
SegPix: Context-Aware Pothole Detection Using Semantic Segmentation and Pixel-Level Blending
- 주제어 (키워드) pothole detection , semantic segmentation , pixel level blending , image generation , object detection
- 발행기관 서강대학교 일반대학원
- 지도교수 소정민
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000082105
- UCI I804:11029-000000082105
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
도로의포트홀은차량파손,교통사고,도로이용자안전저해등다양한문제를야기하는 대표적인노면결함으로,지능형교통시스템의도입과함께자동화된탐지기술의필요성이 빠르게 대두되고 있다. 특히 딥러닝 기반 객체 탐지 모델이 다양한 비전 인식 문제에서 두각 을 나타내면서, 포트홀 탐지에도 YOLO 계열 등의 실시간 탐지 네트워크가 적용되어 왔다. 그러나 이러한 모델의 성능은 학습 데이터의 품질과 다양성에 큰 영향을 받으며, 실제 도로 환경에서는조도변화,기상조건,텍스처편차등으로인해탐지성능이급격히저하되는한 계가있다.본논문에서는이러한문제를해결하기위해 SegPix라는새로운형태의문맥인식 기반합성이미지생성프레임워크를제안한다. SegPix는실제포트홀전경객체와시각적으 로 유사한 도로 배경 패치를 쌍으로 구성한 뒤, RGBA 채널 기반 픽셀 차이 맵을 계산하고, 시맨틱분할을통해의미론적으로유효한도로영역을선택하여,해당위치에포트홀을픽셀 단위로 블렌딩 방식으로 삽입한다. 이 과정은 단순한 복사-붙여넣기 방식이 아닌, 배경과의 대비 정보를 기반으로 픽셀 값을 연산하고, 삽입의 시각적 자연스러움과 경계의 연속성을 보장하기위한임계값기반블렌딩알고리즘을포함한다.삽입이완료된객체에대해서는자 동으로 YOLO형식의바운딩박스를생성하여,최종적으로탐지모델학습에바로활용가능 한학습데이터를구축할수있도록설계되었다.실험에서는기존의 Random Paste, Semantic Paste 방식과 비교하여 SegPix로 증강된 YOLOv11 모델이 mAP@50, 정밀도(Precision), 재 현율(Recall) 모두에서 우수한 성능을 보였으며, 시각적으로도 자연스러운 합성이 가능함을 정성적 평가를 통해 확인하였다. 본 연구는 복잡한 GAN이나 확산 기반 생성 모델 없이도, 데이터의시맨틱정합성과시각적일관성을보장할수있는실용적인데이터증강기법을제 안하며,포트홀탐지뿐만아니라의료영상,산업결함감지등문맥인식기반시각적합성이 필요한다양한응용분야에적용가능한기반기술로서의확장가능성을보여준다. 주제어 (색인어,키워드) 포트홀탐지,시맨틱분할,문맥인식데이터증강,픽셀단위블렌 딩,합성이미지생성, YOLOv11,객체탐지,도로결함인식
more초록 (요약문)
Potholes pose serious risks to road safety and vehicle integrity. Although object detection-based approaches have shown promise in automatic pothole recognition, the scarcity and imbalance of annotated data—caused by diverse environmental variations such as region, weather, and time—remain significant challenges. Existing data augmentation techniques using synthetic image generation have attempted to address this issue, but often suffer from semantic inconsistency in object placement and visual mismatches with the background, thereby degrading the model’s learning efficacy. To overcome these limitations, this thesis proposes a novel image augmentation framework named SegPix (Semantic-Guided Pixel Blending). The method leverages DeepLabv3+ to extract valid road regions via semantic segmentation. It then computes RGBA channel-wise pixel difference maps between a source pothole patch and a visually matched road background, and applies additive blending to embed the object. To prevent unnatural or noisy insertions, a threshold-based filtering mechanism discards any synthesized instance where the resulting pixel value deviates significantly from the valid dynamic range. This design ensures that only contextually consistent and visually plausible insertions are retained. Additionally, SegPix supports the insertion of up to three non-overlapping potholes per image and generates YOLO-compatible bounding box annotations automatically. Experimental results demonstrate that the SegPix-augmented dataset consistently outperforms both traditional and random-paste augmentation strategies. When applied to a YOLOv11-based detector, SegPix achieved a maximum mAP@50 of 0.8801 with 4,533 training samples, along with noticeable improvements in precision and recall. Qualitative comparisons further confirm that SegPix maintains semantic coherence, preserves road markings, and achieves realistic boundary blending. SegPix introduces a lightweight, easily deployable data generation pipeline without the need for adversarial training or generative models. It can be readily extended to other object types and domains where semantic context and visual realism are critical, making it a practical and generalizable tool for enhancing data-limited detection systems.
more목차
1 서론 1
2 관련연구 3
2.1 이미지생성(Image Generation 3
2.2 시맨틱분할 (Semantic Segmentation) 4
2.3 포트홀탐지 (Pothole Detection) 6
2.4 본연구의위치화 (Positioning of This Work) 8
3 제안방법 10
3.1 데이터셋구성및전처리 (Dataset Preparation) 10
3.2 문맥인식기반합성이미지생성 (Context-Aware Synthetic Image Generation) 11
3.2.1 픽셀차이계산 (Pixel Difference Extraction) 12
3.2.2 시맨틱분할기반삽입위치결정 (Semantic Segmentation-Based Placement Selection) 13
3.2.3 픽셀단위블렌딩 (Pixel-Level Blending) 14
3.2.4 다중객체삽입및자동어노테이션 (Multi-Instance Label Generation) 16
4 실험및분석 19
4.1 실험설정 19
4.2 정량적결과 20
4.3 정성적평가 22
4.4 Stable Diffusion기반이미지생성및성능분석 27
5 결론및향후연구 30
5.1 연구요약 30
5.2 기술적기여및효과 30
5.3 실제적용가능성과학문적의의 30
5.4 한계점 31
5.5 향후연구방향 31
References 33
