컬러 정보가 포함된 포인트 클라우드의 딥러닝 기반 업샘플링 기법
Deep Learning Based Upsampling for Colored Point Cloud
- 발행기관 서강대학교 일반대학원
- 지도교수 박운상
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000076801
- UCI I804:11029-000000076801
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
실세계의 형상을 디지털 데이터로 나타내는 것은 예술, 게임, 설계 분야에서 주목받아온 주제로, 최근 컴퓨터 연산 속도가 고속화됨에 따라 3차원 디지털 데이터를 보다 정밀하게 표현하려는 경향이 증가하고 있다. 대표적인 3차원 디지털 데이터 표현법으로 3D 포인트 클라우드(3D Point Cloud)와 메쉬(Mesh)의 해상도를 향상시키는 작업은 이러한 응용 분야에서 매우 중요하다. 이 작업에는 정확한 기하학적 정보와 색상 정보 획득 방법이 요구되는데, 일반적으로 LiDAR와 같은 3D 센서로 획득한 색상 정보가 없는 3D 포인트 클라우드 데이터를 사용하므로 해상도 향상으로 생성되는 점들의 기하학적 정보 획득에 대한 연구는 활발한 반면, 색상 정보 획득에 대한 연구는 활발하지 않아 독립된 프로세스로 구별되고 있다. 또한, 3D 포인트 클라우드의 색상 정보 업샘플링(Upsampling)에 대한 현재 연구의 솔루션은 딥 러닝이 아닌 전통적인 알고리즘을 기반으로 하고 있기 때문에 다양한 데이터에 대하여 유연성이 제한될 수 있다. 본 논문은 이러한 한계를 극복하기 위해 3D 포인트 클라우드의 기하학적 및 색상 정보를 동시에 업샘플링하는 딥 러닝 기반의 접근 방식을 제안한다. 본 연구는 기존의 접근 방식과 차별화되어 기하학적 정보와 색상 정보를 효율적으로 통합하여 end-to-end로 구현하였다. 더불어, 딥 러닝을 활용하여 색상 정보 업샘플링에 유연성을 부여하고, 기존 방법에서 나타나는 색상 흐림 현상을 개선함으로써, 업샘플링된 3D 포인트 클라우드에 대한 고품질 색상 정보를 획득하였다.
more초록
Representing the shape of the real world as digital data is a topic that has received attention in the fields of art, games, and design. As computer processing speed has recently increased, the tendency to express three dimensional digital data with precision is noticeably increasing. Improving the resolution of 3D point cloud and mesh in 3D digital data representation method is very important in many application fields, where accurate geometric and color information. Since 3D point cloud data obtained by 3D sensors such as LiDAR is generally used without color information, research on obtaining geometric information of points with improved resolution is necessary. However, research on color information acquisition is not actively conducted and is distinguished as an independent process. In addition, the current solution for color upsampling in point cloud is based on traditional algorithms rather than deep learning, hence flexibility may be limited for various data. To address these limitations, this thesis proposes a deep learning-based approach that upsamples both geometric and color information of a 3D point cloud. Unlike previous studies, geometric information and color information were integrated by one process and implemented in end-to-end manner. In addition, flexibility was secured by applying a deep learning method to upsample color information, and by improving the color blurring phenomenon of the existing method, which enables obtaining quality color information in upsampled point cloud.
more목차
제 1 장 서 론 1
1.１ 연구 배경 1
1.２ 논문의 구성 3
제 2 장 관련 연구 3
2.１ DGCNN 3
2.２ PUGeo-Net 4
2.２.1 Feature Extraction 6
2.２.2 Feature Recalibration 7
2.２.3 Point Expansion 8
2.２.4 Local Shape Approximation 9
2.３ K-NN 알고리즘 기반의 point cloud의 색상 정보 예측 방법 10
제 3 장 본 론 11
3.１ 제안하는 모델의 구조 11
3.１.1 Color Feature Extraction 12
3.１.2 Color Feature Refinement 14
3.１.3 Color Expansion 16
3.２ Color Loss 정의 . 16
제 4 장 실험 및 결과 19
4.１ 데이터셋과 실험 환경 19
4.２ 평가 지표 22
4.３ 실험 검증 23
4.３.1 기하학적 정보 예측 성능 검증 23
4.３.2 색상 정보 예측 성능 검증 28
4.３.3 Ablation Study 31
제 5 장 결 론 32
제 6 장 참고 문헌 34
