객체검출 기술을 이용한 무인매장 상품 재고 관리 시스템
Unmanned Store Product Inventory Management System Using Object Detection Techniques
- 발행기관 서강대학교 정보통신대학원
- 지도교수 박운상
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 석사
- 학과 및 전공 정보통신대학원 데이터사이언스 · 인공지능
- 실제URI http://www.dcollection.net/handler/sogang/000000076692
- UCI I804:11029-000000076692
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
코로나 언택드 시대를 지나옴에 따라 소비자의 비대면 서비스에 대한 인식 의 변화, 매장의 Smart 화에 따른 편의성 증대로 인한 무인 매장이 증가하는 추세이다. 대부분의 마트의 경우, 직원이 일일이 제품의 재고를 파악하고, 부 족한 제품에 대해 다시 채워놓는 방식으로 진행되고 있다. 하지만 대형매장의 경우, 인력으로 파악하기엔 과도한 노동력이 필요 되고 있다. 또한, 무인매장 의 경우 상주하는 직원이 없는 경우가 대다수이다. 이에 발맞추어 무인매장, 창고형 대형마트 자동화를 위한 Computer Vision을 접목시킨 AI 모델 연구를 수행하였다. 본 연구에서 사용한 이미지 데이터는 AI허브(aihub.or.kr)의 “제품 상세 이 미지” 데이터로, 상품의 카테고리 별 라벨이 되어있다. 해당 데이터셋은 다양 한 각도에서 찍은 약 1만 장의 제품 이미지로 구성되어 있으며, 생필품, 음료, 주류,면류 등의 10개의 카테고리로 분류 되어있다. 또한, 구글에서 구한 제품 진열장에 제품이 가득 차 있는 100장의 이미지, 제품이 전혀 없는 100장의 이미지, 제품이 일부만 비어있는 300장의 이미지를 활용해 총 500장의 데이 터셋을 사용하였다. YOLOv5와, EfficientNet 모델을 기반으로 앞에 설명한 데이터 세트로 학습 하고 테스트/검증데이터를 통해 최적의 모델 성능을 찾기 위해 배치 크기와 반복횟수를 조절하며 진행하였다. 또한, 본 논문에서 제안하고자 하는 모델의 방식은 YOLOv5 성능에 따라 EfficientNet 분류기의 성능이 크게 차이 나는 문제점이 있다. 이를 극복하기 위해 학습된 모델을 가지고 객체탐지와 분류를 하는 과정에서, 촬영하는 사진을 다시 데이터셋으로 확보하고, 주기적으로 모 델을 학습시킴으로써 부족한 학습 데이터를 확보하는 Pipeline 구축을 제안한 다.
more초록
As the era of Covid-19 passes, the number of unmanned stores is increasing due to the change in consumers' perception of non-face-to-face services and the increased convenience of smart stores. In most marts, the employee checks the inventory of the product one by one and fills in the out-of-shelf-items again. However, in the case of large stores, excessive labor is required to identify themsuch items manually. Also, in the case of unmanned stores, most of them do not have residentregular employees. In line with this, an AI model incorporated with computer vision has been studied for automation of unmanned stores and warehouse-type markets. The image data used in this thesis is the "Product Detailed Image" data of the AI Hub (aihub.or.kr) and is labeled by product category. The dataset consists of about 10,000 product images, taken from various angles, in ten different categories such as daily-necessities, drinks, alcohol, and noodles. In addition, a total of 500 image dataset obtained by Google search is used, where 100 images are full of products, 100 images are without products, and 300 images are partially empty. The aforementioned data sets were used to train YOLOv5 and EfficientNet models, where the batch size and the number of iterations were adjusted to find the optimal model performance through test/validation data partitions. It has been observed during the experiments that the performance of the EfficientNet classifier varies greatly depending on the YOLOv5 performance. In the process of object detection and classification with the trained model, a pipeline was proposed to build to secure insufficient data and using them to further train the models to achieve improved detection and classification performance.
more목차
제 1 장 서론·1
제 1 절 연구의 배경 및 필요성 1
제 2 절 연구 목적 2
제 3 절 논문 구성 3
제 2 장 관련 연구 4
제 1 절 언택트 기술 연구 동향4
제 2 절 무인매장을 위한 딥러닝 연구 동향5
제 3 장 제안 방법 7
제 1 절 영상인식 객체 검출 (Object Detection) 7
제 2 절 영상인식 객체 분류(Object Classification) 11
제 3 절 이미지 처리를 위한 데이터 레이블링·13
제 4 절 추가 데이터셋 주기적 확보를 위한 Pipeline 구축·15
제 4 장 연구 실험 및 결과 17
제 1 절 전체 연구 방법 17
제 2 절 데이터 수집 18
제 3 절 데이터 전처리19
(1) 진열장 이미지 보정 19
(2) 제품 이미지 보정20
(3) 교차 검증을 위한 데이터 파티션 나누기20
제 4 절 이미지 처리22
(1) YOLOv5를 사용한 객체 탐지(Object Detection) 22
(2) EfficientNet을 사용한 객체 분류(Object Classification) 26
(3) YOLOv5에서 탐지된 객체를 EfficientNet을 활용한 분류 28
제 5 절 Pipeline 구축을 통한 데이터 추가 확보 31
제 5 장 결론33
참고 문헌34제 1 장 서론 1
제 1 절 연구의 배경 및 필요성 1
제 2 절 연구 목적 2
제 3 절 논문 구성 3
제 2 장 관련 연구 4
제 1 절 언택트 기술 연구 동향 4
제 2 절 무인매장을 위한 딥러닝 연구 동향 5
제 3 장 제안 방법 7
제 1 절 영상인식 객체 검출 (Object Detection) 7
제 2 절 영상인식 객체 분류(Object Classification) 11
제 3 절 이미지 처리를 위한 데이터 레이블링 13
제 4 절 추가 데이터셋 주기적 확보를 위한 Pipeline 구축 15
제 4 장 연구 실험 및 결과 17
제 1 절 전체 연구 방법 17
제 2 절 데이터 수집 18
제 3 절 데이터 전처리 19
(1) 진열장 이미지 보정 19
(2) 제품 이미지 보정 20
(3) 교차 검증을 위한 데이터 파티션 나누기 20
제 4 절 이미지 처리 22
(1) YOLOv5를 사용한 객체 탐지(Object Detection) 22
(2) EfficientNet을 사용한 객체 분류(Object Classification) 26
(3) YOLOv5에서 탐지된 객체를 EfficientNet을 활용한 분류 28
제 5 절 Pipeline 구축을 통한 데이터 추가 확보 31
제 5 장 결론 33
참고 문헌 34
