그래프 컨볼루션 신경망을 이용한 터치 움직임 인지
Touch Gesture Recognition with Graph Convolutional Network
- 주제(키워드) Gesture recognition , graph convolution , neural network , touch signal , 제스쳐 인지 , 그래프 컨볼루션 , 신경망 , 터치 신호
- 발행기관 서강대학교 일반대학원
- 지도교수 강석주
- 발행년도 2021
- 학위수여년월 2021. 8
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- UCI I804:11029-000000066304
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
터치 기능은 소비자 기기에 널리 사용된다. 또한, 다양한 유형의 신호 처리는 딥 러닝 기술을 사용하여 수행되었다. 그러나 신경망을 사용하여 터치 신호 처리의 성능 향상을 관찰한 경우는 드물다. 작동 및 저장 용량 측면에서 한계가 있는 소형 모듈에서 터치 신호 처리가 주로 사용되어 왔기 때문이다. 이 문제를 해결하기 위해 그래프 컨볼루션 신경망(GCN)를 사용하여 터치 제스처를 인식하는 새로운 방법을 제안한다. 우리의 방법은 높은 정확도와 계산 효율성을 얻기 위해 구조화된 GCN 블록을 효과적으로 활용한다. GCN블록 구조화는 입력 신호로 인해 생성된 신호들의 다양성 증대를 통해 효과적으로 정확도 상승을 일으키는 방향으로 이루어진다. 구체적으로는 GCN층을 병렬적으로 활용하여 다양성을 증가시킨다. 또한 다양성 저하를 보완하기 위해 건너뜀 연결을 활용한다. 마지막으로 움직임을 구성하는 좌표가 수집된 시간 정보를 신호처리에 반영시킨다. 시스템 구조 구현 이외에도 터치신호를 효과적으로 시뮬레이션 할 수 있는 학습용 데이터 수집을 진행하였다. 신경망 학습에 적합하도록 여러 사람들로부터, 여러 유형의, 큰 다양성을 가지고 있는 터치 제스처에 의해 생성된 신호를 수집하였다. 또한 수집된 터치스크린의 신호에 대해 데이터 확대를 적용함으로써 데이터 다양성을 증가시킨다. 실험에 따르면 제안된 시스템은 높은 정확도와 최소 메모리 사용을 달성한다. 또한 제안된 시스템은 1,500개의 매개 변수를 사용할 때 97.3%의 정확도를 달성한다.
more초록/요약
Touch functions are widely used in consumer devices. Moreover, the processing of various types of signals has been performed using deep learning techniques. However, it is rare to observe performance improvements in touch signal processing using a neural network. This is because touch signal processing has been mainly used in small modules that have limitations in terms of operation and storage capacity. To solve this problem, we propose a novel method that recognizes touch gestures using a graph convolutional network (GCN). Our method effectively utilizes structured GCNs to obtain high accuracy and computational efficiency. GCN block structuring is in the direction of effectively causing an increase in accuracy through increased diversity of generated signals due to input signals. Specifically, we leverage the GCN layer in parallel to increase diversity. We also apply to skip connections to compensate for the diversity degradation. Finally, the coordinates that make up the motion reflect the collected time information in signal processing. In addition to implementing the system structure, we also proceed with the collection of learning data that can effectively simulate touch signals. To be suitable for neural network learning, we collect signals generated by touch gestures from multiple people, different types, with great diversity. We also increase data diversity by applying data augmentation to signals from the collected touchscreen. Experiments show that the proposed system achieves high accuracy and minimal memory usage. Also, the proposed system achieves 97.3% accuracy when 1,500 parameters were used.
more