사람의 동작 인식 및 기기 제어를 위한 가속도와 초음파 융합 기반 손동작 분류 기법

IT 기술이 발전함에 따라 웨어러블 기기와 IoT(Internet of Things) 기기들이 늘어나고, 사람들에게 보편화되고 있다. 휴대성을 위해 기기들의 크기가 점점 작아지면서, 일반적인 버튼이나 터치를 이용한 기술로 제어하는 것은 점점 어려워지고 있다. 이러한 문제점을 해결하기 위해서, 사람의 동작을 인식하여 기기를 제어하는 새로운 방식의 인터페이스에 대한 연구들이 진행되고 있다. 본 논문에서는 추가적인 센서를 사용하지 않고, 스마트폰의 마이크와 스피커, 스마트워치에 내장되어있는 가속도계만으로 손동작을 분류하는 방법을 제시한다. 가속도 데이터와 초음파 데이터를 융합(fusion)하여, 손동작 분류의 정확도를 높이는 방법을 제안한다. 데이터를 융합하는 연산에 따라서 Max, Add, Concat 모델로 구분한다. 융합 모델은 한 가지의 데이터만 학습한 모델에 비해 분류 정확도가 향상되는 것을 확인하였다. 성능이 가장 높은 모델인 Concat 모델은 10가지 패턴에 대해서 90.0%의 분류 정확도를 보이는 것을 확인하였고, 이는 가속도 데이터만 사용하여 학습한 모델보다 5.8%, 초음파 데이터만 사용한 모델보다는 16.4% 향상된 분류 정확도이다.

As IT technology grows, wearable devices and Internet of Things devices are increasing, and they are becoming more common for people. As devices get smaller and smaller in size for portability, it is becoming increasingly difficult to control using general buttons or touches. To solve this problem, studies are being conducted on a new interface that controls a device by recognizing human motion. In this paper, we present a method of classifying hand gestures with only the microphone and speaker in the smart phone, and accelerometer built into the smart watch without using an additional sensor. We propose a method to increase the accuracy of hand gesture classification by fusion of acceleration data and ultrasound data. According to the fusion operation, it is classified into Max, Add, and Concat models. These fusion models improved classification accuracy compared to models that train only one part of the data. The Concat model, which is the best performing model showed 90.0% classification in 10 patterns, this classification accuracy is improved by 5.8% compared to the model trained using only acceleration data and 16.4% compared to the model using only ultrasound data.

#Gesture Recognition #Acceleration Data #Ultrasound Data #Fusion Model #Short-Time Fourier Transform