초록

여러 분야에서 뛰어난 성능을 보이는 딥러닝은 뉴럴 네트워크의 은닉 계층을 늘려 깊은 네트워크 구조를 형성할 수 있다. 이에 따라 복잡한 데이터를 쉽게 분류할 수 있으나, 가중치 수 증가로 인해 학습 연산량 및 메모리가 증가한다. 이처럼 많은 연산과 메모리가 필요한 딥러닝은 일반적으로 클라우드 상으로 학습하나, 클라우드는 사용자와의 통신상태가 원활해야 하며 서비스 비용에 대한 부담감 및 개인정보 유출에 대한 위험성을 가진다. 이러한 문제를 해결하기 위해서 딥러닝을 임베디드 디바이스에 탑재해야 하며 온디바이스 탑재를 위한 네트워크 경량화가 필요하다. 경량화 기법으로는 프루닝 기법과 양자화 기법이 널리 사용되고 있으며 기존 양자화 기법은 비지도 학습 중 하나인 K-means를 사용하여 각 계층의 가중치들을 군집화하여 대푯값을 결정한다. K-means 기법에서 군집의 개수를 의미하는 K는 시행착오 방법을 통해 설정해야 하며 이에 따른 오버헤드가 발생한다. 또한, 기존 양자화 기법은 네트워크 각 계층의 연결 관계를 무시한 채 독립적으로 양자화한다. 우리는 연산 오버헤드 문제를 해결하기 위해 가중치들의 통계적 정보를 이용한 즉각적 가중치 양자화 기법을 제안하고 네트워크 각 계층의 의존관계를 고려하여 순차 적으로 양자화함으로써 향상된 학습 성능을 보여준다.

키워드

딥러닝, 뉴럴네트워크, 양자화기법, K-means기법

참고문헌(18)open

  1. [학술지] 유재필 / 2018 / 딥 러닝을 이용한 포트폴리오 구성 전략 / 정보화연구 15 (1) : 43 ~ 50

  2. [학술지] Rauschecker, J. P. / 1984 / Neuronal mechanisms of developmental plasticity in the cat's visual system / Human neurobiology 3 (2) : 109 ~ 114

  3. [학술지] Hanson, Stephen José / 1989 / Comparing biases for minimal network construction with back-propagation / Advances in neural information processing systems : 177 ~ 185

  4. [학술대회] Lane, Nicholas D. / 2016 / Deepx: A software accelerator for low-power deep learning inference on mobile devices / 15th ACM/IEEE International Conference on : 1 ~ 12

  5. [학술지] 유재필 / 2017 / 기계학습과 데이터 시각화 기법을 이용한 주가 패턴 분석 / 정보화연구 14 (2) : 189 ~ 197

  6. [학술지] Alsabti, Khaled / 1997 / An efficient k-means clustering algorithm / Electrical Engineering and Computer Science

  7. [학술지] Han, Song / 2015 / Learning both weights and connections for efficient neural network / Advances in neural information processing systems : 1135 ~ 1143

  8. [학술지] Ström, Nikko / 1997 / Phoneme probability estimation with dynamic sparsely connected artificial neural networks / The Free Speech Journal 5 : 1 ~ 41

  9. [학술대회] Buluç, Aydin / 2009 / Parallel sparse matrix-vector and matrix-transpose-vector multiplication using compressed sparse blocks / Proceedings of the twenty-first annual symposium on Parallelism in algorithms and architectures : 233 ~ 244

  10. [보고서] Molchanov, Pavlo / 2016 / Pruning convolutional neural networks for resource efficient transfer learning

  11. [보고서] Gong, Yunchao / 2014 / Compressing deep convolutional networks using vector quantization

  12. [보고서] Zhu, Chenzhuo / 2016 / Trained ternary quantization

  13. [학술대회] Loroch, Dominik Marek / 2017 / TensorQuant: A Simulation Toolbox for Deep Neural Network Quantization / Proceedings of the Machine Learning on HPC Environments : 1

  14. [학술지] Hawkins, Douglas M. / 2004 / The problem of overfitting / Journal of chemical information and computer sciences 44 (1) : 1 ~ 12

  15. [학술지] Krizhevsky, Alex / 2012 / Imagenet classification with deep convolutional neural networks / Advances in neural information processing systems : 1097 ~ 1105

  16. [보고서] Han, Song / 2015 / Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding

  17. [학술지] Pukelsheim, Friedrich / 1994 / The three sigma rule / The American Statistician 48 (2) : 88 ~ 91

  18. [인터넷자료] Krizhevsky, Alex / Learning multiple layers of features from tiny images