초록

최근 스마트 기기의 발전으로 인터넷상에 존재하는 이미지 데이터의 양이 급속하게 증가하는 상황에서 효과적인 이미지 검색을 위한 다양한 방법들이 연구되고 있다. 기존의 이미지 검색 방법들은 이미지에 존재하는 물체들을 단순하게 검출하여 각 물체들의 라벨 정보에 근거한 검색을 수행하기 때문에 사용자가 원하는 이미지와 검색 결과로 얻은 이미지 간에 의미적 차이인 시맨틱 갭(Semantic Gap)이 발생된다. 이미지 검색에서 발생하는 시맨틱 갭을 줄이기 위해, 본 논문에서는 딥러닝 기반의 다중 객체 분류 모듈과 사람의 행위를 분류하는 모듈을 연결하고, 이 모듈들에 행위 온톨로지를 결합하였다. 즉, 딥러닝과 행위 온톨로지의 결합을 기반으로 객체들 간의 연관성을 고려한 이미지 검색 시스템을 제안한다. 이미지에 포함된 동적인 행위를 고려하기 위해 Walking과 Running 데이터를 이용하여 실험한 결과를 분석하였다. 제안한 방법은 향후 이미지 검색 결과의 정확도를 높일 수 있는 영상의 자동 주석 생성 연구에 확장하여 적용할 수 있다.

키워드

시맨틱 갭, 이미지 검색, 행위 온톨로지, 딥러닝, 결합

참고문헌(17)open

  1. [학술대회] R. Datta / 2005 / Image Retrieval: Ideas, Influences, and Trends of the New Age / Proceedings of the 7th ACM SIGMM international workshop on Multimedia information retrieval

  2. [학술지] Y. Rui / 1999 / Image retrieval: Current techniques, promising directions, and open issues / Journal of visual communication and image representation 10 : 39 ~ 62

  3. [학술지] M. Singha / 2012 / Content based image retrieval using color and texture / Signal & Image Processing : An International Journal(SIPIJ) 3 : 39 ~ 57

  4. [단행본] F. Long / 2003 / Fundamentals of content based image retrieval / Technological Fundamentals and Applications Springer-Verlag

  5. [학술지] B. Dinakaran / 2010 / Interactive image retrieval using text and image content / Cybernetics and Information Technologies 10 : 20 ~ 30

  6. [학술대회] H. H. Wang / 2009 / Image Retrieval: Techniques, Challenge, and Trend / International conference on Machine Vision, Image processing and Pattern Analysis

  7. [학술지] N. Shanmugapriya / 2013 / A new content based image retrieval system using GMM and relevance feedback / Journal of Computer Science 10 (2) : 330 ~ 340

  8. [학술지] Z. Mehmood / 2018 / Content-based image retrieval based on visual words fusion versus features fusion of local and global features / Arabian Journal for Science and Engineering : 1 ~ 20

  9. [학술지] Ansari, Mohd / 2017 / An Effective Approach to an Image Retrieval using SVM Classifier / International Journal of Computer Sciences and Engineering 5 : 62 ~ 72

  10. [학술대회] Ansa Saju / 2014 / Reduction of semantic gap using relevance feedback technique in image retrieval system / ICADIWT : 148 ~ 153

  11. [학술지] Bai, C / 2018 / Optimization of deep convolutional neural network for large scale image retrieval / Neurocomputing 303 : 60 ~ 67

  12. [학술대회] Ouhda, M. / 2019 / Content-Based Image Retrieval Using Convolutional Neural Networks, Lecture Notes in Real-Time Intelligent Systems / Advances in Intelligent System and Computing : 463 ~ 473

  13. [학술대회] S. Ren / 2015 / Faster R-CNN: towards real-time object detection with region proposal networks / NIPS : 91 ~ 99

  14. [학술대회] C. Thurau / 2008 / Pose primitive based human action recognition in videos or still images / Proceedings of the in 2008 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)

  15. [인터넷자료] / https://ko.wikipedia.org/wiki/Ontology

  16. [학술대회] C. Schuldt / 2004 / Recognizing Human Actions: A Local SVM Approach / presented at Proceedings of the International Conference on Pattern Recognition (ICPR) : 32 ~ 36

  17. [학술지] J. -B. Lamy / 2017 / Owlready: Ontology-oriented programming in Python with automatic classification and high level constructs for biomedical ontologies / Artificial Intelligence in Medicine 80 : 11 ~ 28