비대응 데이터를 활용하는 순환 네트워크 구조와 도메인 적대적 손실함수를 통한 실제 환경 얼굴 초해상도 연구

최익규; 박해솔; 김익재

doi:10.5573/ieie.2022.59.8.35

주제분류

...

저널정보

대한전자공학회
전자공학회논문지 학술저널
전자공학회논문지 제59권 제8호(통권 제537호)
2022.08 35 - 46 (12page)
DOI : 10.5573/ieie.2022.59.8.35

저자정보

최익규 (과학기술연합대학원대학교)
박해솔 (한국과학기술연구원)
김익재 (한국과학기술연구원)

이용수
내서재: 0

내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

초록·키워드

오류제보하기

대부분의 딥러닝 기반 얼굴 초해상도 네트워크는 원본 고해상도 얼굴 이미지로부터 입력 저해상도 이미지가 생성되는 방식(i.e. bicubic downsampling)을 알고 있다는 가정 하에 학습된다. 이로 인해 학습 데이터와 다른 분포를 띄는 실제 저해상도 얼굴 이미지에서는, 논문에서 보고되는 것과 같은 선명한 초해상도 결과를 얻기 어렵다. 이러한 한계점을 극복하기 위해서 본 연구는 기존 초해상도 연구에서 일반적으로 사용되던 데이터 셋(paired)과 함께 실제 저해상도 이미지(unpaired)를 학습에 활용하여, 실제 저해상도 얼굴 이미지에서도 강건하게 초해상도를 수행할 수 있는 방법을 제안한다. 구체적으로 대응되는 고해상도 이미지가 없는 저해상도 얼굴 이미지를 초해상도 학습에 활용할 수 있도록 Cycle 기반의 네트워크 구조를 설계하였다. 또한 제안하는 네트워크가 다른 형태의 두 도메인(paired, unpaired)으로 구성된 데이터 셋으로 학습함에도 불구하고, 안정적인 학습을 수행하도록 돕는 도메인 적대적 손실함수(domian adversarial loss)를 초해상도 연구에 적용하는 방법을 제안한다. 여러 실험을 통해 제안하는 모델이 기존 연구들에서도 좋은 초해상도 성능을 보여주던 가상의 저해상도 얼굴 이미지에서 뿐만 아니라, 본 논문에서 목표로 하는 실제 저해상도 얼굴 이미지에서도 더 뛰어난 얼굴 초해상도 결과를 보여준다는 것을 시각적, 수치적으로 입증하였다.

Most deep-learning-based face super-resolution networks has been trained under the assumption that they know how input low-resolution images are generated from original high-resolution facial images (i.e. bicubic downsampling). For this reason, it is difficult to obtain clear super-resolution results as reported in papers for the real-world low-resolution face image that was not seen during training. In order to overcome this limitation, we propose a novel method that can roboustly perform face super-resolution on real-world low-resolution faces by utilizing actual low-resolution images(unpaired) alo-ng with commonly used dataset(paired). Specifically, we designed a cycle-based network structure so that a low-resolution face image without a corresponding high-resolution image could be used for super-resolution training. In addition, we pro-pose a method to apply domain adversarial loss to super-resolution research, which helps the proposed network perform s-table learning even though it trained from a dataset composed of two different domains (paired and unpaired). Through t-he several experiments, our method outperforms state-of-the-art methods in both qualitatively and quantitatively metrics at not only synthetic low-resolution face images but also real-world low-resolution face images.

#AI #Deep learning #Face super-resolution #Real-world face super-resolution #Unpaired dataset