Accelerating a Deep Learning Application by Parallelization and Pipelining on Heterogeneous Processors

Samnieng Tan; EunJin Jeong; Jangryul Kim; Jaeseong Lee; Soonhoi Ha

doi:10.5626/KTCP.2021.27.10.497

주제분류

...

저널정보

Korean Institute of Information Scientists and Engineers
정보과학회 컴퓨팅의 실제 논문지 학술저널
정보과학회 컴퓨팅의 실제 논문지 제27권 제10호
2021.10 497 - 502 (6page)
DOI : 10.5626/KTCP.2021.27.10.497

저자정보

Samnieng Tan (서울대학교)
EunJin Jeong (서울대학교)
Jangryul Kim (서울대학교)
Jaeseong Lee (서울대학교)
Soonhoi Ha (서울대학교)

이용수
내서재: 0

내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

초록·키워드

오류제보하기

임베디드 시스템에서 딥 러닝 응용에 대한 필요가 증가함에 따라, 응용을 가속하는 데에 있어서 CPU가 아닌 처리 요소(processing element)를 임베디드 기기에 포함되고 있다. NVIDIA Jetson AGX Xavier는 대표적인 예제로 8-core CPU 뿐만 아니라 GPU와 2개의 딥러닝 가속기를 함께 갖고 있어서 자원이 제한된 환경에서 딥 러닝 응용의 성능을 끌어올리는 데에 활용된다. 임베디드 기기가 이기종처리 요소를 제공한다고 하여도, 이런 다양한 요소들을 함께 활용하여 성능을 올리는 것은 상당한 노력을 필요로 한다. 본 논문에서는 기존의 존재하는 여러 기법들과 우리가 제안하는 네트워크 파이프라이닝 기법을 함께 조합하여 이기종 처리요소를 가진 Xavier에서 딥 러닝 응용의 처리량을 최대화 하는 기법을 제안한다. 여러 개의 이미지 분류 예제와 사물 인식 예제를 통해 하나의 GPU를 사용하는 기존의 방법 대비 최대 355%까지 성능이 향상되는 것을 확인하였다.

Since the need of deep learning applications in embedded systems is increasing, non-CPU processing elements are equipped on an embedded device to accelerate those applications. NVIDIA Jetson AGX Xavier (Xavier) is a representative example which not only has an octa-core CPU, but also has one powerful GPU and two deep learning accelerators to enhance the performance of deep learning inference on resource-constrained environments. Although an embedded device provides heterogeneous processing elements, utilizing diverse computation units is burdensome to increase performance. In this paper, we proposed a technique that combines multiple existing methods and our proposed network pipelining method to maximize the throughput of deep learning applications. Our network pipelining method is made for utilizing heterogeneous processing elements on the Xavier. Results of experiments with image classification and object detection examples revealed up to 355% improvement compared to baseline Frames Per Second (FPS) with a single GPU.

#딥 러닝 #이기종 프로세서 #파이프라이닝 #병렬화 #deep learning #heterogeneous processors #pipelining #parallelization