LNGC 환경 예측 모델을 이용한 심층 강화학습 기반 에너지-효율적 공조 제어 방법

채영은; 김재성; 옥진성; 서영균

doi:10.5626/JOK.2022.49.12.1062

주제분류

...

저널정보

Korean Institute of Information Scientists and Engineers
Journal of KIISE 학술저널
정보과학회논문지 제49권 제12호
2022.12 1,062 - 1,070 (9page)
DOI : 10.5626/JOK.2022.49.12.1062

저자정보

채영은 (경북대학교)
김재성
옥진성 (대우조선해양)
서영균 (경북대학교)

이용수
내서재: 1

내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

초록·키워드

오류제보하기

본 논문은 건조 중인 LNG 화물창 환경을 안정적으로 유지하고 에너지를 최소화하기 위한 심층 강화학습 기반 공조 제어 방법을 제안한다. 건조 중인 화물창 내부와 같은 특수한 환경은 여러 요인에 의해 영향받기 쉬우므로, 정보를 정확히 예측하여 에너지 소모가 많은 공조 시스템을 자동으로 제어하기 어렵다. 이러한 문제를 완화하기 위해, 우리는 심층 강화 학습 모델을 통해 훈련된 공조 제어 에이전트를 통해 실내 환경을 안정적으로 제어하는 최신 방법을 제안한다. 이 방법에서는 운영 상황에 대한 전문지식 없이, 수집된 데이터의 상관 분석을 기반으로 실내 환경 상태 예측 모델을 구성하고, 모델을 기반으로 상태와 행동을 정의한 후 보상 기능을 통해 정책으로 훈련된 에이전트를 구축한다. 제안한 방법의 유효성을 확인하기 위하여, 우리는 실제 LNG 화물창 내부 공조 시스템에서 수집한 데이터를 이용하여 구축한 시뮬레이션 환경에서 HVAC 제어 성능 평가를 수행한다. 우리의 시뮬레이션 결과는 본 논문에서 고려하였던 3종의 강화학습 모델 중 Double DQN 모델이 공조 제어에 가장 효과적임을 보인다. 또한, 그 결과는 학습된 에이전트가 사용자-지정 온도 내에서 화물창 내부 환경을 안정적으로 유지 시키면서 일 평균 28.2%까지 전력 소모를 줄일 수 있음을 보인다.

This paper proposes a heating, ventilation, and air conditioning (HVAC) control scheme based on deep reinforcement learning to stably maintain the internal environment of an LNG cargo hold under construction and minimize energy consumption. Since a particular environment such as inside of a cargo ship under construction is readily influenced by several factors, it is difficult to accurately forecast indoor temperature and humidity information and automatically control HVAC system. To alleviate this problem, we propose a novel scheme to steadily controlling an indoor environment via an HVAC control agent trained through a deep reinforcement learning model. In this scheme, we construct an indoor-environment state prediction model based on correlational analyses of collected data without expertise concerning the operating circumstance, define the state and action based on the model, and then build the agent trained with a policy through a reward function. To assess the validity of the proposed scheme, we conduct HVAC control performance evaluation in a simulated environment built using the data collected from an actual LNGC HVAC system. Our simulation results show that the Double Deep Q-Network (DQN) model was the most effective for HVAC control among three types of reinforcement learning models that we considered in this study. Also, the results reveal that the trained agent could reduce average daily power consumption by 28.2% while stabilizing indoor environment of the cargo hold within user-specified temperature range.

#강화학습 #공조 시스템 #최적 자동제어 #에너지 소모 최소화 #안정적인 환경 #심층 큐-망 #reinforcement learning #HVAC system #optimal auto control #energy consumption minimization #stable environment #deep Q-network