Korean J Adult Nurs. 2020 Feb;32(1):35-45. Korean.
Published online Feb 20, 2020.
© 2020 Korean Society of Adult Nursing
Original Article
중소병원 간호사의 Braden Scale을 이용한 욕창위험사정 및 욕창분류체계의 측정자 간 일치도
나형주,1 유성희,2 권영란,2 안민정2
The Interrater Agreement for the Assessment of Pressure Ulcer Risk Using the Braden Scale and the Classification of Pressure Ulcers by Nurses in A Medium-Sized Hospital
Hyung-Ju Na,1 Sung-Hee Yoo,2 Young-Ran Kwon,2 and Min-Jeng Ahn2
    • 1서울특별시 동부병원 상처장루실금전문간호사
    • 2전남대학교 간호대학 부교수
    • 1Wound, Ostomy, Continence-Nursing Specialist, Metropolitan Dongbu Hospital, Seoul, Korea.
    • 2Associate Professor, College of Nursing, Chonnam National University, Gwangju, Korea.
Received September 10, 2019; Revised December 05, 2019; Accepted January 01, 2020.

This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Purpose

This methodological study was conducted to evaluate the interrater agreement in pressure ulcer risk assessment using the Braden scale, and in pressure ulcer classification, by nurses in a medium-sized hospital.

Methods

Data were collected from a medium-sized hospital, located in Seoul, from December 18, 2017 to February 28, 2018. The author (Rater 1) and 20 randomly sampled nurses (Rater 2) independently assessed 100 patients. The Braden scale for risk assessment and the six-stage pressure ulcer classification system were used. The interrater agreement was evaluated using the Intraclass Correlation Coefficient (ICC), the proportion of agreement (Po), and the Bland-Altman plots.

Results

For the total score on the Braden scale, the ICC was .85 and the Po was .29. Among the scale items, ‘moisture’ had the lowest agreement (ICC=.55, Po=.46). The interrater agreement had Po values of .84 and .69 for the presence and the classification of pressure ulcers, respectively.

Conclusion

For nurses in medium-sized hospitals, interrater agreement for the Braden scale and for the classification of pressure ulcers should be enhanced. In order to do this, overall institutional support is needed, including training in the accurate use of tools for pressure ulcer care.

Keywords
Pressure ulcer; Braden scale; Observer variation; Risk assessment
욕창; 브라든 도구; 관찰자 변이; 위험 사정

서론

1. 연구의 필요성

욕창이란 피부 또는 그 밑의 조직에 지속적인 압력이나 전단력으로 인해 뼈 돌출 부위에 흔히 발생하는 국소적인 손상이다[1]. 국내의 욕창 발생률을 살펴보면 중환자실 환자에서 24.2%[2], 고관절 골절로 입원한 노인 환자에서 14.9%[3]를 보였으며, 국외의 경우 4.6%에서 27.2%까지[4] 다양한 발생률을 나타내고 있다. 욕창은 병원 관련 감염 및 합병증의 위험을 높이고[5], 이로 인한 재원기간 연장 및 의료 비용 증가[6]로 대상자와 그 가족에게 커다란 부담을 주고 있다. 따라서 욕창이 발생하지 않도록 그 위험성을 사정하여 적절하게 예방하고, 욕창이 발생한 경우 정확한 분류를 통해 각 단계에 알맞은 치료 및 관리가 이뤄져야 한다. 이를 위해 타당도와 신뢰도가 입증된 도구 및 그 도구의 정확한 사용이 매우 중요할 것이다.

욕창이 발생할 위험을 사정하는 도구 중 Braden scale은 욕창 발생에 기여하는 여섯 개의 하부 항목(‘감각 인지’, ‘습기’, ‘활동’, ‘움직임’, ‘영양 상태’, ‘마찰력과 전단력’)으로 구성되어 있으며, 임상에서 가장 광범위하게 이용되는 욕창위험 사정도구이다[7]. Braden scale에 관한 기존 연구의 주요 관심사는 민감도와 특이도였으며, 이는 다양한 환경에서 연구되어 왔다. 최근의 Braden scale에 대한 예측타당도 메타분석 연구에 의하면 민감도 0.74, 특이도 0.75로 임상환경과 환자의 특성에 따라 조금씩 차이가 있으나 일반적으로 적용 가능한 도구로 평가되고 있고[8], 실제 임상에서 많이 사용되고 있다.

측정자간 일치도는 서로 다른 측정자가 같은 대상을 측정할때 발생하는 오류를 반영하는 신뢰도로써 임상 실무에서 이용되는 도구는 높은 수준의 측정자간 일치도가 필수적이다[9]. Braden scale의 측정자 간 일치도에 관한 기존 연구를 살펴보면, 국내의 일개 대학병원에서 일반 간호사들 간 Braden scale 총점의 측정자간 일치도가 급내상관계수(Intraclass Correlation Coefficients, ICC) 값 .88로 우수하였으나 하부 항목 중 ‘습기’에서 .60, ‘영양 상태’에서 .65로 타 항목에 비해 낮은 결과를 보였다[10]. 또한 상급종합병원의 상처장루실금전문간호사(Wound, Ostomy, Continence-Nursing specialist, WOCN)와 일반간호사 간 Braden scale의 측정자간 일치도를 일치율(Proportion of agreement, Po) 값으로 나타낸 연구[11]에서, Braden scale의 총점에 대한 일치율(Po)이 .37로 낮은 수준을 보였다. 국외의 경우, Braden scale 총점의 측정자간 일치도가 일개 대학병원 중환자실 간호사를 대상으로 한 연구[12]에서 ICC 값 .72, 가정 간호사를 대상으로 한 연구[13]에서 ICC 값 .90으로 대체로 높은 수준이었지만, ‘습기’와 ‘영양 상태’의 하부 항목에서 낮은 일치도를 보여 국내의 연구결과와 비슷한 양상을 보였다.

욕창이 이미 발생한 경우, 정확한 분류를 통해 욕창 단계를 결정하고 이에 따른 적절한 중재를 시행하기 때문에 욕창분류체계 역시 매우 중요한 도구이다. 2007년, 기존의 4단계 분류법에서 새로운 6단계 욕창분류체계로 개선되어 임상 및 연구에 적용되어 왔다[14]. 욕창분류체계에 관한 기존 연구를 살펴보면, 창백성 홍반과 비창백성 홍반인 ‘Stage I’[15]의 구분, ‘Stage I’과 ‘Stage II’의 구분[16]에서 간호사들이 어려움을 겪고 있었으며, 새롭게 추가된 심부조직손상 의심단계(Suspected Deep Tissue Injury, S-DTI)와 미분류 단계(Unstageable) 역시 혼동을 주고 있음이 보고된 바 있다[17]. 또한 욕창분류체계에 관한 대부분의 연구가 이미지를 통한 지식과 시각적 감별 능력을 파악하였을 뿐 실제 피부를 사정하여 나온 결과가 아니기 때문에 간호사들의 욕창단계를 분류하는 능력을 정확하게 파악했다고 보기에는 한계가 있다.

한편, 중소병원은 적절한 인력의 부족으로 욕창 관리의 대부분을 일반 간호사가 담당하고 있다[18]. 중소병원 간호사에 대한 욕창간호교육이 지식과 수행의 향상에 중요한 요인임이 밝혀졌지만[19], 이들이 경험하는 대부분의 교육은 일회성 보수교육이며 그마저도 경험해보지 못한 경우가 40%에 이른다[18]. 또한 상처장루실금전문간호사와 같은 전문 인력의 부족으로 최신 경향의 욕창 간호 지식을 접할 기회가 부족하기 때문에 이들에게 욕창 관련 도구의 정확한 사용이 이뤄지고 있는지 의문이다. 선행연구에 따르면, 중소병원 간호사의 욕창간호지식과 수행도가 부서별로 차이를 보임에 따라[18, 19], Braden scale을 이용한 욕창위험사정과 욕창분류체계의 측정자간 일치도 역시 부서별 차이가 있는지 살펴볼 필요가 있다.

이렇듯 임상에서 광범위하게 이용되고 있으며 욕창간호의 기본이라 할 수 있는 Braden scale을 이용한 욕창사정과 욕창분류체계를 이용한 욕창단계의 분류에 있어 선행연구에서 간호사 간 이견을 보였으며, 이 또한 대부분 상급종합병원 간호사를 대상으로 하였다. 이에 본 연구에서는 중소병원 간호사들이 Braden scale과 욕창분류체계를 정확하게 이용하고 있는지의 여부를 파악하기 위해 실제 환자를 대상으로 상처장루실금전문간호사와 일반간호사 간의 측정자간 일치도를 조사하고, 부서별로 그 차이를 살펴보고자 한다. 이는 향후 중소병원 간호사들에게 정확한 욕창 관련 도구의 이용 및 전반적인 욕창 간호를 위한 교육 개발의 기초자료가 될 것으로 생각된다.

2. 연구목적

본 연구의 목적은 중소병원의 상처장루실금전문간호사와 일반간호사간의 Braden scale을 이용한 욕창위험사정 점수 및 고위험군 분류, 욕창 유무, 욕창분류체계에 따른 욕창 단계 평가에 대한 측정자간 일치도를 파악하고자 함이다.

연구 방법

1. 연구설계

본 연구는 중소병원의 상처장루실금전문간호사와 일반간호사 간의 Braden scale을 이용한 욕창위험사정과 욕창분류체계에 대한 측정자간 일치도를 조사하는 방법론적 연구이다.

2. 연구대상

본 연구의 대상자는 서울특별시에 소재하는 100병상 이상 300병상 미만의 일개 중소병원에서 만 19세 이상의 성인 입원환자와 담당 간호사 중 연구의 목적을 이해하고 연구참여에 동의한 환자(측정대상자)와 간호사(측정자)를 대상으로 하였다. 1년 미만의 신규 간호사와 욕창위험사정 및 욕창 간호를 직접 담당하지 않은 수간호사는 측정자로서의 연구대상에서 제외하였고, 환자 중 의식장애, 인지장애, 언어장애 등으로 의사소통이 불분명하여 스스로 연구참여에 동의할 수 없는 자는 측정대상자에서 제외하였다.

본 연구에 참여한 측정자는 4개의 부서에 해당하는 내과계, 외과계, 신경계 및 중환자실의 각 병동에서 5명씩 총 20명의 간호사를 임의 추출하였다. 측정대상자는 위의 4개 병동에서 각 25명씩 총 100명의 환자로 하였다. 이는 ICC를 통한 측정자간 일치도를 위한 표본 수 산정 방식 중, one-way 모형에서 반복 측정수와 표본수의 곱으로 표현되는 총 측정수가 고정되었을때, 표본수와 반복수의 조합에 따라 신뢰구간의 폭을 구하는 Giraudeau와 Mary [20]의 방법을 통해 산출하였다. 산정식에서 반복수는 2명의 측정자를 통한 측정으로 2, 신뢰구간의 폭을 0.2, 기존 연구[10]에서 도출된 ICC 값이 .88임을 감안하여 본 연구에서 .80 정도를 기대한다고 할 때 필요한 표본수는 약 50명이다[21]. 이에 자료의 부적절함으로 인한 탈락률 및 4개의 부서별 ICC 값 비교를 위해 각 부서 당 최소 25건의 자료가 요구됨을 감안하여 위와 같이 측정대상자 수를 산정하였다.

3. 연구도구

본 연구에서는 연구대상에 해당하는 측정대상자(환자) 및 측정자(간호사)의 일반적 특성에 대한 설문 문항과 욕창위험사정 및 욕창분류체계를 위한 도구를 활용하여 측정하였다.

1) 연구대상자의 일반적 특성

측정대상자(환자)의 제 특성은 성별, 연령, 입원과, 재원기간의 4문항으로 조사하였다. 측정자(간호사)의 제 특성은 성별, 연령, 결혼 상태, 학력, 임상 경력, 근무 부서, 현부서 직위, 욕창교육경험 유무 등 총 8문항으로 조사하였다[10, 11].

2) 욕창위험 사정도구: Braden scale

본 연구에서 사용된 욕창위험 사정도구는 Braden scale [22]로 병원간호사회에서 공개한 한국어로 번안된 도구[23]를 이용하였다. ‘감각 인지(sensory perception)’, ‘습기(moisture)’, ‘활동(activity)’, ‘움직임(mobility)’, ‘영양 상태(nutrition)’, ‘마찰력과 전단력(friction & shear)’의 6개 하부 항목으로 구성되어 있으며 ‘감각 인지’, ‘습기’, ‘활동’, ‘움직임’, ‘영양 상태’ 항목은 1~4점, ‘마찰력과 전단력’ 항목은 1~3점의 점수 범위를 갖는다. Braden scale의 총점은 최저 6점에서 최고 23점까지의 범위를 나타내며 총점이 낮을수록 욕창발생의 위험이 높음을 의미한다. Braden scale은 총점에 따라 구간별로 나뉘어 욕창발생 위험정도를 분류하는데, 6~9점이 ‘최고위험군’, 10~12점이 ‘고위험군’, 13~14점이 ‘중정도 위험군’, 15~18점이 ‘저위험군’으로 분류한다.

본 연구에서는 위의 Braden scale 총점 및 하부 항목별 점수산정 방식을 그대로 이용하여 각각의 일치도를 살펴보았으며, 또한 욕창발생 위험정도의 경우 총점 12점을 기준으로 하여 12점 이하인 경우는 ‘고위험군’, 12점 초과인 경우는 ‘고위험군이 아님’으로 재분류하여 욕창 고위험군 분류에 대한 측정자간 일치도를 살펴보았다.

3) 욕창분류체계

본 연구에서 이용한 욕창분류체계는 National Pressure Ulcer Advisory Panel, European Pressure Ulcer Advisory Panel and Pan Pacific Pressure Injury Alliance에서 공개한 6단계의 욕창분류체계[1]이다. 단계별로 살펴보면, ‘Stage I’은 피부의 손상은 없으나 눌러도 창백해지지 않는 발적(비창백성 홍반)이 생긴 상태, ‘Stage II’는 표피와 진피의 일부를 침범당하여 찰과상, 수포 등을 관찰 할 수 있는 상태, ‘Stage III’는 표피와 진피 모두 손상을 입은 전체적인 피부 손실 단계로 피부 손실이 피하 이하로 진행되었으나 근막 이하로는 침범하지 않은 상태, ‘Stage IV’는 근육, 뼈 혹은 지지구조까지 광범위한 조직의 괴사나 손상이 발생하였으며, 부육과 가피가 있을 수 있고 종종 잠식과 동로를 동반한 상태, ‘미분류 단계’는 궤양과 기저부가 부육 또는 가피로 완전히 덮여 있어 부육과 가피가 제거되기 전까지 상처의 깊이, 단계를 구분할 수 없는 상태, ‘심부조직 손상 의심단계’는 피부 손상 없이 보랏빛 또는 밤색으로 색깔 변화만 있거나, 혈액이 차 있는 수포 형태로 나타나는 상태를 의미한다.

본 연구에서는 측정자가 측정 대상자의 피부를 사정한 후, 욕창 유무에 관하여 욕창이 없다고 판단한 경우에는 ‘욕창 없음’에 표시하고, 욕창이 있다고 판단한 경우에는 ‘욕창 있음’에 표시한 후 위의 6개 단계 중 어느 단계에 해당하는지 표시할 수 있도록 설문지를 구성하였다.

4. 자료수집 및 절차

본 연구의 자료수집은 2017년 12월 18일부터 2018년 2월 28일까지 서울특별시 동부병원의 간호부서장과 해당 부서(내과계, 외과계, 신경계, 중환자실)의 수간호사에게 연구의 목적과 절차를 설명하고 동의를 얻은 후 진행하였다.

고정된 측정자인 본 연구자와 각 부서별 간호사 5명이 환자 25명을 측정하였고, 내과계, 외과계, 신경계 및 중환자실의 4개 부서를 선정함으로써 총 20명의 간호사와 100명의 환자가 연구대상자로 선정되었다. 부서별 침상수는 중환자실이 20개, 나머지 3개 부서는 각 40개이다. 본 연구자(측정자 1)는 상급종합병원 중환자실에서 4년 이상 근무하며 공인된 상처장루실금전문간호사 과정을 이수한 후, 연구대상인 중소병원에서 상처간호를 2년 이상 전담하고 있으며 지속적으로 년 단위의 창상 관련 학회와 교육에 참가하고 있다. 또한, 본 병원의 외과 전문의 2명, 외과전담간호사 1명과 함께 욕창위험과 단계에 관하여 의견을 나누고 측정자간 합의를 지속적으로 공유하고 있으며 이들과 함께 자체적인 교육을 계획하고 진행해나가고 있다. 부서별 간호사(측정자 2)의 선정을 위해 연구자가 각 부서에 해당하는 병동을 방문하여 병동 수간호사가 가지고 있는 번호로 된 간호사 명단 리스트를 공으로 만들어 눈가림 상태에서 5개의 번호를 무작위로 선정하였다. 선정된 번호에 해당하는 간호사에게 연구의 목적과 절차를 설명하고 서면동의서를 받았다. 무작위 방식을 통해 선정되었으나 개인 사정으로 연구참여를 거절한 경우가 2명 있었으며, 추가 번호를 선정하여 앞에서 설명한 것과 동일한 과정을 통해 총 5명의 측정자를 선정하였다.

실제 환자의 욕창 사정에 대한 자료수집은 해당 간호사(측정자 2)가 낮 근무를 할 때 연구자가 해당 병동에 입원한 환자중 5명을 무작위로 선정하여 연구의 목적과 절차를 설명하고 동의를 얻은 후 자료수집을 진행하였다. 자료수집은 연구자(측정자 1)와 간호사(측정자 2) 1명이 환자(측정대상자)에게 함께 찾아가 사정을 하되 각각의 설문지를 이용하여 독립적으로 작성하였고, 측정이 끝나면 측정자간 설문지 결과를 비교대조하는 것 없이 바로 불투명한 봉투에 담아 봉인하였다. 이 과정을 각 병동 수간호사가 지켜보았으며 모든 자료수집이 끝날 때까지 봉인한 상태를 유지하였다. 이러한 과정으로 총 5명의 환자를 측정한 후 종료하고 다른 병동으로 이동하였고, 4개의 병동을 모두 돌고 난 후에는 처음 시작 병동에서 또 다른 측정자로 선정된 간호사와 이전에 측정된 환자가 아닌 5명의 환자를 무작위 선정하여 진행하였다. 환자의 중복을 피하기 위해 5명의 환자(측정대상자)를 측정한 병동은 다시 돌아오기까지 2주의 간격을 두었으며, 각 병동을 순차적으로 순회하였다. 환자(측정대상자)에 관한 일반적 사항은 연구자가 의무기록을 통해 조사하였고, 측정자 및 측정대상자는 번호로 암호화 하였다.

5. 윤리적 고려

본 연구는 전남대학교 생명윤리심의위원회(IRB)의 승인(1040198-171120-HR-083-02)을 받은 후 진행하였다. 모든 연구대상자에게는 연구참여와 관련된 어떠한 이득이나 피해가 전혀 없음과 참여시 개인정보에 관한 모든 내용이 완전히 보호되며, 연구 도중 참여를 그만두고 싶다면 언제든지 자유롭게 그만둘 수 있음을 설명하였고, 이에 대해 서면화된 동의서를 받은 후 진행하였다.

6. 자료분석

수집된 자료는 다음과 같이 분석하였다.

  • • 연구대상 간호사와 환자의 일반적 특성은 자료의 속성에 따라 빈도와 백분율, 평균과 표준편차 혹은 중위수와 범위로 산출하였다.

  • • Braden scale의 총점, 하부 항목별 점수 및 고위험군 분류에 대한 측정자간 일치도는 ICC와 일치율(Po)을 이용하여 구하였다.

  • • 측정자 간 Braden scale 총점의 차이는 Bland-Altman plots을 통해 살펴보았다.

  • • 욕창분류체계에 대한 측정자간 일치도는 ICC와 일치율(Po)를 이용하여 구하였고, 각 단계에 대한 일치도는 diagonal matrix를 통해 살펴보았다.

  • • 부서별(내과계, 외과계, 신경계, 중환자실)로 Braden scale의 총점 및 욕창분류체계에 대한 측정자간 일치도의 차이를 살펴보기 위해 각 부서별 ICC 값을 제시하였다. 또한 Braden scale 총점에 대한 측정자간 차이가 부서별로 유의미한 차이가 있는지 살펴보기 위해 연구대상자(측정자 및 측정대상자)의 일반적 특성에 대한 동질성 여부는 그룹별 대상자의 수가 5명 혹은 25명임을 감안하여 명목변수인 경우 Fisher’s exact test, 연속변수인 경우 Kruskal-Wallis test를 통해 살펴보았다. 이 중 부서별 차이가 있는 변수를 보정한 후 부서별 유의미한 차이를 살펴보기 위해 ANCOVA를 이용하였고, 사후 분석으로는 모수 혹은 비모수에도 적용할 수 있고, 집단별 분산이 동질하지 않음에도 사용할 수 있는 Bonferroni test를 수행하였다.

연구 결과

1. 연구대상자의 특성

본 연구에서 측정자 2인 간호사 20명의 연령은 평균 35.10±5.03세이었고, 최종 학력은 4년제 간호대학 졸업이 14명(70.0%)으로 가장 많았다. 임상경력은 평균 9.85±6.21년이었으며, 일반 간호사가 18명(90.0%)으로 대부분이었다. 최근 1년 사이 욕창교육경험의 유무에서는 ‘없다’는 응답이 18명(90.0%)이었다(Table 1).

Table 1
Interrater Agreement for the Braden Scale Score and Classification of Pressure Ulcers according to Departments

측정대상자인 환자 100명의 연령은 평균 68.16±12.00세 이었고, 남성이 76명(76.0%)이었다. 이들의 재원기간은 평균 15.96±14.46일이었다(Table 1).

2. Braden scale을 이용한 욕창위험사정의 측정자간 일치도

측정대상자 100명에 대한 Braden scale의 총점과 하부항목별 점수, 고위험군 분류에 관한 측정자간 일치도를 ICC (95% 신뢰구간) 및 일치율(Po)을 통해 살펴보았다.

ICC (95% 신뢰구간)로 살펴본 Braden scale 총점의 측정자간 일치도는 .85 (.78~.90)이었다. 하부 항목별 ICC 값은 ‘감각인지’ .81 (.72~.87), ‘습기’ .55 (.33~.70), ‘활동’ .81 (.72~.87), ‘움직임’ .84 (.76~.89), ‘영양 상태’ .84 (.76~.89), ‘마찰력과 전단력’ .77 (.66~.84)로 나타났다. 측정자간 일치도를 일치율(Po)로 계산하여 살펴보면, Braden scale의 총점에 대한 일치율(Po) 값은 .29, 하부 항목별 일치율(Po) 값은 ‘감각 인지’ .60, ‘습기’ .46, ‘활동’ .64, ‘움직임’ .64, ‘영양 상태’ .62, ‘마찰력과 전단력’ .64였다(Table 2).

Table 2
Interrater Agreement for the Braden Scale Score and the Presence of High Risk Group for Pressure Ulcer (N=100)

고위험군 분류의 측정자간 일치도를 살펴본 결과, ICC (95% 신뢰구간) 값 .65 (.48~.76), 일치율(Po)은 .77이었다(Table 2). 측정자 1 (연구자)에서 ‘고위험군’으로 분류한 측정대상자 44명 중 측정자 2가 ‘고위험군이 아님’으로 분류한 경우는 23명(53.3%)이었고, 측정자 1이 ‘고위험군이 아님’으로 분류하였으나 측정자 2가 ‘고위험군’으로 분류한 경우는 한명도 없었다(Table 3).

Table 3
Proportion of Agreement about the Presence of High Risk Group for Pressure Ulcer (N=100)

동일한 측정대상자에 대하여, 두 측정자간 Braden scale 총점의 차이와 측정자간 Braden scale 총점의 평균과의 관계를 Bland-Altman plots로 나타내었다(Figure 1). Bland-Altman plots은 동일한 대상에 대한 두 측정값의 평균(x축)과 차이(y축)를 산점도로 나타냄으로써, 측정자간 불일치 양상을 살펴보기에 유용한 방법이다. 본 연구에서는, 측정자 1과 측정자 2의 Braden scale 총점 차이의 평균이 −1.87로 측정자 2가 측정자 1에 비해 Braden scale 총점을 평균적으로 1.87점 높게 측정하였다. 이러한 양상은 y축 값이 측정자간 완전한 일치를 뜻하는 0이하에서 전반적으로 분포되어 있음을 통해 알 수 있다. y축 값(측정자간 총점의 차이)은 +2에서 −11까지의 범위를 보였다.

Figure 1
Bland-Altman plots for braden scale score between raters.

3. 욕창분류체계의 측정자간 일치도

욕창분류체계에 관한 측정자간 일치도 역시 ICC (95% 신뢰구간) 및 일치율(Po)를 통해 살펴보았다(Table 4). 욕창 유무에 관한 ICC (95% 신뢰구간) 값은 .81 (.72~.87), 일치율(Po) 값은 .84였다. 전체적인 욕창분류체계에 관한 ICC (95% 신뢰구간)값은 .89 (.83~.93)이었으며, diagonal matrix를 통해 살펴본 일치율(Po) 값은 .69였다. 각 단계별로 살펴보면, 측정자 1이 ‘Stage I’으로 측정한 측정대상자 9명 중에서 측정자 2는 5명을 ‘욕창 없음’, 3명을 ‘Stage I’, 1명을 ‘미분류 단계’로 측정하였다. 또한, 측정자 1이 ‘Stage II’로 측정한 측정대상자 18명 중에서 측정자 2가 ‘Stage II’로 측정한 경우는 11명이었다.

Table 4
Interrater Agreement for the Classification of Pressure Ulcers (N=100)

4. 부서별 Braden scale을 이용한 욕창위험사정과 욕창분류체계의 측정자간 일치도 차이

연구대상자의 부서별(내과계, 외과계, 신경계, 중환자실) Braden scale의 총점. 욕창 유무, 욕창분류체계에 관한 측정자간 일치도를 ICC (95% 신뢰구간)로 구한 결과, 내과계에서 모든 항목의 측정자간 일치도가 타 부서에 비해 가장 낮았다(Table 1).

측정자 1과 측정자 2 간 Braden scale 총점의 차이를 부서별로 살펴보면, 내과계는 평균 −2.72±2.19점, 외과계는 평균 −1.96±2.11점, 신경계는 평균 −2.16±2.79점, 중환자실은 평균 −0.64±1.25점이었다. Braden scale 총점에 대한 측정자간 차이가 부서별로 유의미한 차이가 있는지 살펴보기 위해 측정자(간호사) 및 측정대상자(환자)의 부서별 차이를 살펴보았고, 유의한 차이가 있었던 환자의 성별(χ2=8.83, p=.032)을 보정하여 ANCOVA test를 실시하였다. 그 결과 Braden scale 총점에 대한 측정자간 차이는 부서별로 유의한 차이가 있었고(F=3.61, p=.016), 사후 분석 결과 중환자실이 타 부서에 비해 유의하게 측정자간 점수 차가 적은 것으로 나타났다(Table 1).

논의

본 연구는 중소병원 간호사를 대상으로 Braden scale을 이용한 욕창위험사정과 욕창분류체계의 측정자간 일치도를 통해 상처장루실금전문간호사와 일반간호사 간 측정의 차이를 파악하여 욕창간호 실태를 확인함으로써 향후 교육을 포함한 욕창위험사정 및 욕창분류체계를 정확히 할 수 있는 간호중재를 개발하기 위한 기초자료로 활용하고자 시도되었다. 그 결과, 중소병원 간호사의 Braden scale 총점에 관한 측정자간 일치도는 ICC 값 .85, 일치율(Po)을 통한 분석에서 Braden scale의 총점에 대한 일치도는 .29, 고위험군 분류에 대해서는 .77, 6단계 욕창분류체계에 대해서는 .69였다.

본 연구의 Braden scale의 총점에 관한 ICC 값은 .85였으며, 이는 기존 Kottner 등[13]의 연구에서 .90, Kottner와 Dassen[12]에서 .84, Han과 Jeong [10]에서 .88과 유사한 정도로 높은 수준이었다. 본 연구의 하부 항목에서는 ‘감각 인지’와 ‘활동’, ‘움직임’, ‘영양 상태’ 항목이 ICC 값 .80 이상이었으나, ‘마찰력과 전단력’이 .77, ‘습기’는 .55 순으로 낮은 일치도를 보여주었다. 이것은 ‘습기’ 항목에서 Kottner와 Dassen [12]이 ICC 값 .49, Han과 Jeong [10]이 .60으로 보고한 것과 유사하여 타 항목에 비해 ‘습기’의 일치도가 전반적으로 낮음을 확인할 수 있다. 또한, 본 연구에서 Braden scale의 총점에 관한 일치율(Po)이 .29로 매우 낮았는데, 이는 Kottner와 Dassen [24]이 .18, Kwon 등[11]이 .36으로 보고한 것과 비슷한 수준이었다. 하부 항목별 일치율(Po)의 전체 범위는 .46에서 .64였으며, 가장 낮은 항목은 ‘습기’의 .46이었다. Braden scale의 하부 항목별 일치율(Po) 중에서 Kwon 등[11]은 ‘습기’ 항목이 .67, Kottner와 Dassen [24]은 .56으로 역시 ‘습기’ 항목의 일치율(Po)이 타 항목에 비해 낮다고 보고하여 본 연구의 결과와 유사하였다.

ICC를 통한 측정자간 일치도는 일치율(Po)에 비해 비교적 높게 나타나며, 특히 하부 항목에 비해 총점에서는 더 좋은 결과를 보여주게 된다. 이는 ICC의 특성 상, 측정자 수가 많을 경우 개인들의 차이가 있더라도 측정집단의 평균은 특정값에 수렴할 가능성이 높아 하부항목에 대한 합의 정도가 낮아도 총점의 일치도는 높아질 수 있는 것으로 생각된다[25]. 일치율(Po)의 경우, 측정자간 완전히 일치한 경우만을 산정하고 조금이라도 일치하지 않으면 배제하는 단순 계산 방법이다. Braden scale의 총점은 그 범위가 6점에서 23점으로, 측정자간 단 1점의 차이만 생겨도 완전한 일치로 생각하지 않고 배제해버리기 때문에 높은 일치율(Po)이란 어려운 것으로 생각된다. 하부 항목을 살펴보면 기존 연구와 유사하게 ‘습기’ 항목의 일치도가 가장 낮았으며, Kim 등[26]은 ‘습기’ 항목의 내용이 모호하여 판단에 어려움을 줄 수 있다고 보고하였다. 실제로 ‘습기’ 항목의 내용을 보면, ‘항상은, 자주, 거의, 정해진 간격으로, 린넨, 피부’와 같은 모호한 표현이 다수 사용되어 측정자가 혼란을 느꼈을 것으로 생각된다. 반면 ‘영양 상태’ 항목은 기존 상급종합병원 간호사들을 대상으로 한 연구[10, 11] 보다 일치도가 높았는데, 상급종합병원은 급성기 상태 환자의 비율이 높아 지속적인 영양 공급이 어려울 수 있음에 비해, 중소병원은 비교적 환자의 상태가 안정되어 일관된 영양 공급이 가능한 경우가 많아 측정자간 일치도가 더 높았을 것으로 생각된다. 그럼에도, 전반적으로 기존 상급종합병원 간호사들에 비해 중소병원 간호사들의 측정자간 일치도가 낮음을 확인할 수 있었다.

Braden scale은 원론적으로 욕창발생 위험정도를 군별로 분류하고 각 군에 따른 예방중재를 실시하는 기준이 되기 때문에 점수의 완전한 일치도 중요하지만, 체위변경, 영양공급, 실금/실변 관리 등 중재[1]의 차이가 발생하는 고위험군(Braden scale 총점 12점 이하) 분류의 측정자간 일치율(Po) 역시 매우 중요할 것이다. 본 연구에서의 고위험군 분류에 대한 일치율(Po)은 .77로, 기존 Kwon 등[11]의 .98과 비교하여 낮은 수준이었다. Bland-Altman plots로 살펴본 결과, 측정자 2 (간호사)가 측정자 1 (연구자)보다 Braden scale 총점을 평균 1.87점, 최대 11점까지 높게 측정하는 경향이 있어 고위험군 분류의 일치율(Po)이 낮은 것으로 생각된다. 측정자 1이 ‘고위험군’이라고 분류한 측정대상자 44명 중 측정자 2가 무려 23명에서 ‘고위험군이 아님’으로 분류함으로써 중재의 차이가 발생하는 고위험군 분류에서 심각한 측정자간 불일치가 있음을 알 수 있다. 또한, Bland-Altman plots의 x축 전체 구간에서 y축 값이 0 미만인 경향이 전반적으로 나타나는데, 이는 특정 점수구간, 즉 특정 상태의 대상자군에게만 Braden scale 측정의 어려움을 겪기 보다는 측정자 2가 전반적으로 Braden scale을 높게 측정하는 경향이 있다는 것을 알 수 있다. 따라서 향후 중소병원 간호사들에게 Braden scale의 정확한 개념과 측정방법 및 욕창 환자 예후에 대한 적절한 교육을 통해 측정에 더욱 민감할 수 있도록 하는 동기 부여가 필요할 것으로 생각된다.

욕창분류체계는 측정자간 단 1단계의 차이라도 매우 크다고 볼 수 있어 완전한 일치를 뜻하는 일치율(Po)이 더욱 중요할 것이다. 본 연구에서의 욕창 유무에 대한 일치율(Po)은 .84로, 이는 기존 Kottner 등[13]의 .96, Kwon 등[11]의 .92에 비해 낮은 수준이었다. 전체적인 욕창분류체계에 대한 일치율(Po) 역시 .69로, 기존 Kottner 등[13]의 .81, Kwon 등[11]의 .85에 비해 현저하게 낮았다. Kottner 등[13]은 ‘미분류 단계’과 ‘심부 조직손상 의심단계’를 포함하지 않은 4단계 욕창분류체계를 적용하였고, Kwon 등[11]은 최신의 욕창간호 지식을 접하기 용이한 상급종합병원 간호사를 대상으로 하여 이러한 결과가 나온 것으로 생각된다. 중소병원 및 요양병원의 간호사를 대상자로 포함시켰던 Lee 등[17]은 이미지를 통한 6단계 욕창분류체계의 시각적 감별 능력을 측정하였는데 54.9%의 낮은 정답률을 보고하였다. 이와 같은 맥락에서, 교육환경이 열악하고 상처장루실금전문간호사와 같은 전문 인력이 부족한 중소병원의 간호사들[18, 19]에게 6단계 욕창분류체계는 다소 생소하였으리라고 생각된다.

측정자 1 (연구자)을 기준으로 측정자 2 (간호사)가 상이하게 측정한 욕창분류체계를 각 단계 별로 살펴보면, ‘욕창 없음’은 총 51건 중 42건만 일치하였으며, ‘Stage I’과 ‘Stage II’로 오인한 경우가 각각 4건으로 가장 많았다. 이것은 기존에 보고된바와 같이, ‘욕창 없음’과 ‘Stage I’의 구분에 가장 중요한 비창백성 홍반과 창백성 홍반의 구분을 제대로 하지 못한 것으로 생각된다[16]. ‘Stage I’에서 총 9건 중 5건이나 ‘욕창 없음’으로 오인 한 것도 같은 맥락으로 볼 수 있으며, 추후 중소병원 간호사 대상의 교육에서 피부에 홍반이 생겼을 경우 가벼운 압박을 통해 혈류가 다시 돌아오는지 확인하는 내용을 강조할 필요가 있다. 또한, ‘Stage II’의 총 18건 중 11건 일치, ‘Stage III’와 ‘Stage IV’에서 각각 총 8건 중 6건만 일치하여 전반적으로 중소병원 간호사들이 욕창단계를 정확히 구분하는데 어려움 겪고 있었다. 새롭게 추가된 단계들에서 ‘미분류 단계’의 경우, 총 4건 중 1건만이 일치하여 Kwon 등[11]이 .00의 일치율(Po)을 보고한 것과 유사하며 Lee 등[17] 역시 ‘미분류 단계’의 시각적 감별 능력이 37.3%로 타 단계에 비해 현저하게 낮았다고 보고하였다. 본 연구에서 ‘미분류 단계’는 ‘Stage III’로 가장 많이 오인하였는데, 괴사조직 주변의 노란색 부육조직을 피하지방으로 잘못 판단하여 이런 결과가 나온 것으로 생각된다. ‘심부조직손상 의심단계’는 총 2건 중 한건도 일치하지 않았으며, Lee 등[17]에서 정답률이 가장 낮게 나온 결과와 일맥상통하였다. ‘심부조직손상 의심단계’ 역시 2건 모두 ‘Stage III’로 다르게 판단하였는데, 피부 손상과 수포 등 여러 증상이 혼재하여 식별하는데 혼란을 겪은 것으로 생각된다.

본 연구에서는 Braden scale을 이용한 욕창위험사정 및 욕창 유무, 욕창분류체계에 대한 부서별 측정자간 일치도의 차이를 살펴보았다. 그 결과, 내과계가 Braden scale의 총점에서 ICC 값 .54, 욕창 유무에서 .45, 욕창분류체계에서 .70으로 4개의 부서 중 가장 낮았다. Han과 Jeong [10]은 내과계의 Braden scale 총점의 일치도가 ICC 값 .88로 모든 부서 중 가장 높았으며, Lee 등[17]은 내과계의 욕창분류체계에 대한 시각적 감별능력이 모든 부서 중 2번째로 높았다고 보고하였다. 또한 중소병원과 요양병원 간호사의 욕창간호지식을 측정한 Nam [19]은 외과계가 타 부서에 비해 유의하게 지식수준이 낮았다고 보고하여 전반적으로 본 연구결과와는 차이가 있었다. 이는 본 연구의 중소병원에 욕창을 주호소로 입원한 환자는 주로 외과계로 입원하여 외과계 간호사의 욕창을 접하는 빈도가 월등히 많고 신경계와 중환자실 또한 Braden scale의 하부 항목과 연관된 증상의 환자를 빈번하게 접하기 때문에 상대적으로 내과계 간호사들의 일치도가 낮은 것이라 생각된다.

측정자간 Braden scale 총점의 차이 또한 내과계가 평균 −2.72±2.19점으로 타 부서에 비해 차이가 큰 것으로 나타났다. 그렇지만 부서별 연구대상자의 제 특성 중 유의한 차이를 보였던 환자의 성별을 보정하고 통계적 분석을 한 결과, 측정자간 Braden scale 총점의 차이가 내과계, 외과계, 신경계에서는 차이가 없었으며 중환자실이 타 병동에 비해 유의하게 적은 것으로 나타났다. 중환자실의 경우 모든 ICC 값에서 타 부서에 비해 우수하였고, 측정자간 Braden scale 총점의 차이 역시 가장 적었다. 이는 중소병원에서 중환자실 간호사의 욕창지식 및 수행도가 타 병동보다 유의하게 높다는 기존 결과[18]와 일맥상통한다. 중환자실 간호사는 담당 환자의 수가 타 병동보다 월등히 적어 집중적인 간호가 가능하며 다양한 부서의 환자를 경험하기 때문에 나타난 결과로 생각된다.

본 연구는 몇 가지 제한점이 있다. 첫째, 중소병원 간호사의 Braden scale을 이용한 욕창위험사정과 욕창분류체계의 측정자간 일치도를 평가하는데 있어 일개 기관만 포함하였기 때문에, 국내 전체의 중소병원 간호사로 일반화하기에는 한계가 있다. 그럼에도 4개의 부서별로 간호사와 환자를 무작위 추출하는 방식으로 보다 다양하고 일반화할 수 있는 연구대상자를 선정하기 위해 노력하였다. 둘째, 본 연구는 중소병원의 상처장루실금전문간호사와 일반간호사와의 측정자간 일치도를 조사한 연구로 본 연구자인 상처장루실금전문간호사 1인의 측정 값이 오류가 없거나 최소화 됨을 전제로 해석할 수 밖에 없었다는 것에 제한이 있다. 그럼에도 불구하고 평소 외과전문의 및 외과전담간호사 집단과 욕창사정 및 분류 평가에 대한 일치도를 높이기 위해 노력하였고, 연구 진행 시 본 연구자와 다른 측정자간에 독립성을 유지함으로써 연구결과의 타당도를 높이고자 노력하였다. 이에 본 연구는 국내 욕창간호 연구의 대다수가 상급종합병원 간호사를 대상으로 한 것과 달리 중소병원 간호사를 대상으로 Braden scale과 6단계의 욕창분류체계를 실제 환자에게 적용하여 상처장루실금전문간호사와의 측정자간 일치도를 확인한 것과 다양한 통계방법을 통해 다각도로 분석함으로써 개선점을 파악하기 위해 노력한 것에 그 의의가 있다 하겠다.

결론 및 제언

본 연구는 중소병원 간호사들의 Braden scale을 이용한 욕창위험사정과 욕창분류체계에 대한 측정의 정확성을 상처장루실금전문간호사와 비교하여 파악하고자 하였고, 그 결과 측정자간 일치도는 상급종합병원 간호사들에 비해 낮아 일치도를 향상시키려는 다각도의 노력이 필요할 것으로 생각된다. 특히 Braden scale의 하부 항목 중 ‘습기’에 대한 집중적인 연구가 필요하며, 욕창분류체계에서 새롭게 추가된 ‘미분류 단계’와 ‘심부조직손상 의심단계’에 대하여 중소병원 간호사에게 추가적인 정보가 필요하다. 부서별로는 중환자실을 제외한 모든 병동에서 체계적인 교육이 필요하며, 특히 내과계 간호사 대상으로는 다양한 환자를 평가해 볼 수 있는 직간접적인 경험을 늘려줄 수 있는 방안을 모색해 볼 필요가 있다.

이 연구결과를 바탕으로 향후 다음의 연구를 제언하는 바이다. 첫째, 국내의 현황 파악을 위해 추후 중소병원 간호사를 대상으로 Braden scale을 이용한 욕창위험사정 및 욕창분류체계의 측정자간 일치도를 파악하는 다기관 연구를 제언한다. 둘째, 중소병원 간호사의 Braden scale을 이용한 욕창위험사정과 욕창분류체계의 측정자간 일치도에 영향을 미치는 다양한 요인을 파악하는 연구를 제언한다. 마지막으로, 중소병원 간호사의 욕창 간호를 개선하기 위해 수요자 중심의 교육, 현장 맞춤형 교육 자료를 개발하고 이를 적용하여 그 효과를 평가하는 후속 연구를 제언하는 바 이다.

Notes

CONFLICTS OF INTEREST:The authors declared no conflict of interest.

AUTHORSHIP:

  • Study conception and design acquisition: NH-J, YS-H, KY-R and AM-J.

  • Data collection: NH-J.

  • Analysis and interpretation of the data: NH-J and YS-H.

  • Drafting and critical revision of the manuscript: NH-J, YS-H, KY-R and AM-J.

ACKNOWLEDGEMENT

This article is a revision of the first author's master's thesis from Chonnam National University.

References

    1. Emily Haesler, editor. National Pressure Ulcer Advisory Panel, European Pressure Ulcer Advisory Panel and Pan Pacific Pressure Injury Alliance. Prevention and treatment of pressure ulcers: clinical practice guideline. 2nd ed. Osborne Park, Western Australia: Cambridge Media; 2014. pp. 44-45.
    1. Jun SS, Kim HJ, Jang YJ. Pressure ulcers caused by equipment and supplies in intensive care unit. Journal of Korean Academic Society of Home Care Nursing 2017;24(3):255–263. [doi: 10.22705/jkashcn.2017.24.3.255]
    1. Lee SJ, Jeong JS, Lim KC, Park EY, Kim HY. Factors influencing on pressure ulcer incidence among older patients with hip fracture in a hospital. Journal of Korean Biological Nursing Science 2019;21(1):54–61. [doi: 10.7586/jkbns.2019.21.1.54]
    1. Moore Z, Avsar P, Conaty L, Moore DH, Patton D, O'Connor T. The prevalence of pressure ulcers in Europe, what does the European data tell us: a systematic review. Journal of Wound Care 2019;28(11):710–719. [doi: 10.12968/jowc.2019.28.11.710]
    1. Mizokami F, Furuta K, Isogai Z. Necrotizing soft tissue infections developing from pressure ulcers. Journal of Tissue Viability 2014;23(1):1–6. [doi: 10.1016/j.jtv.2013.11.001]
    1. Lim ML, Ang SY. Impact of hospital-acquired pressure injuries on hospital costs - experience of a tertiary hospital in Singapore. Infection Control and Hospital Epidemiology 2017;25(1):42–47.
    1. Bergstrom N, Braden BJ, Laguzza A, Holman V. The Braden Scale for predicting pressure sore risk. Nursing Research 1987;36(4):205–210.
    1. Park SH, Park YS. Predictive validity of the Braden scale for pressure ulcer risk: a meta-analysis. Journal of Korean Academy of Nursing 2014;44(6):595–607. [doi: 10.4040/jkan.2014.44.6.595]
    1. Kottner J, Dassen T. Interpreting interrater reliability coefficients of the Braden scale: a discussion paper. International Journal of Nursing Studies 2008;45(8):1238–1246. [doi: 10.1016/j.ijnurstu.2007.08.001]
    1. Han IK, Jeong IS. Interrater reliability of the braden scale. Journal of the Korean Data Analysis Society 2012;14(2):867–879.
    1. Kwon EO, Eom IH, Chang SJ, Shim MY, Lee SH. Accuracy of nurses' assessment of pressure ulcers in hospitalized patients. Journal of Korean Clinical Nursing Research 2012;18(1):29–38. [doi: 10.22650/JKCNR.2012.18.1.29]
    1. Kottner J, Dassen T. Pressure ulcer risk assessment in critical care: interrater reliability and validity studies of the Braden and Waterlow scales and subjective ratings in two intensive care units. International Journal of Nursing Studies 2010;47(6):671–677. [doi: 10.1016/j.ijnurstu.2009.11.005]
    1. Kottner J, Halfens R, Dassen T. An interrater reliability study of the assessment of pressure ulcer risk using the Braden scale and the classification of pressure ulcers in a home care setting. International Journal of Nursing Studies 2009;46(10):1307–1312. [doi: 10.1016/j.ijnurstu.2009.03.014]
    1. Black J, Baharestani M, Cuddigan J, Dorner B, Edsberg L, Langemo D, et al. National pressure ulcer advisory panel's updated pressure ulcer staging system. Advances in Skin & Wound Care 2007;20(5):269–274. [doi: 10.1097/01.ASW.0000269314.23015.e9]
    1. Nixon J, Tohorpe H, Barrow H, Phillips A, Nelson EA, Mason SA, et al. Reliability of pressure ulcer classification and diagnosis. Journal of Advanced Nursing 2005;50(6):613–623. [doi: 10.1111/j.1365-2648.2005.03439.x]
    1. Defloor T, Schoonhoven L, Katrien V, Weststrate J, Myny D. Reliability of the European Pressure Ulcer Advisory Panel classification system. Journal of Advanced Nursing 2006;54(2):189–198. [doi: 10.1111/j.1365-2648.2006.03801.x]
    1. Lee YJ, Park SM, Kim JY, Kim CG, Cha SK. Clinical nurses' knowledge and visual differentiation ability in pressure ulcer classification system and incontinence-associated dermatitis. Journal of Korean Academy of Nursing 2013;43(4):526–535. [doi: 10.4040/jkan.2013.43.4.526]
    1. Lee EJ, Yang SO. Clinical knowledge and actual performance of pressure ulcer care by hospital nurses. Journal of Korean Clinical Nursing Research 2011;17(2):251–261.
    1. Nam MJ. In: Nurse's nursing knowledge and nursing performance of pressure sores; focused on medium hospital and long term care hospital for old people [master's thesis]. Naju: Dongshin University; 2015.
    1. Giraudeau B, Mary JY. Planning a reproducibility study: how many subjects and how many replicates per subject for an expected width of the 95 percent Confidence interval of the intraclass correlation coefficient. Statistics in Medicine 2001;20(21):3205–3214. [doi: 10.1002/sim.935]
    1. Han SY, Nam JM, Myung SM, Song KJ. A comparison of sample size requirements for Intraclass Correlation Coefficient (ICC). The Korean Journal of Applied Statistics 2010;23(3):497–510. [doi: 10.5351/KJAS.2010.23.3.497]
    1. Braden BJ, Maklebust J. Preventing pressure ulcers with the Braden scale: an update on this easy to use tool that assesses a patient's risk. American Journal of Nursing 2005;105(6):70–72.
    1. Korean Hospital Nurses Association. Prevention and management of pressure ulcer [Internet]. Evidence-Based Clinical Nursing Practice Guideline: Korean Hospital Nurses Association; 2013 [cited 2018 March 3].
    1. Kottner J, Dassen T. An interrater reliability study of the braden scale in two nursing homes. International Journal of Nursing Studies 2008;45(10):1501–1511. [doi: 10.1016/j.ijnurstu.2008.02.007]
    1. Cha JS, Kim YB. An analytical of interrater reliability & agreement. Korea Business Review 1994;23(special):75–102.
    1. Kim DH, Jeong HS, Lee DW. Evaluation of risk for pressure ulcers using braden scale in elderly patients receiving long-term care. Journal of the Korean Geriatrics Society 2011;15(4):191–199. [doi: 10.4235/jkgs.2011.15.4.191]

Metrics
Share
Figures

1 / 1

Tables

1 / 4

PERMALINK