Inter- and Intra-reader Reliability of TLICS (Thoracolumbar Injury Classification System and Severity Score) on MRI between Radiologists Depending on Their Experiences

Abstract

Purpose: We aimed to evaluate inter- and intra-reader reliability of thoracolumbar injury classification system and severity score (TLICS) between radiologists depending on their experiences and analyze the possible reasons in the discordant cases according to the injury type. Materials and methods: After reading of two articles about TLICS, total six radiologists of two professors, two fellows, and two residents independently scored one hundred thoracolumbar MR images about injury morphology and posterior ligamentous complex (PLC) integrity based on TLICS between July 2010 and July 2011. One professor re-scored one month later to determine intra-reader reliability. Results: Inter-reader reliability between six readers was moderate for TLICS about both injury morphology (kappa value = 0.538) and PLC integrity (kappa value = 0.440). Inter-reader agreement demonstrated a wide range as fair to substantial agreement for injury morphology (kappa value = 0.394-0.790) and slight to substantial for PLC (kappa value = 0.170-0.797). After grouping of readers according to their experience years, inter-reader agreement were moderate to substantial both for injury morphology and PLC integrity, regardless of the radiologists’ experience year (kappa value = 0.509-0.664 for injury morphology; 0.429-0.618 for PLC integrity). Intra-reader reliability was substantial both for injury morphology and PLC integrity (kappa value = 0.770 for injury morphology; 0.649 for PLC integrity). For injury morphology, 43 patients were agreed by all readers (43/100, 43%) with 19 compression fractures (19/43, 44.2%), 23 burst fractures (23/43, 53.5%) and one distraction injury (1/43, 2.3%), diagnosed as Andersson lesion of ankylosing spondylitis later. In other 57 patients, forty three patients were determined as compression or burst injury (43/57, 75.4%) and fourteen received a various number of score for injury morphology from compression injury to distraction injury (14/57, 24.6%). For PLC integrity, 37 patients were agreed as intact PLC and four as injured PLC (41/100, 41%). Twenty one patients were regarded to have “intact” or “suspected/indeterminate” PLC (21/100, 21%). The rest 38 patients were disagreed about PLC integrity from “intact” to “injured” state (38/100, 38%). Conclusion: Inter- and intra-reader reliability of TLICS were moderate to substantial regardless of experience of radiologists, indicating that TLICS system may be used practically in radiologic reports. However, there was not the standard guideline for determination of injury morphology and PLC integrity on MRI yet and there may be possibility of overestimation of injury morphology in case of suspicious PLC disruption by radiologists.;목적: 흉요추 손상 환자들의 자기공명영상을 이용하여 TLICS system (Thoraco-Lumbar Injury Classification System and Severity Score)의 영상의학과 의사 간 일치도를 평가하고, 불일치를 보이는 경우 가능한 원인들에 대해 고찰하고자 하였다. 대상 및 방법: 2010년 7월부터 2011년 7월까지 흉요추 손상이 의심되어 본원 응급실로 내원한 환자들의 자기공명영상을 연구 전 TLICS system에 대한 기존의 두 개의 논문을 먼저 읽은 후 2명의 교수, 2명의 전임의사, 2명의 전공의를 포함한 총 6명의 영상의학과 의사들이 각각 독립적으로 손상 형태 (injury morphology), 후인대 손상 여부 (posterior ligamentous complex (PLC) integrity)에 대해 평가하였다. 한달 후 한 명의 영상의학과 교수가 다시 동일한 방법으로 자기공명영상을 분석하였다. Fleiss Kappa 값을 이용하여 판독자 간 일치도를, Cohen Kappa 값을 이용하여 판독자 내 일치도를 구했다. 결과: 판독자 간 일치도는 손상 형태 및 후인대 손상에 대해 모두 보통 수준 (moderate) 이었다 (kappa value = 0.538 for injury morphology, 0.440 for PLC integrity). 각 점수별로 판독자 간 일치도는 매우 다양한 값을 보였다 (kappa value = 0.394-0.790 for injury morphology, 0.170-0.797 for PLC integrity). 경력별로 그룹화한 경우 판독자 간 일치도는 보통 (moderate) 혹은 상당한 수준 (substantial) (kappa value = 0.509-0.664 for injury morphology; 0.429-0.618 for PLC integrity)으로 나타났지만 경력별 차이는 없었다. 판독자 내 일치도는 손상 형태 및 후인대 손상에 대해 모두 상당한 수준 (substantial) 이었다 (kappa value = 0.770 for injury morphology; 0.649 for PLC integrity). 손상 형태 평가에 대해 43명의 환자에 대해 6명의 판독자가 모두 같은 형태의 손상으로 일치된 결과를 보였고(19/43, 44.2%), 이중 19명의 단순압박손상 (compression injury: 19/43, 44.2%), 23명의 압력손상 (burst injury: 23/43, 53.5%), 한 명의 탈출손상(distraction injury: 1/43, 2.3%)이 있었다. 그러나 한 명의 탈출손상 (distraction injury) 환자는 이전에 강직성 척추염 진단을 받았던 경력이 있었으며 임상적으로 Andersson lesion으로 진단되었다. 나머지 57 명의 환자 중 43명은 단순압박손상 (compression injury) 혹은 압력손상 (burst injury)로 생각되었으며(43/57, 75.4%), 그외 14명의 환자는 판독자들로부터 단순압박손상 (compression injury)부터 탈출손상(distraction injury)에 이르기까지 매우 다양한 평가를 받았는데(14/57, 24.6%) 이중 5명의 환자만이 일부 판독자로부터 후인대가 정상 (intact)이라고 평가를 받았고 나머지 9명의 환자는 모든 판독자들이 후인대 손상이 의심되거나 (suspected/indeterminate) 손상이 확실하다고 (injured) 여겨졌다. 후인대 손상에 대해서는 41명의 환자가 판독자간 일치를 보였고(41/100, 41%) 이중 37명의 환자는 정상 후인대, 4명은 후인대 손상이 있다고 판정받았다. 나머지 불일치를 보인 59명의 환자들 중 21명은 판독자들로부터 후인대가 정상 (intact) 혹은 손상이 의심된다고(suspected/indeterminate) 평가를 받았고(21/100, 21%), 38명은 판독자들로부터 정상 후인대(intact)부터 후인대 손상이 확실하다(injured)는 평가까지 다양한 점수를 받았다(38/100, 38%). 결론: 흉요추 손상 평가에 있어 자기공명 영상을 이용한 TLICS system 의 적용은 영상의학과 의사의 임상 경력에 상관없이 보통 (moderate) 혹은 상당한 수준 (substantial)의 좋은 일치도를 보였으며 실제 판독에 쉽게 적용 가능할 것으로 생각된다. 그러나 자기공명영상에서 손상 형태 및 후인대 손상을 예측하는 데에 유용한 영상소견에 대해 아직 확실하게 정립되어 있지 못하며 TLICS 역시 이에 대해 적절한 설명이 부족하여, 영상의학과 의사의 관점에서 손상 형태 및 후인대 손상에 대해 과대평가할 수 있는 가능성이 있다.