Critical Analysis of Program Review

Abstract

This study conducts a case study to find a way to improve the quality of Program Review. It is grounded on the reality that the Program Review does not play a critical role in budget allocations. The main reason is the low reliability of performance evaluation as well as the inappropriateness of performance indicators. Improvements have been developed focusing on the ACE program. First, the performance to measure is derived from the program logic model from the institutional and individual perspectives; to increase the quality of undergraduate education and to increase the undergraduate students’ capabilities. Then, we reviewed the performance indicators currently used in the Program Review. It turns out that it focuses on the students' competence to work and the faculty-student interaction index only assesses a part of the output rather than the intended outcome. Based on the analysis of the Program Review, we re-evaluates the ACE program through adopting new performance indicators; the university's competitiveness index in terms of ‘teaching’ (Times Higher Education, IMD competitiveness yearbook) and a third-party evaluation of the students' competence (Job satisfaction survey of new graduates). Since the alternative evaluation model provides more balanced and objective perspective on the performance of the ACE program, this study recommends to evaluate the performance from the perspective of university and students. ;재정사업자율평가는 예산배분에 있어 중요한 역할을 해야 하지만, 현실은 그렇지 못하다. 성과지표의 적합성 문제와 더불어 성과평가의 신뢰성이 낮다는 것이 주된 이유이다. 본 연구는 재정사업자율평가의 질적 제고를 위해 사례연구를 바탕으로 성과평가를 수행하였으며, 연구대상은 학부교육선도대학육성(ACE)사업이다. 먼저 프로그램로직모델(program logic model)을 이용하여 사업 목표 및 목적에 따른 성과목표(intended outcome)를 도출하였다. 기관과 개인의 관점에서 성과목표(intended outcome)를 학부교육의 질적 제고와 학부생들의 역량 향상으로 구분하였다. 그러나 현재 재정사업자율평가에서 사용되고 있는 성과지표(performance indicator)는 학생들의 핵심역량에만 초점이 맞춰져 있으며, 교수-학생 상호작용 지표는 성과(outcome)가 아닌 산출(output)을 측정하고 있어 바람직한 성과지표로 적합하지 않다는 사실을 발견했다. 이러한 문제점을 개선하기 위해 본 연구는 대학의 교육 경쟁력 지표(Times Higher Education, IMD competitiveness yearbook)와 학생들의 업무능력에 대한 제3자 평가(신입사원 업무능력 평가 조사)를 성과지표로 채택하여 ACE사업을 재평가하였다. 본 연구에서 제시하는 대안적 평가모델은 대학의 세계 경쟁력뿐만 아니라 학생들의 역량 평가에 대한 또 다른 관점을 추가함으로써 ACE사업의 성과를 보다 균형 있고 객관적인 시각으로 평가할 수 있을 것으로 기대한다.