대학 강의평가를 위한 문항개발

Abstract

본 연구는 강의를 개선하고 대학교육의 질을 향상시키기 위해서 교사의 수업활동을 평가하는 강의평가가 무엇인지 조작적 정의를 내리고 그 조작적 정의에 입각하여 강의평가 문항을 개발하는데 목적이 있다. 이와 같은 연구목적을 위하여 설정된 구체적인 연구문제는 다음과 같다. 첫째, 강의평가의 조작적 정의를 내린다. 둘째, 강의 평가 도구의 문항을 개발한다. 세째, 개발된 강의평가 도구의 타당도와 신뢰도를 검정한다. 네째, 강의평가 도구 문항들의 문항분석을 실시한다. 강의평가는 수업의 효율성이나 그 효과를 증대시키기 위하여 일정한 평가준거와 평가방법에 따라서 수업활동을 정해진 기준에 비추어 따져보는 가치판단의 행위이다. 이러한 강의평가는 강의의 조직과 준비, 학습자료(교재 및 참고문헌), 과제물, 시험과 성적, 학습부담(강의 난이도와 학습량), 강의기술, 교사와 학생의 상호작용, 학생의 성취·발전에 미친 영향, 강의총평의 아홉 가지 구인으로 구성되어 있다. 강의평가의 조작적 정의에 따라 65문항의 강의평가 문항을 개발하고, 개발한 평가 문항으로 제작한 강의평가 도구의 타당도, 신뢰도를 검정하고 문항분석을 실시하기 위하여 E 대학교에 개설 중인 과목을 수강하고 있는 2, 3, 4학년 학생들 157명을 연구대상으로 하였다. 배부된 강의평가 설문지 157부 중 무성의한 응답으로 판단되는 1 명의 설문지를 제외하고 156명의 응답 내용을 분석하였다. 분석 결과는 다음과 같다. 첫째, 개발된 강의평가 도구가 아홉 가지의 구인을 제대로 측정하고 있는지 확인하기 위하여 타당도는 구인타당도로 검정하였으며 이를 위해 확인적 요인분석을 실시하였다. 아홉 가지 강의평가 구인을 확인하기 위해 요인분석을 실시한 결과 첫 번째 요인은 시험과 성적, 두번째 요인은 과제물과 교재, 세번째 요인은 학생의 성취·발전에 미친 영향과 강의총평, 네번째 요인은 강의의 조직과 준비, 다섯번째 요인은 강의 기술, 여섯번째 요인은 교사와 학생의 상호작용, 일곱번째 요인은 학습부담을 측정하는 것으로 분석되었다. 여덟번째 요인과 아홉번째 요인은 강의평가의 조작적 정의에서 규명되지 않은 요인을 측정하는 것으로 분석되었다. 여덟번째 요인과 아홉번째 요인을 측정하는 5문항을 제외한 나머지 60문항은 강의평가의 조작적 정의에 따라 측정 하고자 하는 구인들을 제대로 측정하고 있으므로 강의평가 도구의 구인타당도는 높다고 할 수 있다. 둘째, 강의평가 도구의 신뢰도는 문항 내적일치성 신뢰도의 하나인 Cronbach α로 검정하였다. 강의평가 도구의 Cronbach α는 .9649로서 신뢰도는 매우 높다고 할 수 있다. 65문항 중 22번, 38번, 47번 문항이 신뢰도를 다소 감소시키는 문항으로 분석되었다. 세째, 강의평가 도구의 문항분석은 문항난이도와 문항변별도를 이용하여 알아보았다. 각 문항의 응답분포와 Likert 5단계 척도에 각각 점수를 부여하여 계산한 평균과 표준편차로 문항난이도를 분석한 결과 65문항 중에 47번, 54번, 55번 문항을 제외하고는 전반적으로 평균이 높았다. 이와 같은 사실은 각 문항마다 '보통이다', '그렇다', '매우 그렇다'에 응답한 학생들이 많았다는 것을 알려 주는 증거가 된다. 문항변별도는 65문항의 총점과 각 문항점수 간의 상관계수로 추정하였다. 22번, 38번, 47번 문항을 제외한 대부분의 문항이 총점과 상관이 매우 높았으므로 이들 62 문항들의 변별력은 매우 높다고 할 수 있다. 전체적으로 보아 본 연구에서 개발한 강의평가 도구의 타당도, 신뢰도, 문항난이도, 문항변별도는 매우 좋다고 할 수 있다. 본 연구에서 개발한 강의평가를 위한 문항은 사회과학계열의 강의 위주의 수업에 중점을 두고 개발한 것으로 강의 위주의 수업을 평가할 때 사용될 수 있다. 그러나 어문계열 과목의 수업이나 자연과학계열 과목의 실습수업, 또는 예체능계열 과목의 실기 수업에는 문항의 내용이 적합하지 않을 수 있으므로 본 연구에서 개발한 강의평가 문항을 실습 수업이나 실기 수업의 평가를 위해 사용할 때는 강의평가를 실시하는 과목의 수업 특성에 맞게 문항을 수정·보완하여 사용하는 것이 바람직하다.;The purpose of this study are : first, define a operational definition of course evaluation, second, construct a test for course evalution, third, confirm a construct validity and internal consistency, fourth, Analyze items. Course Evalution is the act of value judgement for teaching. The course evalution includes a course organization and preparation, teaching materials( textbook & reference), assignments, exams and grading, study burden(course difficulty & work load), teaching skills, teacher-student interaction or rapport, effect on students' achievement or progress and overall evalution of the course. This study develops 65 items according to operational definition of course evaluation. The subjects for this study are 157 students who are sophomores, juniors, seniors in E university and taking a course taught by one teacher. The responses of 156 students are analyzed for this study. The results are : First, 9 factors were detected from the data. First factor is exams and grading, second is assignments and textbook, third is effect on students' achievement or progress and overall course evalution, Courth is a course organization and preparation, fifth is teaching skills, sixth is teacher-student interaction or rapport, seventh is study burden( course difficulty & work load). Eighth and ninth factor are not related to the operational definition of course evaluation. This study confirms that course evauation questionnaire has the construct validity, because the 60 items can measure the factors properly according to the operational definition. Second, the Cronbach a is .9649. Item 22, item 23, and item 47 decrease the reliability slightly. Third, this study analyzed item difficulty using the response pattern in Likert scale and the average and standard deviation. All items except item 47, item 54, item 55 were affirmative. The item discriminations of all items( the correlation between total score) are high. The item discriminations of item 22, item 38, and item 47 are slightly low. The validity, reliability, item difficulty, item discrimination of the course evalution item are reasonably good. The evalution item in this study is good for a class which is based on the lecture. For language class, the lab class of science courses and the practice class of arts, typical course evaluation questionnaire would be needed. It is desiralbe to modify and add some items to match the characteristics of the class which is not based on the lecture.