과학과 정의적 영역 평가에서 정확한 자기보고를 방해하는 요소 탐색

Abstract

본 연구의 목적은 자기보고식 검사를 활용하는 과학과 정의적 영역 평가에서 정확한 자기보고를 방해하는 요소를 발견해서, 이를 통해 검사 결과 해석과 과학 교육적 의미에 새로운 관점을 제시하고, 정확한 자기보고를 지향하는 검사 도구의 개선 방향을 제안하는 데 있다. 이를 위해 본 연구는 과학 교육 평가 현장에서 비교적 관심이 소홀했던 자기보고식 검사 도구의 주관성에 주목하며, 그의 한계를 드러내는 질적·양적 자료를 통합적으로 제시했다. 연구자가 피험자에 대해 취한 관점은 그들이 자신의 심리 상태와 인지 구조를 반영해서 검사 도구와 상호작용하는 적극적 존재라는 것이다. 따라서 정확한 자기보고를 방해하는 요소로서 검사 도구 측면과 반응자 측면의 일반적 오차와 더불어 반응하는 학생의 일상과 학습의 경험을 통해 형성된 과학 특이성 오차 요소를 도출했다. 이에 따라 연구 문제는 정확한 자기보고를 방해하는 검사 도구 측면의 오차 요소와 과학 특이성 오차, 반응자 측면의 오차 요소와 과학 특이성 오차를 밝히는 것이다. 본 연구에는 경기도 중소 도시 3개 고등학교 학생 총 1,121명이 참가했다. 472명은 예비 검사에, 649명은 2차에 걸친 본 검사에 참여해서 그 검사 결과를 학업 성취도와 함께 양적 자료로 제공했다. 그 중 44명의 학생들은 검사를 전후해서 면담에 참여했고 그 결과를 질적 자료로 제공했다. 본 검사를 위한 검사 도구는 예비 검사 결과와 검사 전 학생 면담을 반영해서 수정했고, PISA 2006의 태도 관련 문항에서 발췌한 정의적 특성 및 변형 문항, 사회적 바람직성, 자아 방어 기제와 과학 인식으로 구성되었다. 학생 면담을 통해 검사 도구와 상호작용하면서 정확한 자기보고를 망설였거나 정확하지 않게 반응한 사례들을 유형화했다. 동시에 양적으로 나타난 1·2차 반응 결과로부터 학생들이 이야기했던 각 사례들을 탐지할 수 있는지 기술 통계, 추리 통계, 집단 간 차이 분석, 관계 분석, 문항 반응 이론 및 차별적 문항 기능 등의 통계적 접근을 병행했다. 분석에 사용한 도구는 Excel 2016, PASW Statistics 18, WINSTEPS 3.58.1, NVivo 11.0이다. 질적 자료의 분석은 근거 이론을 기반으로 한 부호화 방법을 일부 차용했다. 연구 결과는 정확한 자기보고를 방해하는 일반적 요소로서 검사 도구 측면과 반응자 측면의 두 요소를 발견했고, 반응자 측면은 하위 요소로 개인의 안정적 특성인 반응 양식과 일시적 특성인 반응 세트 등 두 요소로 분류했다. 검사 도구와 반응자 요소에는 모두 과학 특이성 요소가 각각 포함되어 있는데 과학의 특성, 개인의 과학 경험, 검사 도구 속 과학으로 인한 오차 등이 그것이다. 정확한 자기보고를 방해하는 첫 번째 요소는 검사 도구 측면에서 발견되었고, 도구 속 측정 개념, 도구 속 언어 형식 및 도구 속에 포함된 과학 특이성을 포함한다. 질적 자료인 학생 면담 결과를 통해 학생들은 과학과 과학 과목을 중심으로 한 측정 개념을 다르게 인식해서 다르게 반응함을 찾아냈고, ‘용어 혼동’이 그 예로 나타났다. 두 번에 걸친 검사 결과를 통해 탐지한 용어 혼동 집단과 그에 대비되는 참조 집단 간 차이가 통계적으로 나타났는데, 용어 혼동 집단은 정의적 특성 점수의 일부 구인에서 낮은 점수가 나타났고 차별적 문항 기능에서는 자아 개념 문항들에 유리하게 반응했다. 반면, 용어 혼동 집단의 학업 성취도가 다소 낮게 나타나서 측정 개념을 혼동하는 학생이 그렇지 않은 학생보다 실제 성취에 비해 자신의 성취를 다소 상향하는 경향이 있었다. 특히 문항마다 다른 과목을 연상해서 반응한다는 집단은 구인 내, 전체 문항 내의 문항 신뢰도가 낮게 나타나 일관성 없는 반응이 통계적으로 확인되었다. 도구 속 언어 형식은 검사 도구와 반응자가 짧은 시간 동안 상호작용하는 과정에서 언어 때문에 발생하는 검사 도구 측면의 오차 요소다. 도구의 결함에서 비롯한 언어 형식에 의한 오해에서부터 개인적 경험에 따른 언어 이해의 차이, 학생들의 역동적 사고가 작용하는 연속적 언어 조합의 제시는 도구 개발자가 예상치 못한 오차를 발생시켰다. 이때 스스로 형성한 인지적·정의적 성취에 대한 자기 인식의 양상에 따라 심리적 갈등이 나타나고 그를 조절하려는 반응으로 연결되는 모습이 발견되었다. 한편, 학생들의 경험을 통해 내면화된 과학 특이성은 검사 도구 속 측정 개념을 발산적으로 인식해서 정의적 특성 구인에 집중하지 못하는 반응을 유도했다. Rasch 모형에서 실제 반응에 대한 모형 적합도가 낮았던 문항들이 이러한 원인과 관련 있을 것으로 추측된다. 정확한 자기보고를 방해하는 두 번째 요소는 반응자 측면에서 발견되었고, 반응 왜곡으로서 반응 세트와 반응 양식, 반응자 관련 과학 특이성을 포함한다. 반응 세트는 검사 상황과 관련 있는 일시적 방해 요소와 동기인데, 특히 검사와 관련한 동기는 반응의 방향을 의식·무의식적으로 조정하기도 했다. 선발이나 평가 상황에서 좋은 인상을 주고 싶은 동기는 사회적 바람직성과 같은 심리적 특성이 포함된 반응을 유도했다. 사회적 바람직성이 높은 집단의 정의적 특성 점수가 높게 나타난 본 연구 결과가 이를 뒷받침하며, 사회적 바람직성이 높고 낮은 집단 간 차별적 기능 문항의 대비는 이들 집단의 특성을 파악하는 데 도움이 될 것으로 생각된다. 반응자 측면에서 나타나는 또 하나의 오차 요소는 개인의 안정적 특성인 반응 양식이다. 짧은 시간 안에 선택하는 학생의 반응에는 그의 개인적, 심리적 특성이 반영될 것이다. 선택의 상황에서 나타나는 반응은 모순 반응, 극단 반응, 중간 반응, 상향 반응, 하향 반응 등이 나타났다. 성취에 대한 자기 인식과 실제의 불일치는 모순 반응을 초래했다. 긍정적으로 상향하거나 부정적으로 하향하는 반응에는 다양한 심리 특성이 관여하는데 사회적 바람직성 이외에 자기 충족적 예언, 겸손, 자존감, 자기 비하, 무력감과 자괴감 등이 그 예로 나타났다. 학생들의 특이한 반응을 유도하는 상황, 예컨대 미래나 성취에 대한 자기 평가, 문제 풀이 상황에서는 소망, 불안, 낙관성과 비관성, 부담감, 겸손과 자기 비하 등의 심리가 나타나기도 했다. 극단 반응과 중간 반응은 종래 연구 결과와 다르게 나타났다. 동아시아 문화권의 반응 결과와 다르게 중간 반응을 기피하려는 경향, 성차 측면에서 남학생의 극단 반응 우세, 배경 맥락 측면에서 극단 반응 집단의 높은 학업 성취도가 나타났다. 이는 선발과 평가 상황에서 자기보고식 검사의 활용이 증가하는 추세에서 좋은 인상을 주려는 검사 요령과 관련된 현상 때문인 것으로 추측된다. 반응자 측면에서 나타나는 과학 특이성은 과학 동기와 개인의 과학 경험으로 분류했다. 과학을 장차 직업으로 취하려는 학생들이 과학 관련 정의적 특성 평가에 임하는 자세는 적극적이며 긍정적이었다. 과학에 대한 도구적 동기가 높은 학생과 진로가 이공 계열인 학생들은 과학의 정의적 특성 점수 뿐 아니라 학업 성취도도 높게 나타났다. 다만 이들의 사회적 바람직성도 높은 것으로 나타나 과학 동기, 정의적 성취, 인지적 성취와 함께 심리적 특성이 함께 연관되어 있음을 알 수 있으나, 이들 집단 차이가 왜곡의 결과인지는 확실하지 않아서 추 후 연구의 보완이 필요하다. 마지막으로 결과를 종합한 논의를 통해 오차 요소를 일반 요소와 과학 특이성 요소로 나누어 도식으로 정리했고, ‘정확한 자기보고’나 ‘반응 왜곡’이라는 개념이 학생이 검사 도구와 함께 작용해 나타낸 반응을 가치 부정적으로 볼 여지가 있어서 대안적 용어를 제안했다. 또한 과학과 정의적 특성 평가에서 이러한 오차 요소를 탐색해야 하는 과학 교육적 의미를 개인적, 사회·문화적, 검사 도구 개선, 과학 교과 교육적 측면에서 시사점을 제시했다. 최근 취업과 대학 입학 선발 과정에서 종합적 잠재 가능성과 역량을 평가하려는 추세가 증가함에 따라 지원자의 정의적 특성을 정량화, 객관화하려는 시도에 관심이 모아지고 있다. 과학 교육은 이러한 시대의 요구에 대비하며 학생에 대한 정확한 이해를 바탕으로 각자의 역량과 태도를 길러줄 수 있는 지원 체계를 마련해야 한다. 지금까지 집단의 평균을 근거로 한 거시적 성취의 비교에 집중했다면, 이제는 학생 개인에 주목하며 이들이 검사 도구와 상호작용하며 나타나는 상황과 맥락을 파악하고, 이를 보다 정확한 정의적 특성을 평가할 도구를 개발하는 데 환류해야 할 것이다.;The purpose of this study is to find out the factors that interfere with accurate self-report in assessment of science-related affective domain using self-report test. This provides a new perspective on the interpretation of test results and the meaning of science education. Also, this study suggests a better direction of accurate self-report oriented test tool. For this purpose, this study focuses on the subjectivity of the self-report test tool, and presents qualitative and quantitative data that reveal its limits in an integrated way. The viewpoint that researcher has taken on subjects is that they are active in interacting with the test tool reflecting their psychological state and cognitive structure. Thus, the following factors that prevented accurate self-report were discovered: general error factors in test tools and the respondent's aspects, ‘science specificity’ error factor formed through the student's daily and learning experience. Therefore, the research questions are to identify the factors which obstruct the accurate self-report, they are about general errors and science specific errors in terms of test tool and respondent. For this study, a total of 1,121 students participated in three high schools in a city, Gyeonggi Province. The 472 students participated in the preliminary test, and the other 649 students participated in two main tests and the results of the two main tests were provided as quantitative data. Forty four of them participated in the interview before and after the main tests and provided the results as qualitative data. Also academic achievements of 649 students were analyzed. The test tool for this main test was modified to reflect the results of the preliminary test and the student interview before the test, and its items were consisted of affective characteristics extracted from the items of PISA 2006, their modified types, social desirability, self-defense mechanism and science-related perceptions. Through student interviews, interacting with the test tool and students, cases of hesitant or incorrect response to accurate self-report were typified. At the same time, statistical approaches based on quantitative results were used to detect each case that students reported from qualitative interview data: descriptive statistics, inferential statistics, group difference analysis, correlation analysis, item response theory, and differential item functioning. The programs used for the analysis are Excel 2016, PASW Statistics 18, WINSTEPS 3.58.1, and NVivo 11.0, and the analysis of qualitative data partially adopted a coding method based on grounded theory. The results of the study were found to be general factors that hinder accurate self-report, both as a test tool and a respondent. The respondents' aspect was subdivided into two components, such as the response style, which is a stable characteristic of an individual, and the response set, which is a temporary characteristic. Each of the test tools factor and the respondent's factor contain a science specificity factor, which is the nature of the science, the individual's science-related experience, and the errors in the test tools. The first factor that impedes accurate self-report is found in terms of test tools and includes the concept of measurement in the tool, language format in the tool, and science specificity contained in the tool. The results of students' interview revealed that they recognized differently to the measurement concepts about science and science subjects, and responded differently. 'Term confusion' was an example. The difference between the confusion group and the reference group that was detected through the two test results was statistically significant. And the term confusion group showed low scores in some of the affective domain scores and responded favorably to the self-concept items in the differential item function. On the other hand, the term confusion group had a somewhat lower academic achievement, and the students confused with the measurement concept tended to raise their achievement a little than students who did not. In particular, the group who responded to different subjects in each item reported low reliability of the items in constructs, and total questionnaire. That provided statistical confirmation of inconsistent responses. The language format in the tool is the error factor of the test tool caused by the language in the process of short-time interaction between the test tool and the respondents. That causes unexpected errors in the tool developer. They arise from misunderstandings due to language format resulting from defects in the tool, differences in language understanding due to personal experience, and the presentation of consecutive language combinations in which students' dynamic thoughts work. At this time, psychological conflicts appear depending on the self-awareness of self-formed cognitive and affective achievement, and they are linked to reactions to control them. Meanwhile, the science specificity internalized through the students' experience induces a reaction that can't concentrate on the constructs of affective characteristics by divergently recognizing the measurement concept in the test tool. In the Rasch model, items with low goodness-of-fit for the actual response may be related to this cause. A second factor that hinders accurate self-reporting is found on the respondent, including response set, response style, as a response bias and science specificity. The response set is the temporary disruption and motivations factors associated with testing situations, especially, motivation in relation to the test adjusts the direction of the reaction consciously or unconsciously. Motivation to give a good impression in the selection or evaluation situation induces a response that includes psychological characteristics such as social desirability. This is supported by the fact that the high affective characteristic score of the group with high social desirability, and the contrast of high and low social desirability groups in differential functioning items helps to characterize these groups. Another error factor that appears on the respondent side is the response style, which is a stable characteristic of the individual. The student's response in a short period of time reflects his or her personal and psychological characteristics. The response in the choice situation showed contradiction response, extreme response, intermediate response, upward response, downward response. Discordance between self-awareness and actual achievement leads to contradictory responses. There are various psychological characteristics involved in the positive upward or negative downward response, such as self-fulfilling prophecy, humility, self-esteem, self-deprecation, helplessness and numbness in addition to social desirability. In situations that elicit unusual reactions from students, such as self-assessment of achievement, future, and problem-solving situations, there are also feelings of hope, anxiety, optimism and pessimism, burden, humility and self-depreciation. Including the extreme response and the intermediate response there were some differences from the results of the previous studies: the trend to avoid the intermediate response unlike the results of the response in East Asia culture, male students' dominance in gender differences, and the high academic performance of the extremist groups in terms of the background context. This is presumably due to the phenomenon related to the test wiseness to give a good impression in the trend of increasing use of self-report test in the selection and evaluation situation. Science specificity on the respondent aspect was classified as science-related motivation and individual science experience. Students who want to pursue science as a career in the future are active and positive in their assessment of science-related affective domain. Students with high instrumental motivation for science and students with science and engineering track in school have not only high affective achievement but also high academic achievement. However, it can be seen that their social desirability is also high, indicating that psychological characteristics are associated with science-related motivation, and affective·cognitive achievement. It is not clear whether these group differences are the result of distortion. Finally, this study proposed the implications of science education meaning to investigate these error factors in the assessment of science-related affective characteristics in terms of various aspects such as individual, social-cultural, improvement of test tools, and science subject education. Recently, as the tendency to evaluate comprehensive potential and competency in the process of selecting employment and college admissions has increased, interest in quantifying and objectifying affective characteristics of applicants has been attracting attention. Science education should be prepared to meet the needs of these times and provide a support system that can develop their competence and attitude based on accurate understanding of students. So far, science educators have focused on comparing macro-based achievements based on group averages, now, they should pay attention to individual students and need to understand the context in which they interact with the test tool. And the results should be returned in order to develop a tool to assess more accurate affective characteristics.