소리내어 읽기 말하기 평가과제의 구인타당도 연구

Abstract

말하기 능력에 대한 중요성이 증대되면서 학교나 기업, 공공기관에서는 입시, 채용 및 승진의 목적으로 말하기 평가 점수를 요구하고 있으며 이와 함께 말하기 평가의 수요도 점점 증가하고 있다. 중요한 결정을 내리기 위한 목적으로 평가 결과를 사용하고 있으므로 기존에 사용되고 있는 말하기 평가 도구들이 수험자의 말하기 능력을 제대로 측정하고 있는지와 측정 결과에 대한 해석이 타당한지를 알아보는 연구가 반드시 필요하다. 소리내어 읽기 과제는 단문이나 짧은 대화문을 수험자에게 소리내어 읽도록 하는 활동으로서 영어 읽기 및 말하기 지도 시에 수업 활동과 평가 과제로 사용되어 왔다. 말하기 평가 과제로 사용되는 소리내어 읽기 과제에 대하여 학자들은 주로 발음을 측정하는 도구로서 적절하다는 입장을 보인다(Brown, 2004; Celce-Murcia, Brinton, & Goodwin, 1996; Koren, 1995; Luoma, 2004; Underhill, 1997; van Weeren & Theunissen, 1987). 또한 수험자의 답변이 통제된다는 측면에서 객관적인 평가를 가능하게 하며 채점이 용이하다는 장점도 가지고 있다고 소개한다(Brown, 2004; Luoma, 2004; Underhill, 1997). 반면에 상황적 진정성이 낮은 평가 과제라는 단점도 지적되고 있다(신상근, 2010; Brown, 2004; Underhill, 1997). 소리내어 읽기 과제는 현재 널리 실시되고 있는 TOEIC Speaking test, TEPS, Versant test, EPTA와 같은 말하기 평가 도구에도 평가 과제 중 하나로 포함되어 있는데, 그럼에도 불구하고 소리내어 읽기 과제에 대한 연구는 거의 없는 실정이다. 따라서 소리내어 읽기 과제가 가지고 있는 특성을 알아보고 과제가 측정하고 있는 구인을 확인하는 타당도 연구가 필요하다. 본 연구의 목적은 소리내어 읽기 과제가 말하기 평가 과제로서 갖는 특성을 조사하여 해당 과제가 측정하는 수험자의 말하기 능력을 확인하는 데에 있다. 이를 위하여 첫째, 소리내어 읽기 과제를 포함하고 있는 인터넷 말하기 평가에 응시한 성인 수험자들의 평가 결과를 분석하였다. 둘째, 수험자가 소리내어 읽기 과제와 인터뷰를 수행한 결과를 비교하였다. 셋째, 소리내어 읽기 과제로 제시되는 지문에 대한 수험자의 단어 및 문법 지식과 말하기 점수의 상관관계를 분석하고, 지문의 난이도에 따른 수험자의 점수를 비교하였다. 마지막으로 소리내어 읽기 과제 및 영어 말하기 평가에 대한 수험자와 채점자의 의견을 수집하였다. 이처럼 소리내어 읽기 과제를 여러 측면에서 살펴본 증거를 수집하여 본 과제의 특성을 알아보았다. 본 연구를 통해 도출된 결과는 다음과 같다. 첫째, 수험자들이 소리내어 읽기 과제를 수행한 결과와 문제 해결하기, 설득하기 과제를 수행한 결과 간의 상관관계는 상당히 높은 것으로 드러났다. 수험자의 유창성 점수는 평가 과제에 따라 달라졌으며 소리내어 읽기 과제 수행 결과 측정된 유창성 점수가 다른 과제에 비해 더 높았다. 반면 발음 점수는 평가 과제에 관계없이 비슷하게 나타났다. 둘째, 수험자가 소리내어 읽기 과제를 수행한 결과와 인터뷰 결과 사이에는 과제로 제시된 지문에 따라 다른 결과가 드러났다. 먼저 자기소개 지문을 소리내어 읽은 결과와 인터뷰에서 자기소개를 한 결과 사이에는 유의미한 차이가 있었으며, 유창성 점수는 자기소개 지문을 읽을 때가 자기소개를 할 때보다 높게 측정된 반면 발음 점수는 비슷하게 측정되었다. 한편 자기소개 대화지문을 소리내어 읽은 결과와 인터뷰에서 면접관의 질문에 답한 결과 측정된 수험자의 말하기 점수 사이에는 유의미한 차이가 없었다. 셋째, 소리내어 읽기 과제로 제시된 지문에 어려운 단어나 복잡한 구문이 포함되어 있는 경우 수험자의 유창성과 발음 점수가 모두 낮아졌다. 더불어 수험자가 지문에 나온 단어나 문법에 대해 잘 이해하고 있을수록, 소리내어 읽기 과제 점수도 높았다. 넷째, 소리내어 읽기 과제가 본인의 말하기 능력을 잘 반영하고 있는지에 대해 약 47%의 수험자가 그렇지 않다고 응답한 반면 약 80%에 해당하는 25명이 소리내어 읽기 과제가 말하기 평가에 포함되어야 한다고 하여 다소 상반된 응답결과가 나타났다. 채점자는 소리내어 읽기 과제가 반드시 필요한 과제는 아니지만 지문에 어려운 단어가 포함된다면 수험자의 어휘 능력을 확인해 볼 수도 있을 것이라는 의견을 제시하였다. 본 연구를 통해 수험자가 다른 반직접 말하기 평가 과제를 수행한 결과에 비해 소리내어 읽기 과제를 수행한 결과 유창성 점수가 더 높게 측정되었으므로 어떤 수험자의 유창성을 소리내어 읽기 과제를 통해 추론하는 데 주의가 필요함을 시사한다. 반면에 수험자의 발음 점수는 과제에 영향을 받지 않고 일정하게 측정되므로 소리내어 읽기 과제를 수행한 결과를 통해 측정된 어떤 수험자의 발음 점수는 실제 그 수험자의 발음 능력을 반영한다고 할 수 있다. 또한 수험자의 발음을 측정하는 도구로서 소리내어 읽기 과제를 소개한 Brown(2004), Celce-Murcia et al.(1996), Luoma(2004), 그리고 Underhill(1997)의 주장을 뒷받침한다. 둘째, 자기소개 지문을 소리내어 읽을 때와 인터뷰시 자기소개를 한 결과 소리내어 읽은 결과 수험자의 유창성 점수가 더 높았으며 발음 점수는 비슷하였다. 이는 앞서 반직접 말하기 평가 과제와 비교한 바와 마찬가지로 소리내어 읽기를 통해 수험자의 유창성을 측정하는 것이 적절하지 않은 것으로 판단된다. 셋째, 소리내어 읽기 과제로 제시되는 지문의 난이도가 수험자의 유창성과 발음 점수에 모두 영향을 미치는 것으로 미루어 보아, 과제로 제시되는 지문의 선정에 있어서 주의를 기울일 필요가 있음을 알 수 있다. 또한 과제로 제시되는 지문에 사용된 단어와 문법에 대한 수험자의 지식이 뛰어날수록 소리내어 읽기 결과 측정된 수험자의 유창성과 발음 점수도 높아졌으므로 말하기 점수와 수험자의 단어와 문법 지식이 관련되어 있음을 짐작할 수 있다. 따라서 수험자의 유창성을 소리내어 읽기를 통해 추론하는 것이 위험할 수 있음을 알 수 있으며 발음 평가 도구로서는 적절하지만, 지문이 어려운 경우 유창성과 발음 점수가 모두 낮아졌으므로 지문이 수험자에게 익숙하다는 전제하에서만 유창성과 발음 평가 도구로서 적절하다는 결론을 내릴 수 있다. 마지막으로, 소리내어 읽기 과제를 말하기 능력을 측정하는 것으로 생각하지 않는 수험자가 많았음에도 불구하고 대부분의 수험자들이 소리내어 읽기 과제가 말하기 평가에 포함되어야 한다는 의견을 나타냈다는 점은 소리내어 읽기 과제에 대하여 수험자가 갖는 인상이 부정적인 것만은 아님을 반영하는 것으로 판단된다. 채점자의 의견을 통해서도 소리내어 읽기 과제가 반드시 필요한 과제는 아니지만 지문의 난이도에 따라 수험자의 어휘 능력을 측정할 수도 있다는 가능성이 제시되었는데 따라서 소리내어 읽기 과제가 수험자의 어휘 능력을 살펴보는 도구로 활용할 수도 있음을 알 수 있다. 이와 같이 소리내어 읽기 과제가 가지고 있는 특성을 다양한 측면에서 조사한 본 연구 결과가 앞으로 말하기 평가 도구에서 소리내어 읽기 과제를 적절하게 사용할 수 있는 토대를 마련할 수 있기를 기대한다.;The read-aloud task requires test-takers to read a short sentence or a dialogue text aloud and it has commonly been used as a classroom activity and test task in reading and speaking areas. Some believe that the read-aloud task as a speaking test task has a merit of practicality (Brown, 2004; Luoma, 2004). On the other hand, it has been criticized since it fails to verify situational authenticity (Shin, 2010; Thornbury, 2005). Several speaking tests which are widely used now include the read-aloud task, though research examining the validity of the read-aloud task or investigating the characteristic of the task is sparse. The read-aloud task is mainly intended to measure the test-takers' pronunciation (Brown, 2004; Celce-Murcia et al., 1996; Koren, 1995; Luoma, 2004; Underhill, 1997; van Weeren & Theunissen, 1987). Luoma (2004) mentioned that the task also allows teachers to observe students' grammar. The primary aim of this study is to explore the traits of the read-aloud task and then to ascertain the construct which the task is intended to measure. To achieve this purpose, first, the results of internet-based English speaking tests that were taken by 115 adult test-takers were analyzed. Second, 32 test-takers' performances in an oral interview and the read-aloud task were compared. Third, test-takers' performances in three read-aloud tasks consisting of a monologue, a dialogue, and a difficult text were compared in order to determine if the difficulty of the texts affected the read-aloud test results. Fourth, to secure face validity of the task the test-takers' perception of the read-aloud task was investigated and the rater's opinion on the task was given. In this way, the study collected various evidence on the read-aloud task in order to look into its qualities and then to understand the construct. The findings of this study are summarized as follows. First, it revealed a significantly strong pattern among the students' scores from the three task types - basic survival situation, persuasion, and read-aloud task. The students' fluency scores measured in the tasks were inconsistent. To put it concretely, students performed better in the read-aloud task than in the other two tasks. However, pronunciation scores were similar regardless of the task types. Second, the participants' performances in the read-aloud task were in contrast to the ones in the interview. In particular, test-takers' fluency scores were generally much higher in the read-aloud task than in the interview. Once again, the pronunciation scores remained similar. Third, both fluency and pronunciation measure were estimated to be lower when the text provided consisted of difficult vocabulary and complicated structures. That is, test-takers who were familiar with the text read it better. Therefore, the difficulty of a text strongly affected their read-aloud scores. Fourth, the read-aloud task doesn't secure face validity in light of test-takers' perception on it. Though almost half of them responded that the read-aloud task didn't seem to measure one' speaking ability, a lot of them believed that the task should be included in speaking tests. Therefore the conclusion as to the appropriacy and necessity of the task was somewhat ambiguous. The rater commented that the read-aloud task is not necessary, however, it is assumed that test-takers' abilities such as vocabulary skill could be checked out if advanced vocabulary is included. There could be some arguments based on the analysis of the findings. First, on the one hand, fluency measured by the read-aloud task should be interpreted very carefully because one's fluency varies from differing test tasks. On the other hand, pronunciation estimates are not affected by the tasks, therefore one's pronunciation by means of the read-aloud task allows to make highly reliable assumptions. Second, fluency scores as test-takers read a monologue text and introduce themselves were inconsistent, hence it should be determined which score is close to the test-taker's actual fluency proficiency. Third, because the type of passage presented has an impact on either fluency or pronunciation, the selection of a text requires careful attention. More specifically, the more complicated that factors such as vocabulary and grammatical construction are, the higher the level of difficulty becomes, and certain elements irrelevant to fluency and pronunciation ability might be involved in the score. In this case, judging speaking ability, which is represented by fluency and pronunciation measures should be trod carefully. On the contrary, other language abilities could undoubtedly be evaluated through the read-aloud task. In this respect, the applicability of the reading task as a test task might be further utilized. Lastly, given the rater's opinion on the task in that it may be excluded from the speaking test, and that there are more feasible alternatives to assess other abilities as well as fluency and pronunciation. It is therefore recommended by the study that these results derived from the present study which examined the task in terms of various aspects would be the basis of application of the read-aloud task to test speaking. Additionally, further research which controls the genre of the texts that is based on more subjects and explores features of the tasks in terms of various aspects should be carried out.