Effects of Interlocutor Proficiency on Test-Takers’ Test Scores, Interaction Patterns, and Anxiety Levels in a Paired Speaking Test

Abstract

본 연구의 목적은 짝 영어 말하기 시험에서 상대 수험자의 영어 능숙도가 수험자의 말하기 점수, 담화 유형과 시험 불안에 미치는 영향을 알아보는 데 있다. 짝 영어 말하기 시험은 면접관과 수험자 사이의 대화가 아니라 동등한 위치의 수험자끼리 대화가 이루어져서 수험자의 말하기 능력을 더 정확하게 측정할 수 있다는 기대감에서 많은 관심을 받았으나 상대 수험자의 특성이 시험 결과에 부정적인 영향을 미칠 수 있다는 우려가 제기되어 왔다. 상대 수험자의 여러 특성 중에서도 상대 수험자의 영어 능숙도가 시험 결과에 영향을 미치는지에 대한 연구가 소수 발표되었으나 상반된 연구 결과가 보고되었다. 지금까지 발표된 선행연구는 연구 방법 측면에서 여러 가지 문제점을 가지고 있는데 우선 수험자의 영어 능숙도를 판단하는데 자의적인 기준을 사용하였고, 수험자의 능숙도 수준도 상위 그룹과 하위 그룹 두 수준에서 살펴보는 것에 그쳤다. 또한 능숙도가 다른 수험자들과 시험을 볼 때 상대 수험자의 영어 능숙도에 따라 수험 결과가 달라질 수 있음에도 불구하고 시험 순서를 통제하는 데 있어 역균형화가 시도된 연구는 매우 드물다. 한편 말하기 시험에서 수험자의 불안이 시험 결과에 영향을 미친다는 주장에도 불구하고 짝 말하기 시험에서 불안이 시험 결과에 미치는 영향에 대한 실증 연구가 전무하였다. 상대방 수험자의 영어 능숙도에 따라 수험자가 느끼는 불안 정도에 차이가 날 가능성이 크기 때문에 본 연구에서는 상대방 수험자의 영어 능숙도에 따라 수험자의 불안 정도에 차이가 나는지를 시험 전∙후에 설문지를 활용하여 측정하였고, 선행연구의 한계를 극복하기 위해 시험을 치루는 전 과정에서 불안을 측정하여 분석하였다. 서울 시내 대학에 재학 중인 112명이 본 연구에 참여하였는데, 수험자를 공인 영어 말하기 성적에 따라 최상, 상, 중, 중-하, 그룹에 배치하였다. 최상, 상, 중, 중-하 그룹 각 24명의 수험자가 자신의 영어 말하기 실력보다 상위 그룹, 동일 그룹 그리고 하위 그룹에 속하는 상대 수험자와 짝 말하기 시험을 수행하였다. 세 번의 시험 순서를 상대 수험자의 언어 능숙도에 따라 역균형화를 시험 순서에 적용하였다. 또한 수험자가 시험을 치르는 동안 수험자의 심박수를 실시간으로 측정하여 불안의 변화를 조사하였고, 수험자의 시험 과정을 녹음한 내용을 전사한 자료를 담화 유형에 따라 분류하였다. 마지막으로 시험을 마친 수험자를 대상으로 개방형 질문 5개와 폐쇄형 질문 4개로 구성된 설문지 조사를 실시하여 수험자가 짝 말하기 시험에 대한 선호도와 짝 말하기 시험의 장∙단점, 그리고 시험을 치르는 동안 상대 수험자로부터 영향을 받았는지에 대한 수험자의 의견을 수집하였다. 상대 수험자의 언어 능숙도의 영향을 분석하기 위하여 수험자의 말하기 시험 결과를 FCE 분석적 채점 기준을 사용하여 발음, 어휘와 문법, 상호 의사 소통능력, 담화 조정 능력 영역별로 채점을 하였고, Galaczi (2008)가 제시한 담화 유형에 따라 수험자의 대화를 분류하여 상대방 수험자의 능숙도에 따라 담화 유형이 달라지는지 분석하였다. 또한 시험이 시작된 후 30초, 60초, 90초, 120초에 측정된 맥박수를 분석하여 상대방 수험자의 영어 능숙도에 따라 수험자가 느끼는 불안 정도에 차이가 나는지, 그리고 이러한 불안이 시험 시간이 경과함에 따라 변화하는지 분석하였다. 본 연구의 결과는 다음과 같다. 먼저 수험자가 영어 능숙도가 다른 세 명의 상대방과 시험을 본 결과에 통계적으로 유의미한 차이가 나는지를 반복측정 분산분석을 실시해서 살펴본 결과 상대 수험자의 영어 말하기 실력이 수험자의 말하기 시험에 영향을 미치는 것으로 나타났다. 구체적으로 수험자가 자신 보다 상위 수준의 상대 수험자와 시험을 보았을 때 점수가 가장 높았고, 자신 보다 낮은 수준에 속하는 상대자를 만난 경우 점수가 제일 낮았으며 세 점수 사이에는 통계적으로 유의미한 차이가 있는 것으로 밝혀졌다. 이러한 결과는 Iwashita (1998)가 하위 수준의 학습자가 상위 수준의 상대자와 시험을 치른 경우 수험자가 획득한 두 점수에서 점수의 향상이 보고된 것과 일치한다. 또한 상대적으로 하위 수준에 속하는 수험자가 상위 수준의 상대자와 시험을 치른 경우에 유창성 점수에 큰 향상을 보였다는 Teng (2012)의 연구 결과와 부분적으로 일치하는 결과이다. 둘째, 상대 수험자의 영어 말하기 실력이 수험자의 담화 유형 변화에 큰 차이를 가져오지 않은 것으로 나타났지만 상위 그룹에 속한 수험자가 자신보다 하위 수준에 속하는 상대 수험자를 만나는 경우에는 비대칭적 담화유형이 빈번한 분포로 급격하게 증가하였다. 또한 중-하 그룹에 속한 수험자가 자신 보다 하위 수준인 하 그룹에 속하는 상대자를 만나는 경우에도 비대칭적 담화 유형의 분포가 크게 증가하는 것이 관찰되었다. 이러한 결과는 상위 학습자의 담화 유형이 협력적이지만 하위 학습자로 갈수록 병렬적이거나 비대칭적 담화 유형을 보였다는 Galaczi (2008)의 연구 결과와 일치한다. 또한 짝 말하기에서 수험자가 상위 수준의 상대방과 대화하는 경우 매우 수동적인 자세를 취하는 경향을 보고한 Storch (2001; 2002)의 연구 결과와 유사하다. 셋째, 시험 초기에는 상대 수험자의 영어 말하기 능력이 수험자의 불안에 영향을 미쳤지만 시험 시간이 경과함에 따라 상대방 수험자에 따른 불안 정도의 차이가 사라지는 경향을 보였다. 구체적으로 시험 시작 후 측정 시점 30초에서는 수험자가 자신보다 상위 수준의 상대방과 시험을 볼 때 느낀 불안 수준이 자신과 동일한 수준의 상대방이나 자신보다 낮은 수준의 상대방과 시험을 볼 때 느낀 불안 수준에 통계적으로 유의미한 차이가 나는 것으로 나타났다. 이와 달리 60초에서는 수험자가 자신의 영어 말하기 실력보다 상위 수준의 상대 수험자와 시험을 볼 때 느낀 불안과 하위 수준의 상대 수험자와 시험을 치는 경우 느낀 불안 수준에만 통계적으로 유의미한 차이가 있었다. 나머지 측정 시점인 90초와 120초에서는 상대 수험자의 영어 말하기 능력에 따라 수험자가 느끼는 불안에 어떠한 통계적인 차이가 나타나지 않았다. 이와 같이 시험 초기에 상대 수험자의 언어 능력에 따라 수험자가 느끼는 불안의 차이는 일정 시간이 지난 후 사라지는 경향을 보였는데, 이러한 경향성은 Gregersen, Meza, MacIntrye (2014)의 연구 결과와 유사하다. 마지막으로 짝 말하기 시험에 대한 수험자의 인식을 분석해 본 결과 우선 혼자 말하기 시험 방식과 짝 말하기 시험 방식 중 선호하는 시험을 묻는 문항에서 수험자의 75%가 짝 말하기 시험을 혼자 말하는 시험 유형 보다 선호한다고 응답하였는데, 그 이유로는 수험자들이 짝 말하기 시험 방식이 실제적이고 실생활과 유사해서 시험의 진정성이 높기 때문이라고 밝혔다. 다음으로 짝 말하기 시험의 장점에 대한 응답을 분석해본 결과 많은 수험자가 짝 말하기 시험이 실생활에서 영어로 말하는 것과 유사하고, 심리적으로 편안한 시험이라는 점과 상대방으로부터 언어적인 도움을 받을 수 있다는 점을 장점으로 꼽았다. 짝 말하기 시험의 단점으로는 상대 수험자와 자신의 언어 능숙도 차이와 상대 수험자의 부정적인 태도와 성격이 시험 결과에 부정적인 영향을 미칠 수 있다고 지적하였다. 한편 가장 편안한 상대 수험자를 묻는 문항에 수험자들은 자신보다 상위이거나 동일한 수준의 상대자를 선택하였는데 그 이유로는 상위 수준의 상대방으로부터 어휘나 표현을 배울 수 있고, 상대방의 도움으로 대화의 흐름이 원활해지기 때문이라고 응답하였다. 반대로 가장 불편한 상대 수험자를 묻는 문항에도 역시 수험자의 대부분이 자신보다 상위 수준의 상대 수험자를 선택하였는데 그 이유는 상대 수험자의 어려운 어휘 사용이 이해하기 대화의 내용을 이해하기 어려웠고, 상대방의 언어 수준을 배려하지 않고 독단적인 대화 진행을 하였기 때문이라고 응답하였다. 마지막으로 짝 말하기 시험을 치르는 동안 상대 수험자의 영향을 받았는가 라는 질문에 연구 참여자의 70% 이상이 영향을 받았다고 응답하였다. 본 연구의 결과를 종합해 볼 때 짝 말하기 시험에서 상대 수험자의 언어 능력이 수험자의 시험 점수, 담화 유형, 그리고 시험 불안 수준에 영향을 미치는 것으로 나타났다. 이러한 결과는 두 명의 수험자가 대화를 하기 때문에 시험의 진정성이 높아 수험자의 말하기 능력을 타당하게 측정할 수 있다는 주장에 의문을 제기한다. 가장 큰 문제는 동일한 수험자가 어느 수준의 상대방과 시험을 보는가에 따라 시험 결과가 달라지기 때문이다. 한편 수험자가 상대 수험자의 언어 능숙도에 따라 느끼는 시험 불안의 경우에는 시험 시작 후 30초와 90초에서 통계적으로 유의미하게 나타났다가 사라지는 경향을 보였으므로 수험자에게 충분한 시험 시간이 제공된다면 수험자가 느끼는 시험 불안이 짝 말하기 시험 결과에 큰 차이를 가져 오지는 않는다는 점을 시사한다. 상대방 수험자의 영어 능숙도에 따라 짝 말하기 시험의 결과에 차이가 난다는 본 연구의 결과는 짝 말하기 시험이 인터뷰 시험의 한계를 극복한 타당한 말하기 시험으로 단정하는 것은 위험하다는 점을 알려준다. 완벽한 말하기 평가 도구가 존재하지 않고 평가 방법마다 장점이 있기 때문에 한 가지 시험 방식에만 의존하기 보다는 다양한 평가 방식으로 수험자의 말하기 능력을 측정할 필요가 있다고 하겠다. 또한 시험 시간이 충분히 확보된다면 상대방 수험자의 능숙도가 수험자의 불안 정도에 미치는 영향은 점차 약해지다가 결국에는 사라지기 때문에 짝 말하기 시험을 실시할 때 시험 시간을 최대한 제공하는 것이 필요하고 채점할 때도 초기 시험 자료보다는 중반 이후의 시험 자료에 더 집중할 필요가 있다는 점을 시사한다.;Paired speaking tests have received wide attention as a way of eliciting interactive and natural language use from test-takers. Researchers have found that patterns of dyadic interactions emerging from the paired format are more interactive and symmetrical than during interviews (Galaczi, 2004, 2008; Kormos, 1999; Lazaraton, 2002; Taylor, 2001). However, concerns have arisen regarding potential effects of interlocutor proficiency on test-takers’ speaking test performance. The possibility of test-takers’ performance being influenced by such a construct-irrelevant variable represents a critical construct validity issue. Although a number of researchers have explored the effect of interlocutor proficiency on speaking test performance, the findings remain inconsistent, with some reporting a statistically significant difference in test scores (Iwashita, 1998), while others have not found any effects from proficiency level gaps between pairs (Csépes, 2009; Davis, 2009). As such, there is a need for further empirical research on how interlocutor proficiency affects paired speaking test performance. It is well known that foreign language anxiety (FLA) has negative effects on foreign language speaking. Previous studies on the relationship between FLA and speaking test performance have shown that anxiety can have debilitating effects on test performance (Aida, 1994; Bailey, Onwuegbuzie, & Daley, 1998; Horwitz, Horwitz, & Cope, 1986; Saito & Samimy, 1996; Sparks & Ganschow, 2007; Tóth, 2010). The influence of anxiety on group speaking performance has been the subject of much investigation (Fulcher, 1996; Gregersen & Horwitz, 2002; MacIntyre, 1999). These studies employed anxiety questionnaires administered before or after a speaking test, making it hard to estimate test-takers’ levels of anxiety while actually taking the test (Norton, 2005; Saville & Hargreaves, 1999; Scovel, 1978). Attempts have also been made to monitor the anxiety levels of test-takers while actually taking a test through physiological measures such as heart rate (Aiken, 1962; Daly, Chamberlain, & Spalding, 2011; Gregersen, Meza, & MacIntyre, 2014; Machida, 2001; Matthews, Manuck, & Saab, 1986; Montgomery, 1977). While the relationship between FLA and speaking test performance has been extensively studied, few researchers have investigated anxiety levels in relation to the interlocutor in the paired speaking test context, and to date, a physiological approach to measure test-takers’ anxiety levels in real-time during the paired speaking test has never been applied. This present study has explored the effect of paired partners’ proficiency levels on speaking test scores, interaction pattern, and test anxiety levels during a paired foreign language speaking test in English. A total of 112 English learners from two universities in Seoul volunteered to participate in the study, and were asked to submit official standardized speaking test scores when they contacted the researcher to register their participation interest. Based on their speaking test scores, the participants were divided into five proficiency levels: Superior, High, Intermediate, Novice-high, and Novice groups. The participants in the High, Intermediate, and Novice-high groups were each matched with three partners of higher, matching, and lower proficiency levels. Data from the 72 participants who completed the speaking test three times with partners of varying proficiency levels was analyzed. In assessing the test-takers’ performance, two raters scored them in the four areas of pronunciation, grammar and vocabulary, interactive communication, and discourse management. In addition, to identify changes in test-takers’ anxiety levels, their heart rates were measured during the actual test. Next, a follow-up questionnaire was also utilized to collect feedback from the test-takers regarding their own perceptions of any interlocutor effect experienced during the paired tests. The analysis of the effects of interlocutor proficiency on the test scores revealed significant differences in the test scores according to the partner’s proficiency level. Specifically, the results of a mixed repeated measure ANOVA showed statistically significant differences in the test scores obtained when paired with a higher, a matching, and a lower-proficiency partner. When test-takers were paired with a higher-proficiency partner, their test scores increased, but when paired with a lower-proficiency partner, their test scores decreased. The analysis of the pair interaction patterns revealed few shifts in discourse patterns according to the partners’ proficiency group. In the High group, collaborative, parallel, and asymmetric styles of interaction occurred at similar rates, while in the Intermediate and Novice-high groups, nearly half were parallel interactions, with the remainder showing similar ratios of collaborative or asymmetric styles of interaction. Meanwhile, an analysis was also conducted to find out if there were differences in the prevalence of interaction patterns when partners had different proficiency levels. It was found that the occurrence rate of parallel interactions in the High group increased sharply when they were paired with an Intermediate level partner, while blended style comprised about 12% of the interactions. In addition, when Novice-high test-takers were paired with partners having a lower proficiency than their own, the ratio of collaborative style decreased, while asymmetric discourse pattern increase. To determine whether test-takers’ anxiety levels differed according to their partners’ speaking proficiency, an analysis of their heart rates at different intervals and with different partners was performed using a mixed repeated measures ANOVA. Specifically, when comparing individuals’ anxiety levels at the 30-second point during the test with partners of three different proficiency levels, anxiety was found to be statistically significantly greater when paired with a higher-proficiency partner than with a matching- or lower-proficiency partner. However, no differences in anxiety level were found between taking the test with a matching-proficiency partner versus a lower-proficiency partner. At the 60-second point, the only condition that showed a statistically significant difference was a higher level of anxiety when partnered with a higher-proficiency partner versus a lower-proficiency partner. Meanwhile, at the 90-second and 120-second points, no differences in anxiety levels were found, regardless of the partner’s speaking level. A follow-up questionnaire was administered to investigate the test-takers’ views on the paired speaking test as well as any possible interlocutor effects. First, participants responded that, being similar to real conversation, the paired speaking test seemed to be a better measure of their oral skills than a test in monologue format. They noted feeling less anxious because they were able to depend on their partners, and also received help from their partners with language expressions and ideas. In addition, they pointed out some negative effects on their performance resulting from certain characteristics of some interlocutors. The participants expressed concerns that included feeling at a possible disadvantage when the interlocutor’s English was extremely good, owing to loss of confidence or fear of appearing deficient in comparison, or alternately, having difficulties conducting a dialogue owing to the partner’s poor pronunciation or extremely low proficiency. Such responses suggest that test-takers were indeed affected by proficiency gaps with their partners. Other responses suggested possible adverse effects upon test-takers’ performance arising from a partner’s attitude or personality. Examples include partners being overly dominant or monopolizing the floor, or alternately being so shy and reticent that they failed to participate in the dialogue, or seemed unenthusiastic. Among the respondents who had taken the paired speaking test with partners at three different proficiency levels, 79.1% experienced an effect from interlocutor proficiency. In summary, the findings of this study show that a partner’s level of speaking proficiency does make a difference in test results and test-taker anxiety levels. Specifically, in an analysis to determine whether individual test-takers’ paired speaking test results differ depending on their partner’s speaking level, it was found that, in every group—High, Intermediate, and Novice-high—score differences occurred in accordance with the partner’s proficiency level. These results are partly in line with Iwashita (1996) and Teng (2012). Meanwhile, in an analysis to determine whether interaction patterns differed in accordance with partners’ proficiency levels, no consistent patterns were found. Differences in the occurrence rate of interaction patterns appeared in the following pairings: for test-takers in the High group, when paired with a lower-proficiency partner; for test-takers in the Intermediate group, when paired with a higher-proficiency partner; and for test-takers in the Novice-high group, when paired with a lower-proficiency partner. In addition, an interlocutor proficiency effect was also found to affect test-takers’ anxiety levels towards the beginning of the paired speaking test. However, the differences in anxiety levels disappeared as the test progressed. Lastly, test-takers’ responses to a study questionnaire noted that, although paired speaking tests have such advantages as authenticity based on a dialogue format that is more natural than semi-direct testing, as well as the benefit of assistance from partners, there may nevertheless be adverse effects stemming from factors like proficiency gaps between partners or negative aspects of a partner’s manner of speaking or attitude. A key finding of this study is that performance on paired speaking tests can be affected by characteristics of speaking partners which are irrelevant to the test’s construct, namely, to evaluate test-takers’ speaking ability. This indicates a serious issue related to the test’s construct validity. It is a fact that there is no perfect speaking test method capable of fully eliciting test-takers’ language ability, and every test has its own strengths and weaknesses. As such, for more accurate assessment of test-takers’ speaking ability in the interest of rational decision-making, rather than relying on only a single assessment method, it would be preferable to apply a variety of assessment methods.