The impact of phraseological knowledge, working memory, anxiety and familiarity with accents on Korean college level English learners’ integrated speaking test performance

Abstract

Speaking ability is one of the important parts of language performance, and it has been assessed through different tests and methods to date. Traditionally independent tasks have been used to assess test takers’ performances, and many studies focused on how speaking abilities influence the test scores. However, integrated speaking tests have recently received more attention, and clearly these tests pose more challenges for students in their speaking test performances. This is because, students are not only required to engage in reading and listening sections to perform integrated speaking questions but also understand the given material in reading and listening sections to perform the test. That is why integrated tests are recognized as task that requires more sophisticated language use and processing that test takers are engaged in. These tests transcend the proficiency levels with regard to rapid process of given material and language production. Considering these challenges, several different variables may influence the test takers’ performances. Even though test scores are often used to assess students’ speaking ability, potential factors that might affect the scores should also receive attention in order to interpret the test scores better. To better understand the speaking test performances of English learners, different variables that can affect the test takers’ performances should be investigated. This study aimed to explore the impact of various variables that can pose different challenges on Korean college level English learners’ speaking test performance by focusing on the integrated speaking tasks. Studies exploring the difference between the responses to independent and integrated speaking tasks have started to receive attention in the field of test assessment with the increased use of standardized tests. Many studies shed light on the understanding of different task types, and it has been also acknowledged that linguistic, cognitive, and affective factors play a role in students’ language test performances. However, there is still a gap between speaking test performances and what test scores indicate in terms of the effects of several variables on the integrated speaking test performance. Previous research has showed that several variables such as phraseological knowledge, working memory, anxiety, and familiarity with accents reduce the burden of engaging in rapid processes and language production. Hence, in this study, the impact of phraseological knowledge, working memory capacity, anxiety, and familiarity with accents on integrated speaking test performance were investigated to get better insights into students’ integrated speaking test performances and to explore whether their test scores reflect these challenges. To construct the present research, two integrated speaking items were taken from the official guideline of TOEFL book and five data instruments in total were carefully chosen while designing this study. Two questions were related to sociology classes that shared academic setting. The first speaking question was used as it was in original format. However, the audio track of the second question was recorded by non-native Turkish speaker with the original script and used in this study to assess the variable of familiarity with accents. To understand the relationship of phraseological knowledge, working memory capacity, anxiety, and familiarity with accents with integrated speaking test performances, quantitative research methods along with survey questionaries and tests were employed in this study. The data were collected from 28 participants who were recruited through snowball and convenience sampling methods. Due to the covid-19, the research was conducted online through Zoom Program by following the health regulations. The speaking scores were given by the researcher and an American native speaker of English who has been working as an instructor in one of the English academies in Seoul. The Pearson correlation was used to check the correlation between the scores. The correlation was statistically significant in the case of both questions (speaking question 1: .986, speaking question 2: .967). After scoring and transcription procedure, two multiple regressions were run on SPSS software. Accordingly, results showed that two regressions were statistically significant. However, phraseological knowledge and working memory were significant predictors in both regressions on individual level. This indicates that students with higher scores on phraseological knowledge and working memory scales were expected to have higher scores on speaking test performance. In addition, familiarity with accents appeared as a statistically significant predictor only in the first regression analysis with the given native English language sample in the listening section. Therefore, the findings of this present study show that phraseological knowledge and working memory capacity predict Korean students’ speaking test performance. Even though results cannot be generalized too far due to the sample size of the present study, results show that working memory capacity as a cognitive ability and phraseological knowledge as a linguistic ability had an impact on test takers’ performances in integrated speaking tasks. Therefore, enhancing students’ phraseological knowledge and considering the individual differences regarding the working memory capacity should be taken into consideration in speaking test performances. Few of the methodological and pedagogical implementations along with the suggestions for further research are included in this study.

;말하기 능력은 언어 능력의중요한 부분 중 하나이며 지금까지 다양한 방법으로 평가되었다. 전통적으로, 시험 응시자의 말하기 능력을 평가하기 위해 독립형 과제가 주로 사용되었고, 말하기 구인의 여러 변수가 시험 점수에 미치는 영향에 대한 연구가 많이 이루어져 왔다. 그러나 최근에는 통합형 말하기 과제가 더욱 실제적인 평가로 각광을 받고 있으며, 더욱 난이도 높은 시험이라고 여겨져 왔다. 그 이유는 학생들이 통합형 말하기 과제를 수행하기 위해 읽기 및 듣기 자료를 이해해야 할 뿐 아니라, 각 섹션의 내용을 차용하여 말하기를 수행해야 하기 때문이다. 따라서 통합형 과제는 수험자에게 보다 정교한 언어 사용 및 처리가 필요한 과제로 인식된다. 이 과제는 주어진 자료 및 언어 생산의 빠른 프로세스와 관련하여 숙련도 수준을 초월한다. 영어 학습자의 말하기 능력을 더욱 정확하게 측정하고 이해하기 위해서는 수험자의 성적에 영향을 미칠수있는 다양한 변수를 조사해야 할 필요가 있다. 따라서, 본 연구는 한국 대학생 영어 학습자들의 통합형 말하기 시험 수행에 영향을 미치는 다양한 변수들을 탐구하고자 한다. 특히 평가 분야에서는 과제의 종류가 수험자의 수행에 끼치는 영향에 대한 연구가 활발히 이루어져 왔는데, 특히 통합형 과제와 독립형 과제에 대한 대한 관계를 밝히고자한 연구가 진행되었다. 또한, 언어적, 인지적, 정서적 요인이 학생들의 언어 시험 성적에 중요한 역할을 한다는 사실도 입증되었다. 그러나 말하기 시험 성능과 여러 변수가 통합형 말하기 과제에 미치는 영향 측면에서 시험 사이에는 여전히 공백이 있다. 이전 연구에 따르면 정형 어구지식, 작업 기억, 불안 및 억양과 같은 변수들은 언어 처리와 생산에 필요한 인지적 부담에 영향을 끼치는 것으로 나타났다. 따라서, 본 연구는, 통합형 말하기 시험에 대한 이해를 도모하고 학생들의 시험 점수가 이러한 과제를 반영하는지 탐구하기 위해, 정형 어구지식, 작업 기억 능력, 불안, 그리고 억양에 대한 친숙도의 영향을 조사했다. 이에 따라 본 연구에서는TOEFL 책의 공식 가이드 라인에서 통합형 말하기 과업 두 개를 발췌하였고, 본 연구를 설계할 때 총 다섯 개의 데이터 수집 도구를 신중하게 선택했다. 두 가지 과업은 대학 수준의 사회학 강의의 일부분으로 구성되어 있다. 첫 번째 오디오 트랙은 원래의 형식 그대로 사용되었다. 두 번째 질문의 오디오 트랙은 원어민이 아닌 터키어 사용자가 원본 스크립트로 녹음했으며 이 연구에서 억양에 대한 친숙도의 변수를 측정하는 데 사용되었다. 통합형 말하기 테스트 과업을 통해 정형 어구지식, 작업 기억능력, 불안 및 억양에 대한 친숙도의 관계를 이해하기 위해 설문 조사 질문 및 테스트와 정량적 연구 방법을 본 연구에서 이용됐다. 눈덩이 표본추출 및 편의 표집 방법을 이용해28명의 참가자를 모집하였다. 코로나 19로 인한 건강 규정에 따라 Zoom을 통해 온라인으로 실험을 진행했다. 말하기 점수는 서울의 영어 학원 강사로 일하고 있는 미국 원어민과 연구자에 의해 말하기 시험이 평가되었다. 피어슨 상관 관계를 사용하여 점수 간의 상관 관계를 확인했다. 두 질문 모두에서 상관 관계가 통계적으로 유의한 결과를 얻었다. 채점 및 전사 절차 후 SPSS 소프트웨어에서 두 개의 다중 회귀 분석을 실행하였고, 결과는 두 개의 회귀가 통계적으로 유의 한 것으로 나타났다. 그러나, 정형 어구지식과 작업 기억능력은 개인 수준의 두 가지 회귀에서 모두 중요한 예측 변수였다. 이것은 정형 어구지식과 작업 기억력 척도에서 더 높은 점수를 받은 학생들이 말하기 시험 성적에서 더 높은 점수를 받았음을 의미한다. 또한, 억양에 대한 친숙도는 듣기 영역에서 주어진 원어민 샘플의 첫 번째 회귀 분석에서만 통계적으로 유의한 예측 변수로 나타났다. 따라서, 본 연구의 결과는 정형 어구지식과 작업 기억 능력의 변수가 한국 학생들의 말하기 시험 성적을 예측할 수 있다는 것을 보여준다. 본 연구의 표본 크기로 인해 결과를 너무 일반화하기는 어렵지만, 결과는 인지 능력으로서의 작업 기억 능력과 언어 능력으로서의 정형 어구지식이 통합형 말하기 과제에서 수험생의 말하기 수행에 영향을 미쳤음을 보여준다. 따라서 말하기 시험을 제작하고 시행할 때 학생들의 정형 어구지식과 작업 기억 능력에 대한 고려가 요구된다. 마지막으로 추후 진행될 연구를 위한 방법론적 및 교육적 구현 중 몇 가지가 제안되었다.