Imbalanced Data Augmentation Using GPT for Short Answer Grading System

Abstract

Short answer questions enable students to convey their knowledge, though these answers can differ greatly, resulting in subjective evaluations. ASAG stands for Automated Short Answer Grading has grown into a prominent research field in Natural Language Processing. ASAG tasks have undergone numerous advancements, with recent studies adopting transformer models such as T5 and BERT-base. These studies have shown promising results, although the models employed are computationally expensive. Nonetheless, ASAG tasks face significant challenges due to limited data availability, with datasets often being unbalanced. The urgent need for more training data emerges as a central issue, prompting researchers to propose various augmentation approaches. This dissertation proposes two main models to enhance the Automated Short Answer Grading (ASAG) system performance. The first model introduces a new augmentation scenario using the GPT model to generate additional data and balance the dataset. In this study, we introduce other data augmentation techniques utilizing prompt engineering with the GPT model. Various scenarios are implemented on different datasets. We assume that all new generated dataset has a correct data. The second model is a simpler SentenceTransformers model that is not computationally expensive yet achieves better performance. This model is also integrating with the appropriate hyperparameters fine-tuned. We propose several hyperparameter combinations to implement. We deploy the ASAG system using the transformers-based model, fine-tuning specific hyperparameters alongside the augmented dataset. The experiments results confirm that the compact all-distilroberta-v1 model can achieve 0.9586 as a score of Pearson Correlation. The other evaluation metrics, including RMSE score, Accuracy score, and F1-Score also demonstrate better performance. This model, when paired with the fine-tuned hyperparameters like the split-size ratio of test and train data, gradient checkpointing, and the standard preprocessing step, yields the optimal results with the newly generated dataset from GPT model implementation. The new dataset generated using GPT-based data augmentation reaches a cosine similarity score of 0.8 in the correct category. Additionally, when implemented on different datasets, our proposed model consistently demonstrates improved performance. This study integrates a streamlined SentenceTransformers model alongside a dataset balanced through GPT prompt engineering. Our recommended method also fine-tunes various hyperparameters to obtain optimal outcomes. The primary factors influencing performance enhancement include the augmentation process, particularly the quantity of augmented data, and the proportion of data designated for training versus testing. To sum up, we state that a relatively compact model, combined with appropriate fine-tuned hyperparameter and a balanced dataset, is capable of delivering performance that exceeds those of larger, more resources and higher computational costs. Furthermore, alternative GPT models or fine-tuning of GPT could be explored further in the augmentation process. And also further exploration to address the limitations of this research regarding the correctness of the new generated data. ;단답형 문제는 학생들이 자신의 이해를 표현하도록 장려하지만, 이러한 답변은 매우 다양할 수 있어 주관적인 평가로 이어질 수 있다. 자동 단답형 채점(ASAG)은 자연어 처리 분야에서 중요한 연구 영역이 되었다. ASAG 과제는 많은 발전을 거듭해 왔으며, 최근 연구에서는 T5 및 BERT-base와 같은 트랜스포머 모델을 도입하였다. 이러한 연구들은 높은 성능을 보였지만, 계산 비용이 많이 드는 모델을 사용했다. 그럼에도 불구하고 ASAG 과제는 제한된 데이터의 가용성으로 인해 중요한 도전에 직면하고 있으며 데이터 세트가 종종 불균형적이기 때문에 더 많은 훈련 데이터가 필요하다. 많은 훈련 데이터의 긴급한 필요성이 주요한 이슈로 떠오르며 연구자들로 하여금 다양한 증강 접근 방식을 제안하도록 하고 있다. 본 논문에서는 ASAG(Automated Short Answer Grading) 시스템의 성능을 향상시키기 위한 두 가지 주요 모델을 제안한다. 첫 번째 모델은 추가 데이터를 생성하고 데이터 세트를 균형 있게 하기 위해 GPT 모델을 사용하여 새로운 증강 시나리오를 도입한다. 본 연구에서는 GPT 모델을 이용한 프롬프트 엔지니어링을 활용하는 다른 데이터 증강 기술을 소개한다. 새로 생성된 모든 데이터 세트에 올바른 데이터가 있다는 가정이 있다. 두 번째 모델은 비용이 많이 들지 않으면서도 더 나은 성과를 보이는 간단한 SentenceTransformers 모델이다. 또한 이 모델은 적절한 하이퍼파라미터의 미세 조정과 결합되어 있다. 본 논문에서는 실행할 수 있는 몇 가지의 하이퍼파라미터 조합을 제안하고자 한다. 다양한 시나리오가 다른 데이터 세트에 적용되었으며, 증강된 데이터 세트와 함께 특정 하이퍼파라미터를 미세 조정하면서 SentenceTransformers 모델을 사용하여 ASAG 시스템을 활용하고자 한다. 연구 결과로, 상대적으로 작은 크기의 all-distilroberta-v1 모델이 0.9586의 피어슨 상관계수 값을 달성할 수 있음을 보여주었다. 또한 RMSE, F1-Score 및 정확도 점수에서도 더 나은 성능을 보였다. 이 모델은 그라디언트 체크포인팅, 테스트 및 훈련 데이터의 분할 비율, 전처리 단계와 같은 하이퍼파라미터의 미세 조정과 결합되었으며, GPT 데이터 증강에서 생성된 새 데이터 세트가 적용될 때 최고의 결과를 제공했다. GPT 데이터 증강에서 생성된 새로운 데이터 세트는 정확한 카테고리에 대해 0.8의 코사인 유사도 값을 달성했다. 또한 다른 데이터 세트에 적용 시에도 개선된 성능을 보여주었다. 본 연구에서는 간단한 SentenceTransformers 모델과 GPT의 프롬프트 엔지니어링을 사용하여 생성된 균형 잡힌 데이터 세트를 결합하였다. 또한 본 논문에서 권장하는 모델은 최상의 결과를 위해 여러 하이퍼파라미터를 미세 조정한다. 성능 향상에 영향을 미치는 주요 요소는 증강 과정, 특히 증강된 데이터의 양과 훈련 및 테스트 목적으로의 데이터 세트 분할 크기가 있다. 본 논문에서는 상대적으로 작은 크기의 모델이 적절한 하이퍼파라미터 미세 조정 및 균형 잡힌 데이터 세트와 결합될 때, 더 큰 자원과 높은 계산 비용이 필요한 모델보다 우수한 성능 결과를 제공한다는 결론을 도출하였다. 또한, 증강 과정에서 대체 GPT 모델이나 GPT 모델의 미세 조정에 대한 더 자세히 살펴볼 수 있다. 새로 생성된 데이터의 정확성에 대한 이 연구의 한계를 해결하기 위해 추가 탐색을 수행할 수 있다.