일반화부분점수모형에 의한 대인관계능력 진단도구의 문항특성분석

Abstract

In today's society, not only expertise but basic workplace skills, which are necessary for adjusting appropriately in the fast-paced environment, have been emphasized more than ever. Such basic workplace skills include effective communication skills, problem solving capability, self-managing capacity, work ethic, and interpersonal competency. Even though these basic workplace skills are significant, instruction and assessment on them at universities and companies still lack. Therefore, it is required to improve basic workplace skills of university students who are the potential workers in near future. In addition, companies need to examine the level of applicants' basic workplace skills objectively through investigating their interests and abilities in hiring new employees. Korea Research Institute for Vocational Education & Training (2007) developed the test on basic workplace skills for university students, universities, and companies: For students, the test can provide them self-assessment reports to build self-development strategies through determining the extent of their own competence; for universities, it suggests possible guidelines for evaluating and improving the accomplishments to train top-level human resources; for companies, it offers practical information on overall understanding of basic workplace skills of applicants for employment. Material which was used in this research is the test for interpersonal competency developed by Seong(2007) for sub-test of workplace skills. In most of the research about workplace skills in Korea and outside of Korea, interpersonal competency is considered as one of the basic workplace skills and it is important part of workplace skills since it contributes to achievement and build of appropriate atmosphere at work places. Meanwhile, it is important to check whether a certain questionnaire measures what it intended to measure and it measures each question item accurately through analysis of a test while developing and completing a test. In other words, the item analysis through the method which fits best for data should be designed in the process of establishing procedures of test development. Therefore, the test for interpersonal competency should contain a process to verify its quality factor as well. The purpose of this study is to investigate the suitability of the test of interpersonal competency by applying Generalized Partial Credit Model of Polytomous Item Response Theory and provide suggestions to make the test the higher quality one. The data I used for analysis in the study was the answers of 16,283 participants from the inquiry on the test of interpersonal competency by the Career Net (http://www.careernet.re.kr/) in 2008 and 2009. The test for interpersonal competency is organized in five categories, which are emotional bonds, collaboration, mediation, leadership, and understanding of organization. It consists of 55 items, 10∼12 items for each category, and all items used a five-point rating scale. The test information function was calculated the formula which was proposed by Donoghue(1994) and the Statistical Package for Social Sciences (SPSS) 18.0 was used for analysing the data: Correlation coefficient between sub-categories for validity; factor analysis; calculation of Cronbach for estimation of reliability. In addition, the item discrimination, the item difficulty, and the item step parameter of the Generalized Partial Credit Model were also calculated by the PARSCALE program. Findings are as follows. First, the validity of the test on interpersonal competency showed high correlation with each sub-category and it means that the test is calculating the interpersonal competency appropriately. However, the several items which calculate other sub-categories as well were found, so such items need further examination for increasing validity of the test. Second, the test on interpersonal competency was analyzed as very reliable test as the validity of the test on interpersonal competency and the sub-categories were high with .969 and .869～.928 for each. Additionally, according to test information function, interpersonal competency is more reliable at theta levers -2∼0 than at extremes theta levels in all parts of test. Third, a review of the item parameter by the Generalized Partial Credit Model revealed that the item discrimination is mostly high, but several items were found as low item discrimination, so that they are in need of revision and the item difficulty was on average or a little easy. In addition, the item step parameter was categorized in 3 attributes: The items which have regular distant of the step parameter or which have shown increase in the distant of the step parameter according to categories were appropriate items for estimating interpersonal competency. And the items which have the lowest step parameter at certain category are analyzed to item which have lower item discrimination. As a result, the results on finding which items are assess subjects' interpersonal competency better and the differences of participants' responses between items were investigated when the validity and reliability were investigated and the item analysis with the Generalized Partial Credit Model was conducted. It was also revealed that several items of the test on interpersonal competency were in need of revision in order to be used as more effective assessment. Therefore, it is necessary to pursue continuous validation applied by various analysis methods fit for the characteristic of the test for quality assurance of the assessment tools. According to results of this research, for validation of test and achievement of purpose of test development, test should be enforced more widely. In addition, for not only test for interpersonal competency is used by students but also is used companies which want to employ talent, researches that find what is tailored sub-categories for each company is needed. So that according to results of the researches, if tailored test for each company is developed, utilization of test will able to increase at companies.;현대 사회에서는 전문지식뿐만 아니라 효율적인 직무수행에 필요한 의사소통능력, 문제해결능력, 자기관리능력 및 직업의식, 대인관계능력 등과 같이 급변하는 환경에 적절하게 적응하며 직무를 수행할 수 있는 직업기초능력이 더욱 강조되고 있다. 이와 같이 직업기초능력이 실제 업무 수행 시 중요한 부분임에도 불구하고, 대학에서의 직업기초능력에 대한 교육이 부족한 실정이고, 기업 또한 직업기초능력 교육과 평가가 매우 제한적으로 이루어지고 있다. 따라서 예비 근로자인 대학생들이 기업에서 요구하는 직업기초능력을 향상시키기 위해서, 또한 기업은 지원자의 적성, 능력에 대한 정보를 통해 신입사원 채용을 결정하기 위해서 대학생의 직업기초능력을 객관적으로 측정하여 현 직업기초능력수준을 진단할 필요가 있다. 이런 요구에 발맞추어 한국직업능력개발원(2007)은 대학생 개인에게는 자신의 역량 정도를 파악하여 자기 계발 전략을 세울 수 있는 자기평가 정보를 제공하고, 대학에게는 재학생을 우수한 인적 자원으로 양성할 수 있도록 교육성과를 평가하여 개선하는데 필요한 가이드라인을 제시하며, 기업에게는 기업현장에서 요구하는 신입사원 채용을 위해 직업기초능력을 종합적으로 파악할 수 있는 실질적 정보를 제공하기 위한 직업기초능력에 대한 검사를 개발하였다. 본 연구에서 사용한 자료는 직업기초능력 검사도구의 비인지적 영역의 하부검사로 성태제 외(2007)가 개발한 대인관계능력 진단도구이다. 국내･외의 직업기초능력 관련 연구를 살펴보면 대부분의 연구에서 직업기초능력의 한 영역으로 대인관계능력을 설정하고 있고, 대인관계능력은 업무 수행 시 소속 집단의 과업 달성 및 분위기 등에 유의미한 영향을 미치기 때문에 매우 중요한 직업기초능력이라고 할 수 있다. 한편, 검사 도구를 개발하고 완성하는 과정에서 검사의 문항분석을 통해 그 문항이 측정하고자 하는 것을 측정하는지, 또한 정확하게 측정하는지에 대한 확인 절차는 매우 중요한 과정이다. 즉, 검사개발 절차를 수립하는 과정에서 자료에 맞는 분석 방법을 통한 문항분석의 과정이 함께 계획되어야 한다. 따라서 직업기초능력 중 대인관계능력을 진단하는 대인관계능력 진단도구 또한 이러한 과정에 의하여 양호도를 검증하는 과정이 필요하다. 본 연구의 목적은 다분문항반응이론의 일반화부분점수모형을 적용하여 대인관계능력 진단도구가 직업기초능력인 대인관계능력을 평가하는 데 적합한 시험인가를 알아보고, 보다 양질의 검사가 되기 위한 방향을 제시하는 데에 목적이 있다. 분석에 사용된 자료는 커리어넷(http://www.careernet.re.kr/)에서 2008∼2009년에 시행된 대인관계능력 진단도구에 대한 대학생 및 일반인 16,283명의 응답이다. 대인관계능력 진단도구는 정서적 유대, 협력, 중재, 리더십, 조직에 대한 이해의 5개 영역으로 구성되어 있으며, 각 영역별로 10∼12문항씩 총 55문항으로 구성되어 있고, 또한 응답척도는 Likert 5단계로 ‘전혀 그렇지 않다’에서 ‘매우 그렇다’로 이루어져 있다. 타당도를 검증하기 위한 하위 영역 간 상관계수 산출 및 요인분석과, 신뢰도 검증을 위한 Cronbach 계수 산출은 SPSS 18.0 프로그램을 사용하였고, 검사정보함수는 Donoghue(1994)의 공식에 의해 산출하였다. 또한 PARSCALE 프로그램을 통하여 일반화부분점수모형에 의한 문항 변별도, 문항 난이도 및 단계난이도를 산출하였다. 연구를 통해 얻은 결론은 다음과 같다. 첫째, 대인관계능력 진단도구의 타당도는 각 하위 영역과 총점과의 상관이 높아 각 하위 영역의 문항들이 측정하고자 하는 대인관계능력을 제대로 측정하고 있는 것으로 나타났다. 하지만, 각 하위 영역간의 상관이 높고 해당 영역의 내용만을 측정하기보다 다른 하위 영역의 내용도 함께 측정하고 있는 문항들이 발견되어, 이러한 문항들은 검사의 타당성 증진을 위해 검토가 필요한 것으로 나타났다. 둘째, 대인관계능력 진단도구의 신뢰도는 .969로 매우 높게 나타났고, 하위 영역의 신뢰도 또한 .869～.928로 매우 신뢰로운 검사로 분석되었다. 또한 검사정보함수를 살펴본 결과, 모든 영역에서 양극단의 능력수준보다 -2～0의 능력수준에서 신뢰로운 검사로 나타났고, 조직에 대한 이해 영역의 문항들이 다른 하위 영역의 문항보다 신뢰롭게 측정하고자 하는 내용을 측정하는 것으로 나타났다. 셋째, 일반화부분점수모형에 의한 문항 모수 추정치를 살펴본 결과, 문항 변별도는 대체로 높은 것으로 나타났지만 몇 개의 문항 변별도가 낮아 검토가 필요한 문항이 발견되었고, 문항 난이도는 대체로 보통이거나 약간 쉬운 것으로 나타났다. 또한 문항 단계난이도는 세 가지 특성으로 대표되었는데 그 중 단계난이도 간격이 일정한 문항은 대인관계능력의 수준을 잘 변별하고 정보함수도 높은 것으로 나타나 대인관계능력을 진단하는 좋은 문항으로 분석되었고, 단계난이도 간격이 급격하게 증가하거나 특정 범주로 넘어가는 단계난이도가 가장 낮은 문항은 변별력이 낮은 문항으로 분석되었다. 이와 같이, 대인관계능력 진단도구의 타당도 및 신뢰도를 검증하고, 일반화부분점수모형을 적용한 문항분석을 실시하였을 때, 어떤 문항이 검사의 타당도를 높이기 위해 검토가 필요한지, 어떤 문항이 피험자의 대인관계능력을 잘 변별하는지, 각 범주에 대한 피험자의 반응이 문항별로 어떤 차이를 보이는지에 대한 결과를 도출할 수 있었다. 또한 대인관계능력 진단도구가 보다 효과적인 도구로 활용되기 위하여 수정 및 보완이 필요한 문항이 있는 것으로 나타났다. 따라서 검사도구의 지속적인 문항의 질 관리를 위해서 검사의 특성에 맞는 다양한 분석 방법을 적용한 지속적인 타당화가 필요할 것이다. 본 연구의 결과를 토대로 대인관계능력 진단도구의 검사 개발 목적의 달성과 지속적인 평가도구의 타당화 및 문항의 질 관리를 위해서는 현재 소속 대학교로부터 사전에 평가 대상자로 지명을 받은 학생들만 응시할 수 있는 체제보다 많은 학생들이 검사에 응시할 수 있도록 평가실시를 확대하여야 할 것이다. 또한 대인관계능력 진단도구가 대학생들에게 자신의 대인관계능력수준에 대한 정보를 제공하는 도구일 뿐 아니라 기업에 필요한 인재를 선발하는 도구로 사용되기 위해서는 각 기업의 성격에 맞추어 필요로 하는 대인관계능력의 하위 영역이 무엇인지를 찾아내는 연구가 필요하며, 그 연구 결과에 따라 기업의 성격에 맞춘 대인관계능력의 하위 영역을 선정한 맞춤검사로 개발된다면 기업에서의 활용도를 높일 수 있을 것이다. 마지막으로 최근 인터넷 미디어를 통한 검사시행이 늘어남으로써 인터넷 미디어를 통한 검사 시행이 피험자의 응답을 자동 저장하고 축적할 수 있다는 이점을 이용하여 앞으로 연구되는 검사도구의 개발과정에서는 이러한 과정을 시스템화하여 지속적인 타당화를 이끌어야 할 것이다.