개별평가제도 타당성 분석

Abstract

The evaluation of government affairs shall establish an integrated evaluation system for government affairs pursuant to Article 3 of the Framework Act on Evaluation of Government Affairs. However, despite the principle of integrated evaluation, the recently published "2021 Government Work Assessment Implementation Plan" specifies the individual evaluation of central administrative agencies. Here, if it is difficult to conduct an integrated evaluation, Evaluation by Agency means an evaluation that can be conducted separately after consultation with the government evaluation committee in advance pursuant to Article 9 of the Framework Act on Government Evaluation. Notwithstanding the principle of integrated evaluation, Evaluation by Agency under Article 9 of the Framework Act on Government Work Evaluation, which is a regulation that can be evaluated individually according to the characteristics of the evaluation, are not essential. In addition, this issue has the problem of reviewing the relevance of the assessment and not having a device to take action for assessments that have flaws in their relevance. Therefore, in order to improve the Evaluation by Agency system being implemented, this study developed an analytical framework that would enhance the relevance of the evaluation and selected one case to conduct a relevance analysis. Through relevance analysis, we reviewed how efficient and effective Evaluation by Agency were operated and whether there was overlap between Evaluation by Agency, and drew improvements to factors that reduced relevance. The example used in this paper is the disaster management assessment by the Ministry of Public Administration and Security. Since the disaster management evaluation is the largest budget among the individual evaluations by the Ministry of the Interior and Safety and the results are disclosed every year, relevance analysis was conducted through comparison with other evaluations, which are informal Evaluation by Agency. Literature studies, interviews and participation observations were used as methods of analysis. In literature studies, there were not many prior studies related to individual evaluations as of the first half of 2021. The collection of evaluation data could be mainly collected through information disclosure, such as evaluation indicators, evaluation results, etc., and missing data could be acquired through interviews and participation observations. standards and concepts used for relevance analysis are efficiency, effectiveness and redundancy. Efficiency and redundancy are the concepts set out in Article 1 of the Framework Act on Government Work Assessment, which are essential prerequisites for efficient implementation of assessment operations. In this paper, efficiency uses manpower and costs that are put in place based on economic rationality. This was adopted on the basis of economic rationality to obtain maximum output with minimal inputs by comparing inputs and outputs, and was considered a hindrance to the relevance of the assessment if the personnel and costs involved in the assessment were excessive. However, the effectiveness of disaster management areas comparable to efficiency is difficult to measure due to the nature of disaster management areas.(Lee Kwang-hee & Lee Hwan-sung, 2017) Therefore, the analysis was conducted based on prior studies measuring effectiveness without using the existing effectiveness theories cost-benefit analysis or cost-effectiveness analysis. In addition to efficiency and effectiveness, it was considered essential to examine the redundancy between evaluations because individual evaluations are managed fragmented by each department. Therefore, this paper examines redundancy between Evaluation by Agency by deriving standards that can measure redundancy through prior research. The analysis results are as follows: First, compared to the national core-based disaster management assessment and the summer preparation assessment, it was natural to spend a lot of money on efficiency because it has indicators including all departments and establishes ICT-based infrastructure. Consequently, expensive expenditure was not considered to be a factor that hindered efficiency. In effectiveness, the disaster management assessment was clearly related to the purpose and national affairs. Related ground laws also existed, and the responsibility for the feedback was secured through institutional rewards, commendations, incentives, and consulting with low-outcomes institutions. In addition, it was confirmed that the need for maintenance, which is being carried out on a regular basis with an appropriate system, implementing management of overall disasters at the national level, was a clear evaluation. In terms of redundancy, the disaster management assessment was duplicated in the categories of redundancy with other disaster-related Evaluation by Agency, the legal basis, the assessment target, the evaluation index, and the evaluation period. In addition, it was found that the assessments in which redundancy occurred were used as subindicators of the disaster management assessment, which is the baseline assessment. Accordingly, the disaster management assessment was judged to undermine the relevance by overlapping with Evaluation by Agency used as subindicators. There are four ways to improve the problems that have been identified through relevance analysis. First, it is mandatory to conduct prior consultations with the Government Evaluation Committee if a separate evaluation is conducted pursuant to Article 3 (2) of the Framework Act on Government Evaluation to prevent the overstatement of Evaluation by Agency. Second, measures to establish an advanced database of the government's business evaluation information system to identify the current status of disaster-related Evaluation by Agency , resolve redundancy, and increase the link between possible evaluations. Third, the evaluation indicators, timing, and uniformity of results in the disclosure of results. Fourth, an organization or means with appropriate measures based on the results of the assessment and the ability to implement them were proposed. The significance of this study is as follows. This paper was able to find out the direction and measures for improvement of the development of individual evaluations in the future by examining the current status of Evaluation by Agency and analyzing the relevance of the Evaluation by Agency system. The limitations of this study are as follows. Only in the disaster management sector, the fact that Evaluation by Agency in other areas such as welfare, culture, and economy were not included, that more Evaluation by Agency could be found if the evaluation was conducted, and that there were not enough prior studies. As a result, there are need to use more informations to conduct a more advanced individual evaluation analysis in subsequent studies.;정부업무평가는 정부업무평가기본법 제3조에 따라 통합적 정부업무평가제도를 구축하여야 한다. 그러나 통합평가가 원칙임에도 불구하고 최근 발표된 “2021년 정부업무평가 시행계획(안)”을 보면 중앙행정기관평가 개별평가가 명시되어있다. 여기서 개별평가는 평가의 통합실시가 곤란한 경우에는 정부업무평가기본법 제9조의 규정에 따라 정부업무평가위원회와 미리 협의하여 별도로 평가를 실시할 수 있는 평가를 의미한다. 통합평가의 원칙에도 불구하고 평가의 특성에 따라 개별적으로 평가를 실시할 수 있는 규정인 정부업무평가기본법 제9조에 의한 개별평가는, 신규 평가제도 도입 시 정부업무평가위원회와의 사전협의가 필요조건이 아니며 평가의 타당성을 검토하고 타당성에 흠결이 있는 평가의 경우 이를 조치할 수 있는 장치가 부재하다는 문제점을 안고 있다. 따라서 본 연구는 시행되고 있는 개별평가 제도의 개선을 위해, 평가의 타당성을 제고할 수 있는 분석틀을 도출하고 하나의 사례를 선정하여 타당성 분석을 진행하였다. 타당성 분석을 통해 개별평가가 얼마나 능률적이고 효과적으로 운영되고 있는지, 개별평가들 간에 중복이 일어나고 있지는 않은지를 검토하고, 타당성을 떨어뜨리는 요인에 대한 개선방안을 도출하였다. 본 논문에 사용되는 사례는 행정안전부의 재난관리평가이다. 재난관리평가는 행정안전부 개별평가 중, 가장 대규모 예산이 들어가며 매년 결과를 공개하는 평가이기 때문에 이를 기준으로 비공식 개별평가인 여타 평가들과의 비교를 통해 타당성 분석을 진행하였다. 분석방법으로는 문헌연구, 인터뷰, 참여관찰을 사용하였다. 문헌연구에서는 개별평가에 관련된 선행연구가 2021년 상반기 기준 아직 많이 없었다. 평가자료 수집은 주로 정보공개를 통한 평가지표, 평가결과 등의 자료를 수집하고, 결측되고 누락된 자료는 인터뷰와 참여관찰을 통하여 취득할 수 있었다. 타당성분석에 사용되는 항목은 능률성, 실효성, 중복성이다. 능률성과 중복성은 정부업무평가기본법 제1조에 명시되어 있는 개념으로, 평가 운영을 효율적으로 시행하기 위한 필수 전제조건이다. 본 논문은 능률성은 경제학적 합리성에 입각하여 투입(input)되는 인력과 비용을 사용하였다. 이는 투입(input)과 산출(output)을 비교하여 최소의 투입으로 최대의 산출을 얻어야 한다는 경제학적 합리성에 입각하여 채택된 항목으로, 평가에 투입된 인력과 비용이 평가의 효과에 비해 과도할 경우, 타당성을 저해하는 요인으로 간주하였다. 그러나 능률성과 비교할 수 있는 재난관리영역의 효과성은 재난관리영역의 특성상 측정하기 어렵다.(이광희·이환성, 2017) 따라서 기존의 효과성 분석이론인 비용-편익분석(cost-benefit analysis)이나 비용-효과분석(cost-effectiveness analysis)을 사용하지 않고, 실효성을 측정한 선행연구들을 토대로 실효성 항목을 도출하여 분석을 진행하였다. 능률성과 실효성에 더하여, 개별평가가 각 부처별로 파편화되어 관리되고 있기 때문에, 평가 간의 중복성을 검토하는 것이 필수적이라 판단하였다. 따라서 본 논문은 선행연구를 통해 중복성을 측정할 수 있는 항목들을 도출하여 개별평가 간의 중복성을 검토하였다. 분석결과는 다음과 같다. 첫째, 능률성에 있어서는 재난관리평가가 여타 재난평가인 국가핵심기반 재난관리평가, 여름철 사전대비 추진실태점검 등과 비교하여 가장 많은 비용이 투입되지만, 이는 재난관리평가의 지표와 인프라를 살펴보았을 때, 전 부처를 포함하는 지표를 가지고 있고 ICT기반의 인프라 또한 구축하고 있기 때문에 많은 비용의 투입이 능률성을 저해하는 요인으로는 판단되지 않았다. 실효성에 있어서 재난관리평가는 목적과 국정과제 연관성이 분명하였고, 관련 근거법령 또한 존재하였으며 기관포상, 표창, 인센티브 제공, 미흡기관 컨설팅 등을 통해 평가결과 환류의 책임성을 확보하고 있었다. 또한 국가적 차원에서의 전체 재난에 관한 관리를 시행하며 적절한 체계를 갖추고 정례적으로 진행되고 있는 존치 필요성이 뚜렷한 평가인 것이 확인되었다. 중복성에 있어서 재난관리평가는 다른 재난관련 개별평가들과 중복성의 항목에서 법적근거, 평가대상, 평가지표, 평가시기 각각 중복이 일어나고 있었다. 더하여 중복성이 일어난 평가들이 분석결과 기준평가인 재난관리평가의 하위 지표로 쓰이고 있다는 점을 발견하였다. 따라서 재난관리평가는 하위 지표로 쓰이는 개별평가들과의 중복이 일어남으로써 타당성을 저해하는 것으로 판단되었다. 타당성분석을 통해 도출한 문제점을 개선할 수 있는 방안은 선행연구인 허준영 외(2020)에 제시된 바와 방향을 같이 하면서 본 논문의 개선방안을 더하였다. 첫째, 개별평가의 남설을 막기 위해 정부업무평가기본법 제3조 2항에 따라 별도의 평가를 실시할 경우 정부업무평가위원회와의 사전협의를 반드시 이행하도록 사전협의를 의무화 하는 방안, 둘째, 재난관련 개별평가의 현황을 파악하고 중복을 해소하고 연계가능성이 있는 평가들의 연계성을 높이기 위한 정부업무평가정보시스템의 고도화된 데이터베이스 구축의 방안, 셋째, 평가지표·시기·결과의 공개를 통일성·일관성 있게 하는 방안, 넷째, 평가결과에 따른 적절한 조치와 그를 이행할 수 있는 이행력을 갖춘 조직이나 수단을 갖추는 방안을 제시하였다. 본 연구의 의의는 다음과 같다. 본 논문은 개별평가가 시행되고 있는 현황을 살펴보고, 개별평가 제도의 타당성을 분석해 봄으로써 향후 개별평가의 발전에 있어서 어떠한 점이 점검되어야 하는지 개선 방향과 방안을 도출해 낼 수 있었다. 본 연구의 한계는 다음과 같다. 재난관리분야에 한정되어, 복지·문화·경제와 같은 타 분야 개별평가까지 모두 포괄하지 못하였다는 점, 사회적 비용이 고려되지 않았다는 점, 평가의 전수조사를 시행하였을 경우 더 많은 개별평가가 발견될 수 있다는 점, 기초연구이니 만큼 축적된 선행연구가 부족하여 다양한 학자들의 고견을 담을 수 없었다는 점, 국가 안보상 공개되지 않은 자료를 포함할 수 없었다는 점이 있다. 이에 따라 후속 연구에서는 더욱 많은 정보를 사용하여 더 고도화된 개별평가 분석을 진행하고자 한다.