딥 러닝 기반 함수 그래프 이미지의 수식 변환 알고리즘

Abstract

최근 우리나라 수학교육과정인 2015 개정 수학과 교육과정에서는 그래픽 계산기와 같은 공학적 도구를 활용하는 수학 교수 학습을 권장한다. 그래픽 계산기는 특히 함수 영역에서 수식을 그래프로 변환하는 수학활동에서 자주 활용되는 공학적 도구이다. 그러나 그래픽 계산기에는 사용자가 직접 그린 손 글씨 그래프를 수식으로 변환해주는 기능이 존재하지 않기 때문에 2015 개정 수학과 교육과정에서 강조하는 수식과 그래프의 상호변환활동에 온전히 활용되는 데에 한계가 있다. 이러한 한계점을 인식하여 본 논문에서는 딥 러닝 기반 네트워크인 Yolo version 3(v3)를 기반으로 그래프로부터 수식으로의 변환 알고리즘을 제안한다. 제안하는 그래프-수식 변환 알고리즘은 두 가지이다. 첫 번째는 PNOA 알고리즘(Approximation algorithm based on feature point neighborhood object, 특징점 근방 객체 기반 근사 알고리즘)으로 두 개의 축과 일차 함수 그래프가 그려진 일차 함수 그래프 이미지의 수식을 근사한다. PNOA 알고리즘은 그래프 특징점들의 사각 근방(Neighborhood)을 검출한 후 검출된 정보를 바탕으로 그래프를 근사하는 수식을 출력한다. 두 번째는 IOC 알고리즘(Convert algorithm based on intercept object, 절편 객체 기반 변환 알고리즘)으로 일차 함수 그래프 이미지에서 절편에 해당하는 숫자를 검출한 뒤 그래프를 수식으로 변환하는 알고리즘이다. PNOA 알고리즘을 요약하면 먼저, 학습용 데이터 셋을 수집한 후 Yolo v3 기반 딥 러닝 네트워크 YOLO-NBD를 학습시킨다. 학습 완료된 YOLO-NBD를 통해 특징점 근방 객체를 검출한 후 검출 정보를 바탕으로 특징점들의 위치 관계를 판별한다. 판별 결과를 이용하여 특징점 거리 계산 및 수식 변환이 이루어진다. IOC 알고리즘을 요약하면 먼저, 학습용 데이터 셋 1-LGFG(1-Linear graph dataset from generator)를 수집한다. 1-LGFG 수집을 위해 PNOA 알고리즘에서 학습시킨 YOLO-NBD를 한번 더 활용한다. 데이터 셋 수집 후, 절편을 구성하는 각 자리 숫자 및 부호 객체를 검출하는 Yolo v3 기반 딥 러닝 네트워크 YOLO-NUM을 학습시킨다. 학습 완료된 YOLO-NUM을 통해 객체를 검출한 후 절편 판별 과정을 거친 후 수식 변환이 이루어진다. 본 논문은 이 과정에서 필요한 두 가지 세부 알고리즘으로서 UBOO 알고리즘(Unique bounding box for one object)과 ID-Kmeans 알고리즘(Intercept discriminant algorithm based on K-means, K-means 기반의 절편 판별 알고리즘)을 제안한다. UBOO 알고리즘은 NMS(Non-maximum suppression) 알고리즘 이후 바운딩 박스를 한번 더 거르도록 한다. 또한 ID-Kmeans 알고리즘은 검출된 객체가 x절편과 y절편 중 어떠한 절편에 해당하는 객체인지 판별한다. 두 알고리즘의 성능 평가 결과 네트워크 YOLO-NBD는 mAP(Mean average precision) 0.882와 FPS(Frame per second) 21을 YOLO-NUM은 mAP 0.805와 FPS 33에 해당하는 검출 성능을 보였다. 또한 알고리즘의 전 과정에 대한 수식 변환 성능은 PNOA 알고리즘의 경우 95%, IOC 알고리즘의 경우 70%에 해당하는 정확도를 보였다. 본 연구는 인공지능 기반의 기술을 활용하여 일차 함수 그래프 이미지의 대수 식으로의 변환 및 근사화를 처음 시도하였다는 데에 의의가 있다. 또한 일차 함수 그래프 이미지에 대한 대수적 해석에 대한 기틀을 마련함으로서 다항 함수 및 다양한 함수 그래프 이미지에 대한 대수적 해석에 관한 연구로의 확장 가능성을 보여주었다는 점에 의의가 있다. ;The 2015 revised mathematics curriculum, which is a recent mathematics curriculum in Korea, recommends mathematics teaching and learning using engineering tools such as graphic calculators. The graphic calculator is an engineering tool that is frequently used in mathematical activities that convert expressions into graphs, especially in the functional domain. However, since the graphic calculator does not have a function that converts handwritten graphs drawn by the user into expressions, there is a limitation in being fully utilized for the mutual conversion activities of formulas and graphs emphasized in the 2015 revised math and curriculum. Recognizing these limitations, this paper proposes a conversion algorithm from graphs to expressions based on Yolo version 3(v3), a deep learning-based network.

There are two proposed graph-to-expression conversion algorithms. The first is the PNOA algorithm (Approximation algorithm based on feature point neighborhood object), which approximates the expression of a linear function graph image with two axes and a linear function graph drawn. The PNOA algorithm detects the neighborhood of the graph feature points and then outputs an expression approximating the graph based on the detected information. The second is an IOC algorithm (Convert algorithm based on intercept object), which detects the number corresponding to the intercept from the linear function graph image and converts the graph into an expression. To summarize the PNOA algorithm, first, after collecting the training data set, the Yolo v3-based deep learning network YOLO-NBD is trained. After detecting an object near the feature point through the learned YOLO-NBD, the positional relationship of the feature points is determined based on the detection information. Using the discrimination result, the feature point distance is calculated, and the expression is converted. After detecting the object near the feature point, the approximate expression of the graph is output based on the detected information. To summarize the IOC algorithm, first, we collect the training data set 1-LGFG(1-Linear graph dataset from generator). For 1-LGFG collection, the YOLO-NBD learned in the PNOA algorithm is used once more. After collecting the data set, the Yolo v3-based deep learning network YOLO-NUM that detects each digit and sign object constituting the intercept is trained. After the object is detected through the learned YOLO-NUM, it undergoes an intercept discrimination process, and then the expression is converted. This paper proposes two detailed algorithms required in this process: UBOO (Unique bounding box for one object) algorithm and ID-Kmeans algorithm (Intercept discriminant based on K-means). The UBOO (Unique bounding box for one object) algorithm filters the bounding box once more after the NMS (Nom maximus suppression) algorithm. In addition, the ID-Kmeans algorithm determines whether the detected object corresponds to which of the x-intercept and y-intercept. As a result of the performance evaluation of the two algorithms, the network YOLO-NBD showed the detection performance corresponding to mAP (Mean average precision) 0.882 and FPS (Frame per second) 21, and YOLO-NUM showed mAP 0.805 and FPS 33. In addition, the formula conversion performance for the entire process of the algorithm was 95% for the PNOA algorithm and 70% for the IOC algorithm. This study is meaningful in that it is the first attempt to convert and approximate the linear function graph image into an algebraic expression using artificial intelligence-based technology. In addition, it is significant in that it showed the possibility of expanding into studies on algebraic analysis of polynomial functions and various function graph images by providing the basis for algebraic analysis of linear function graph images.