고속 웹 컨텐츠 수집을 위한 미디어 스케줄링 시스템의 설계 및 구현

Abstract

현재 웹을 중심으로 인터넷이 발전하면서 인터넷의 대부분의 정보는 웹 페이지 단위로 저작 및 관리되고 있고, 웹 페이지는 텍스트뿐만 아니라 그림, 소리, 동영상 등의 여러 가지 미디어를 사용하여 다양한 정보를 제공한다. 이러한 텍스트나 미디어 등의 웹 컨텐츠를 수집하기 위하여 기본적으로 웹 브라우저에서 제공해주는 수집 방법뿐만 아니라 다양한 전용 프로그램들을 많이 사용하고 있지만, 이러한 프로그램에서는 사용자가 원하는 여러 웹 컨텐츠를 자동으로 받아주는 기능에 중점을 두었을 뿐, 웹 서버의 속도나 웹 컨텐츠의 용량 정보 등을 고려하여 대량의 웹 컨텐츠를 빠르게 수집할 수 있는 특별한 스케줄링 방법은 사용되지 않고 있다. 따라서 본 논문에서는 웹 서버의 속도와 웹 컨텐츠의 용량 등의 정보를 고려한 고속 웹 컨텐츠 수집을 위한 미디어 스케줄링 시스템을 제안한다. 미디어 스케줄링 시스템은 사용자가 필요로 하는 대량의 웹 컨텐츠를 자동으로 수집할 뿐만 아니라, 미디어 스케줄링 알고리즘을 사용하여 여러 웹 컨텐츠를 수집하는 순서와 방법을 결정하고 시간을 단축시킨다. 또한 멀티 스레드를 이용하여 동시에 여러 웹 컨텐츠를 수집하도록 설계하여 시스템 자원의 효율성을 높이고자 한다. 제안하는 미디어 스케줄링 시스템을 실제로 구현하고, 여러 상황하에서 웹 컨텐츠를 수집하는 시간을 측정하였다. 그리고 웹 컨텐츠를 수집하는 기존의 방법을 사용하는 경우와 미디어 스케줄링 시스템을 사용하는 경우의 수집 시간을 비교하여 제안하는 시스템을 평가하였다. ;As internet has advanced laying emphasis on web, most information of internet is made by web page unit and is managed. And web pages supply information using various kinds of media; text, picture, sound, animation etc. Users are using program for exclusive use of collecting web contents as well as collection method that basically offer to collect web contents in web browser. These emphasize only automatic collecting function, do not consider the speed of web server and the size of web contents. In this paper, we propose media scheduling system for high speed web contents acquisition that considers the speed of web server and the size of web contents. Media scheduling system automatically collects web contents of large quantity that user need, and this system using media scheduling algorithm reduce the time that collect variety of web contents. Also, this system using multi-thread is designed to collect many web contents at the same time for efficiency of system resources. Media scheduling system proposed in this paper is implemented, and measures collecting time of web contents in several conditions. We compare this system and existent collecting method, and evaluate.