검증 블룸 필터를 이용한 블룸 필터의 성능 향상을 위한 연구

Abstract

Bloom filter is a compact data structure that supports membership queries on a set, allowing false positives. Bloom filters are used in many network processing applications. In security systems, such as intrusion detection systems, we need to inspect packet's header and payload for predefined strings (called signatures) to detect malicious packets. The process of detecting and filtering of malicious packets should keep pace with high network speed, and hence detecting and filtering algorithms may become a critical bottleneck in intrusion detection systems. Hence hardware-based filtering techniques like Bloom filter are preferred rather than software-based solutions, to meet the performance goals. The simplicity, ease to use, and excellent performance of Bloom filter make it a standard data structure that is and will continue to be of great use in many applications. The performance of a Bloom filter is judged by three criteria: processing overhead, space overhead, and false positive ratio. In this dissertation, it is proposed a new technique to improve Bloom filter performance. The proposed technique uses three Bloom filters rather than only one Bloom filter. The second and the third Bloom filters are programmed for a subset of the first Bloom filter and used for cross-checking the positives of the first Bloom filter. Since the union of the second and the third Bloom filters is equal to the first Bloom filter, if both Bloom filters produce negative, the positive of the first Bloom filter can be determined as a false positive. Hence more numbers of false positives of the first Bloom filter can be identified. The memory requirement of the proposed technique is lower than using one Bloom filter in providing the similar false positive rate. Simulation results show that false positive rates decrease significantly using the proposed technique. It is also shown that the performance improvement becomes more significant as the size of the testing sets is increased.;블룸 필터는 미리 지정한 집합에 대한 멤버쉽 쿼리를 제공하는 매우 간단하고 크기가 작은 자료 구조이나 거짓 양성이라고 부르는 에러를 허용한다. 블룸 필터는 많은 네트워크 애플리케이션에서 사용되고 있다. 침입 탐지 시스템(Intrusion Detection System)과 같은 보안 시스템에서는 악의적인 패킷을 탐지 하기 위해 패킷의 헤더와 페이로드 안에서 지정된 스트링(시그니쳐)을 찾는다. 이러한 패턴 매칭 과정은 네트워크의 빠른 속도에 맞춰 진행되어야 한다. 그러므로 패턴 매칭 알고리즘은 침입 탐지 시스템에서 병목 현상을 일으키는 치명적인 요인이 될 수 있다. 그러므로 빠른 속도를 만족시키기 위해 블룸 필터와 같은 하드웨어 기반 기술이 소프트웨어에 기반한 기술보다 선호된다. 블룸 필터의 성능은 다음과 같은 세 가지 항목으로 결정 된다. 처리 과정의 비용, 공간의 비용, 그리고 거짓 양성의 빈도이다. 블룸 필터의 구조의 간단성, 사용의 편리함, 그리고 뛰어난 성능은 블룸 필터를 이 분야의 다양한 애플리케이션에서 가장 많이 사용되는 자료구조로 만들었고 앞으로도 널리 사용될 것이다. 본 논문에서는 블룸 필터의 성능을 개선시키기 위한 기술을 설명하였다. 하나의 블룸 필터만을 사용하는 기존의 방식 대신 세 개의 블룸 필터를 사용하여 두 번째와 세 번째 블룸 필터는 첫 번째 블룸 필터에 저장된 집합의 부분 집합을 저장하고 첫 번째 블룸 필터의 양성 결과를 재검증하도록 하였다. 첫 번째 블룸 필터의 집합은 두 번째와 세 번째 블룸 필터의 집합의 합집합이므로 첫 번째 블룸 필터에서 양성이 나왔어도 나머지 두 블룸 필터에서 모두 음성이 나온다면 첫 번째 블룸 필터의 결과를 거짓 양성으로 판단한다. 이런 과정을 통해 첫 번째 블룸 필터의 거짓 양성을 밝혀내서 전체 구조의 거짓 양성의 비율을 줄일 수 있다. 블룸 필터가 추가 되었어도 블룸 필터를 하나만 사용할 때와 비슷한 수준의 거짓 양성 비율을 구현하면서 제안하는 구조의 메모리 요구량은 기존의 방식보다 더 작게 사용한다. 실험 결과에서 본 논문에서 제안하는 구조를 사용함으로써 거짓 양성의 빈도를 눈에 띄게 줄인 것을 보여줬다. 또한 제안하는 구조의 성능은 실험에 사용된 집합의 크기가 클수록 더 좋다.