아이템 추천을 위한 해쉬 테이블 기반 협력 필터링 에이전트

Abstract

오늘날 인터넷 사용자들은 정보의 홍수 속에 놓여있다. 웹사이트에 들어가면 방대한 정보들이 쏟아진다. 이로 인해 사용자는 원하는 관련 정보 탐색이 어렵고 시간 또한 많이 소비하게 된다. 따라서 인터넷의 방대한 데이터를 필터링 하여 사용자들에게 시간의 절약과 동시에 가치 있는 정보를 제공해 줄 수 있는 서비스가 필요하게되었다. 현재 널리 쓰이는 필터링 알고리즘 중에서 협력 필터링 알고리즘은 사용자가 자발적으로 제공한 정보를 사용하여 사용자를 비슷한 선호도를 가진 집단으로 나누어 그 집단내에서 서로에게 추천하는 방식을 사용하는 기법으로서 사용자들의 익명성을 보장하며 사회성과 사용자들의 직접적인 피드백을 반영해 주며 결과의 정확도가 높아 현재 상업적으로 성공을 거두고 있는 여러 전자상거래 사이트에서 적용되고 있다. 이러한 협력 필터링 알고리즘은 사용자-아이템 행렬을 가지고 계산하는데 사용자가 아이템에 대한 선호도를 많이 제공하지 않을 경우 이 행렬의 밀도가 감소하게되는데 이 때에 계산해야 할 비용이 많아진다. 결국 기존의 협력 필터링은 계산 비용이 많이 들어 실시간 추천하는데 지연시간이 다소 많이 걸린다. 따라서 예측 값의 계산 시간을 효율적으로 줄이며, 정확도가 높은 결과 값을 구하기 위한 시스템의 제안이 필요하다. 본 논문에서는 기존의 사용자 사이의 유사도인 상관관계를 구하고 이러한 상관관계를 가중치로 하여 예측 값 구하는 협력 필터링 알고리즘에 해쉬테이블 기반 알고리즘을 첨가하여 예측 값의 계산 시간을 줄이고, 정확도가 높은 예측 값을 구할 수 있는 해쉬테이블 기반협력 필터링 에이전트를 제시하고 구현하였다. 이것은 기존의 사용자 기반 협력 필터링 알고리즘에 해쉬의 장점을 도입하여 해쉬를 사용함으로써 데이터의 검색 시간을 보장하고, 전체 계산 시간을 효율적으로 감소시킬 수 있도록 하였다. 이는 C 언어로 구현하였으며 기존의 알고리즘과의 비교를 통해 성능 평가를 위한 실험을 해 보았다. 이러한 시스템은 전자상거래 사이트에서 실시간 개인화 아이템 추천을 가능하게 하도록 활용할 예정이다.;The explosive growth of the world wide web and the emergence of e-commerce has led to the development of recommender system. Recommender systems is a personalized information filtering technology, used to either predict whether a particular user will like a particular item, or to identify a set of items that will be of interest to a certain user. Collaborative filtering, one of the recommender system, is the most successful and widely used techniques for building recommender system. Collaborative filtering is on group correlation. Users and items are placed into groups, then items are automatically classified based on users' behaviors. Recommender systems based on automated collaborative filtering predict new items of interest for a user based on predictive relationships discovered between that user and other participants of a community. Despite their success, collaborative filtering systems have serious scalability problems. Computational complexity of legacy collaborative filtering algorithm grows linearly with the number of customers that in typical commercial applications can grow to be several millions. Our experimental frameworks is Hash table based Collaborative Filtering Agent. For these approach, is added the hash function in legacy collaborative filtering algorithm. Hash function is a mathematical function that maps values from a very large domain into a smaller range, and that reduces a potentially long message hash value. Hash table based collaborative filtering agent in this thesis is the system to reduce the complexity of legacy collaborative filtering computations. recommendation techniques have been developed that analyze the user-item matrix. E-commerce server is implemented with ASP and IIS. All the sources of hash table based collaborative filtering algorithm are coded in C language under Windows 2000 Advanced Server and performed on a subset of Each Movie dataset. Our experimental result, we could reduce the computational time, keeping the accuracy of the predicted value. This system will be used personalized item recommendation by real-time in e-Commerce site.