Techniques for Employing Semantics on Folksonomy and Logical Activity Recognition

Abstract

Semantics can help computers to understand human vocabulary, human activity, or human request to respond. Numerous advances in Semantic Web technologies facilitate the development of systems that enable computers to understand and respond to human requests based on their meaning. This dissertation investigates the use of semantics to search in folksonomy systems and to human activity recognition. We present a new folksonomy framework by combining existing tagging and semantic techniques thus our proposed system can perform semantic search in folksonomy systems. Folksonomy systems allow users to annotate resources with freely chosen keywords called tags. However, folksonomy systems suffer from no semantic descriptions for resources. Semantic Web technologies provide a Web environment to annotating and searching resources with machine-readable metadata on semantic annotation systems. The problem is that acquiring knowledge from experts is costly, and users rarely annotate resources with the same vocabulary. We address the common problems of folksonomy systems and semantic annotation systems, and introduce a new ontology-based tag model, referred to as Augmented OntTag, that helps reduce tag ambiguity in folksonomy systems and enable semantic search by employing the ontology technology. We adopt semantic relations in domain ontologies constructed for our study and WordNet database to build Augmented OntTag model. We validate the applicability of OntTag model by successfully transforming unstructured real-life tags from Flickr into the OntTag model, with 83.17 percent of the photos with tags transformed. We develop a prototype system that implements our approach, and evaluate the system, comparing precision rates against a keyword-based retrieval. The precision rates of our system were consistently high, outperforming the keyword-based retrieval. The experimental results show our proposed model can be effective and applicable in a search paradigm like folksonomy systems. We also present a new conceptual activity model in which semantic information is included. Our conceptual activity model describes the meaning of its instances. We apply semantic technologies to provide natural interpretations of human activity and the users' context. Complex relations between locations, physical activities, times, surrounding objects, and logical activities are taken into account as users’ context for our conceptual activity model. Location information in our model supports any concept of location using the terminology for locations, such as a classroom, kitchen, or street. We represent these symbolic locations using WordNet. In order to recognize logical activities such as cooking, eating, and watching TV from users’ data collected from smartphones, we present an efficient logical activity recognition algorithm using machine learning and probabilistic reasoning techniques. We introduce the average likelihoods of attribute frequency of each logical activity obtained through the training phase. The algorithm for logical activity recognition is implemented in two manners: location and physical activity based without training surrounding object attribute of logical activities and surrounding object considered implementation with surrounding object attribute trained during training phase. Experimental results indicate that our logical activity recognition system achieves a very good performance with the average 99 percent of accuracy. Moreover, we find that surrounding object information is a crucial attribute to discriminate logical activities especially when logical activities are performed at the same location with the similar probabilities of physical activities. Human activity itself has semantics. For example, people perform activities for a reason or as a result. Some activities cause other activities. Some activities require some other activities in advance. Thus we take these semantic relations between human activities into account for logical activity recognition. For this, ConceptNet 4 is used in this thesis. The idea is to enrich logical activity recognition with higher-level information provided by ConceptNet.;시멘틱스는 컴퓨터가 인간의 어휘, 동작, 요구 등을 이해할 수 있도록 돕는다. 최근 시멘틱 웹 기술의 발전은 인간의 요구를 이해하여 그에 응답하는 시스템의 개발을 가능하게 하였고, 이를 위하여 소프트웨어 개발에 시멘틱 웹 기술이 활발히 도입되고 있다. 본 논문에서는 시멘틱스를 폭소노미 환경에서의 정보 검색과 인간의 논리 동작 인식 연구에 적용하고자 한다. 기존의 태깅과 시멘틱 기술을 결합한 새로운 폭소노미 프레임워크를 제안하며, 폭소노미 환경에서 시멘틱 정보 검색이 가능한 시스템을 구현한다. 폭소노미 시스템 사용자는 자신의 주관에 따라 태그라는 메타데이터를 자신이 공유하고자 하는 리소스에 추가한다. 하지만 사용자가 항상 양질의 메타데이터를 생성하지는 못하며, 이는 웹의 정보가 감당할 수 없을 정도로 방대해진 현 상황에서는 검색 측면에서 볼 때 키워드로서 질의와는 관계없는 많은 결과를 가져올 수 있다. 한편 시멘틱웹 기술을 이용하여 메타데이터 기반의 검색을 지원하는 시스템에 대한 연구도 활발하게 이루어지고 있다. 이들 시스템의 가장 큰 문제는 양질의 메타데이터를 생성하는 비용이 크고, 대부분의 시멘틱 애노테이션 시스템은 시멘틱 웹 기술 전문가가 아닌 일반 사용자가 쉽게 사용하기에는 어려움이 있다는 점이다. 본 연구에서는 이러한 폭소노미 환경에서의 태그 기반 검색의 문제점과 복잡한 시멘틱 애노테이션 시스템의 문제점을 해결하고자 온톨로지 기반의 태그 모델 (Augmented OntTag)을 제안한다. 제안하는 모델은 태그의 애매모호성으로 인한 검색의 실패를 줄이고, 온톨로지를 기반으로 한 시멘틱 검색을 가능하게 한다. 이를 위해 도메인 온톨로지를 구축하고, 워드넷이 제공하는 단어 간의 시멘틱 관계를 활용하였다. 플리커에서 가져온 데이터셋의 83.17%에 해당하는 플리커 사진과 태그 집합을 Augmented OntTag 모델로 성공적으로 변형시켰으며, 이를 통하여 제안하는 모델을 실 세계 데이터에도 적용할 수 있음을 증명하였다. 또한 제안하는 태그 모델을 기반으로 하는 폭소노미 시스템인 온토소노미 시스템을 구현하여 검색의 효율성을 평가하였다. 온토소노미 시스템은 태그 기반의 검색과 비교하여 일관되게 높은 검색의 정확도를 보여주며 신뢰 할 수 있는 검색 결과를 제공하였다. 본 논문에서는 실험 결과를 통해 제안하는 기법이 폭소노미 시스템과 같은 협엽 태깅 프레임워크에서도 효과적일 수 있고 적용 가능함을 보여주었다. 또한, 인간의 동작과 동작을 이루는 요소의 관계를 개념적 모형으로 설계하는 동작 모델을 제안하였다. 동작 개념 모델이 인간이 이해하는 동작과 동작의 컨텍스트를 이해할 수 있도록 시멘틱 기술을 동작 개념 모델 설계에 활용한다. 동작 모델은 위치, 물리 동작, 시간, 주변 사물과 논리 동작간의 복잡하게 얽힌 관계를 표현 할 수 있어야 한다. 이러한 복잡한 관계들을 확률적으로 풀어내기 위해 기계 학습과 확률 추론을 기반으로 하는 논리 동작 인식 알고리즘을 설계하였다. 훈련단계에서 확보한 논리 동작을 이루는 속성들의 빈도에 대한 평균 가능성을 계산하여 이를 기반으로 논리 동작 인식 알고리즘은 논리 동작을 예측한다. 본 연구에서는 알고리즘을 두 가지 방법으로 구현하였다. 첫 번째는 위치, 물리 동작, 시간 등의 논리 동작을 이루는 속성들을 포함한 후, 주변 사물 정보를 훈련하지 않은 상태로 구현하였으며 두 번째는 주변 사물 정보 또한 훈련한 후 구현하였다. 두 번째 구현은 실험을 통해 99%의 인식 정확도를 보여주었으며 첫 번째 구현에서는 92.2%의 논리동작이 인식되었다. 제안하는 알고리즘을 통해 주변 사물 정보 속성은 같은 장소에서 비슷한 유형의 물리동작으로 구성된 논리 동작을 구별하는데 반드시 필요한 속성임을 보여주었다. 한편, 인간 동작은 동작 자체가 시멘틱스 요소를 지닌다. 예를 들면, 인간은 어떠한 이유로 동작을 행하기도 하며 특정 결과를 초래하기도 한다. 또한 인간의 동작이 새로운 동작을 유발시키기도 한다. 이와 같이, 인간의 동작들은 서로 특정 의미 관계로 연관되어 있으며 이런 연관성은 논리 동작 인식에 중요한 요소이다. 따라서 인간 동작간의 관계를 표현하고 이용하기 위해, ConceptNet 4에서 제공하는 시멘틱 릴레이션을 활용한다. ConceptNet이 제공하는 양질의 고급 정보는 시멘틱 논리 동작 모델을 구현하고, 이를 기반으로 하는 논리 동작 인식의 정확도를 높이는데 크게 기여한다.