Materials Discovery using Reinforcement Learning and Application in Real World

Abstract

In 2011, the "Material Genome Initiative" (MGI) project was launched in the U.S. The MGI suggests that scientists conduct relevant research to accelerate the design of materials in order to discover materials essential for the nation's economy and human welfare. The MGI project is one that focuses on discovering, manufacturing, and applying new materials. This study focused on the acceleration of material design, which is the main purpose of these MGI projects. Traditionally, new substances are discovered through trial and error caused by conducting experiments. However, the speed at which a substance is discovered is limited due to the time required to conduct the experiment. On the contrary, reinforcement learning-based material design methodology enables the development of a generative model that can propose new substances with desired properties. This approach accelerates the process of discovering new substances and provides scientists with a systematic and efficient means to explore large chemical spaces. This study uses machine learning and reinforcement learning to accelerate material discovery and increase the efficiency of experiments, contributing to the development of new materials for various applications. Using a reinforcement learning-based generation model for new material discovery has distinct advantages over existing machine learning-based methodologies. A key advantage is that the reinforcement learning model can repeatedly learn with feedback, improving its performance over time learned. Unlike most existing machine learning-based models, reinforcement learning improves the efficiency of material search by enabling dynamic adjustment based on previous prediction results. In addition, these models are advantageous for exploring complex and high-dimensional chemical spaces, which can help a more detailed understanding of the relationship between molecular structure and required properties. The adaptability of reinforcement learning, feedback-based learning, and the ability to handle complex chemical spaces make it possible to be used as a powerful tool for material discovery and provide a path to discover new materials with desired properties faster and more effectively than conventional methods. In this respect, this study attempted to overcome the limitations of the existing machine learning model by using a reinforcement learning-based model. This study not only showed the advantages of reinforcement learning theoretically compared to existing methodologies, but also sought to explore ways that could be applied to the actual environment. First, we implemented the model to produce candidates that meet each of the three types of objectives: molecules that satisfy the seven drug-related target characteristics, molecules with low docking scores for 5-HT1B protein receptors, molecules with high binding affinity, and high efficacy HIV inhibitors. In addition, this model was applied in the field of Reactive Capture of CO2 (RCC), which has been actively studied recently. By applying this model in the field of RCC, we aimed to show the possibility of reinforcement learning-based methodology in solving problems that are difficult to solve by traditional machine learning-based methodologies. The application of this reinforcement learning-based model is expected not only to help in the development of specific areas such as RCC, but also to become a new paradigm in discovering new materials or materials in many other fields through further research in the future.;2011 년, 미국에서 “Material Genome Initiative” (MGI) 프로젝트를 시작했다. MGI 는 과학자들이 국가의 경제와 인간 복지에 필수적인 물질을 발견하기 위해 물질 설계를 가속화하는 관련된 연구를 진행해야 한다고 제안한다. MGI 프로젝트는 신물질을 발견하고, 제조하고, 적용하는 것에 초점을 맞춘 프로젝트이다. 본 연구는 이러한 MGI 프로젝트의 주 목적인 물질설계의 가속화에 초점을 맞추었다. 전통적으로는 실험 등을 진행하며 생긴 시행착오를 겪으며 신물질을 발견해 나간다. 하지만, 실험을 수행하는데 있어 소요되는 시간으로 인해 물질을 발견하는 속도에 제한이 생긴다. 이와는 반대로, 강화학습 기반의 물질설계 방법론은 원하는 특성을 가진 새로운 물질을 제안할 수 있는 생성 모델의 개발을 가능하게 한다. 이러한 접근 방식은 신물질의 발견하는 과정을 가속화하여 과학자들에게 넓은 화학 공간을 탐색할 수 있는 체계적이고 효율적인 수단을 제공한다. 본 연구는 기계 학습 및 강화 학습을 이용하여 재료의 발견을 가속화하고 실험의 효율성을 높여 다양한 응용 분야를 위한 신 물질 개발에 기여하는 것을 목표로 한다. 신 물질 발견에 있어 강화학습 기반 생성 모델을 사용하는 것은 기존의 기계 학습 기반 방법론들에 비해 뚜렷한 장점을 가진다. 핵심적인 장점은 강화 학습 모델이 피드백을 통해 반복적으로 학습하여, 학습한 시간이 흐름에 따라 성능을 향상시킬 수 있다는 것이다. 강화 학습은 대부분의 기존 기계학습 기반 모델과는 달리 이전 예측 결과를 기반으로 동적으로 조정이 가능하게 하여 재료 탐색의 효율성을 향상시킨다. 또한 이러한 모델은 복잡하고 고차원적인 화학 공간을 탐색하는데 유리하여 분자 구조와 필요로 하는 특성 간의 관계를 보다 섬세한 이해를 도울 수 있다. 강화학습의 적응성, 피드백 기반의 학습, 그리고 복잡한 화학 공간을 처리할 수 있는 역량은 재료 발견의 강력한 도구로서 사용될 수 있도록 하며, 기존의 방법보다 더 빠르고 효과적으로 원하는 특성을 가진 새로운 물질을 발견할 수 있는 경로를 제공한다. 이러한 측면에서, 본 연구에서는 강화학습 기반 모델을 이용하여 기존 기계 학습 모델의 한계를 극복하고자 했다. 본 연구는 기존 방법론들과 비교하여 강화학습의 장점을 이론적으로 보일 뿐만 아니라, 실제 환경에 적용할 수 있는 방안을 탐색하고자 했다. 먼저, 7 가지 약물 관련 목표 특성을 만족하는 분자, 5-HT1B 단백질 수용체에 대한 낮은 도킹 점수, 즉 높은 결합 친화도를 가지는 분자, 그리고 높은 효능의 HIV 억제제의 세가지 종류의 목적을 각각 만족하는 후보물질을 생성하기 위해 모델을 구현했다. 또한 최근 활발하게 연구되고 있는 Reactive Capture of CO2 (RCC) 분야에서도 해당 모델을 적용했다. RCC 분야에서 해당 모델을 적용해 봄으로써, 전통적인 기계학습 기반 방법론들이 해결하기 힘든 문제를 해결하는 데 있어 강화학습 기반 방법론의 가능성을 보여주는 것을 목표로 했다. 이러한 강화학습 기반 모델의 적용은 RCC 와 같은 특정 영역의 발전에 도움이 될 뿐만 아니라 추후 추가적인 연구를 통해 실제로 많은 다른 분야에서도 새로운 물질 또는 재료를 발견하는데 있어 새로운 패러다임이 될 수 있을 것으로 기대된다.