강화학습 에이전트를 이용한 아트 게임의 감성 표현
Expression of Emotion in an Art Game Using an Intelligent Agent Trained with Deep Reinforcement Learning
- 주제어 (키워드) 아트 게임 , 인터랙티브 미디어아트 , 심층강화학습 , 지능형 에이전트 , 감성지향 에이전트 , 근위정책최적화(Proximal Policy Optimization) , Unity ML-Agents , art game , interactive media art , deep reinforcement learning , intelligent agent , emotionally intelligent agent , proximal policy optimization , Unity ML-Agents
- 발행기관 서강대학교 영상대학원
- 지도교수 이상욱
- 발행년도 2023
- 학위수여년월 2023. 2
- 학위명 박사
- 학과 및 전공 영상대학원 예술공학
- 실제 URI http://www.dcollection.net/handler/sogang/000000070225
- UCI I804:11029-000000070225
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
본 논문은 인터랙티브 미디어아트에서 감성을 표현하는 방법으로서 작가의 의도를 내포한 환경에서 심층강화학습 기술로 학습된 지능형 에이전트와 상호작용하는 아트 게임을 제안한다. 감성이란 감정을 포함해 환경과의 상호작용에서 나타나는 인지과정이며, ‘감성 표현’은 이러한 감성을 명료화하는 것이다. 본 논문에서는 지능형 에이전트와의 상호작용 경험을 주고자 게임 형식의 인터렉티브 미디어아트인 아트 게임을 매체로 활용하며, 모든 상태에 대한 규칙을 명시하지 않고도 시행착오를 겪으며 역할을 습득해 행동하는 에이전트의 구현을 위해 심층강화학습 기술을 사용했다. 머신러닝 기술들 중에서도 강화학습은 행동의 주체인 에이전트가 환경과 상호작용하며 최대 보상을 보장하는 최적의 정책을 찾아가는 비지도 학습 방식이다. 학습 초기, 백지상태이던 강화학습 에이전트는 작가의 의도가 담긴 회화 작품 기반의 환경에서 작가가 설계한 보상체계에 따라 훈련하며 점차 주어진 역할을 수행하고 최적의 움직임을 시각화할 수 있게 된다. 논문은 이러한 학습과정을 통해 작품의 감성을 표현할 수 있게 되는 지능형 에이전트를 ‘감성지향 에이전트’로 제시한다. 감성지향 에이전트의 구현 및 학습환경인 아트 게임 개발에는 게임엔진 유니티와 머신러닝 툴킷인 ML-Agents를 활용했으며, 학습 알고리즘으로는 심층강화학습 방법론의 하나인 근위정책최적화를 사용했다. 환경의 상태는 센서를 통해 에이전트가 직접 관측하며, 작품의 표현과 학습에 적합한 행동과 보상체계를 설정했다. 이후 하이퍼 파라미터와 환경 설정 조정, 코드 구현상의 최적화 방법들을 적용해 가장 높은 누적 보상 결과를 보이는 설정으로 감성지향 에이전트를 학습시켰다. 논문은 연구 내용을 최종적으로 구현한 아트 게임 <MOMaI>를 제안한다. 복잡하고 어려운 현실의 부모-자녀 관계는 게임 형식 안에서 단순화되고, 수치화된다. 관람객은 게임 플레이를 하는 동안 감성지향 에이전트와 상호작용하며 서로를 위해 존재하고, 서로를 통해 성장하는 부모-자녀 관계의 본질과 그 사이의 감성을 느낄 수 있다. 본 논문의 의의는 평면회화를 비롯한 이전의 시각예술 장르에서 구현하기 어렵고, 기존의 인터랙티브 미디어아트에서는 느끼기 어려운 감성 표현의 한 방법으로 감성지향 에이전트와 상호작용하는 아트 게임을 제안하고 구현했다는 데 있다. 이러한 연구는 향후 강화학습 기술을 적용한 또 다른 새로운 시각예술 작품을 모색하는 계기가 될 수 있을 것이다.
more초록 (요약문)
This thesis presents an art game where we can interact with intelligent agents trained with deep reinforcement learning. We suggest that reinforcement learning is an effective method that can train the agent to represent the emotional expression of artwork. Emotion is a cognitive process that occurs in interaction with the environment, and 'emotional expression' is the clarification of these emotions. This thesis proposes a method to experience interaction with an intelligent agent by using an “art game” as media. In addition, the deep reinforcement learning is utilized to train an intelligent agent that can learn with trial and error without having to program for every state. Unlike other machine learning methods, reinforcement learning has an agent, which is the subject of action, learns with the rewards given by the environment and finds the optimal policy that guarantees the maximum reward. An intelligent agent is trained according to the reward system designed by the artist in a painting-based environment that embodies the artist's intention. As a result, the agent, which moves randomly in the early stages of learning, gradually performs tasks and visualizes the optimal movement. In this theme, this agent is called an “emotionally intelligent agent,” which refers to an intelligent agent that learns to express the emotion of art game as a result of reinforcement learning. “Unity”, a game engine with a machine learning toolkit “ML-Agents” are used to develop an art game as a learning environment and to create an emotionally intelligent agent. In addition, proximal policy optimization (PPO) is adopted as a learning method, which is one of the deep reinforcement learning methodologies. Regarding the learning environment, the agent is programmed to directly observe it through a sensor, and we also set up proper actions and a reward system tuned for optimal performance of representing the original intent of the artwork. After conducting repeated experiments of adjusting hyperparameters and changing environment settings, and implementing code-level optimization, we trained an intelligent agent in a setting that generates the highest cumulative reward value. This thesis introduces an art game <MOMaI> that realizes the proposed research. Complex and difficult parent-child relationship in reality is simplified and quantified in a game format. While playing this game and interacting with an emotionally intelligent agent, people can experience the nature and feeling of a parent-child relationship that grows together through each other. The intended contribution of this thesis is to suggest an art game where an intelligent agent is trained to express artistically emotional interaction, and to the best of our knowledge, reinforcement learning has not yet been utilized before in this way in media art. We hope that this work may provide motivation for investigating the use of reinforcement learning in various forms of interactive media art and art games.
more