검색 상세

몸의 경험으로서의 미래 : 딥러닝 모델을 이용한 실시간 미래 영상 생성과 작품화

Embodied Future : Real-Time Generation of Future Video Using Deep Learning Methods for Interactive Media Art

  • 백주미 (Paik Joo-Mee, 서강대학교 영상대학원)

초록

본 연구는 주로 과거와 현재로 국한되었던 인터랙티브 미디어아트에서의 시간 경험을 미래의 축으로 확장하고자 하는 문제 제기로부터 출발한다. 우리의 시간 경험은 이미 일어난 일에 대한 경험뿐 아니라 아직 일어나지 않은 미래에 대한 경험도 포함한다. 아직 경험하지 못한 일에 대한 기대, 예측 자체가 우리가 가지는 미래의 경험이다. 그리고 이는 우리 몸의 다양한 시간 메커니즘의 작동에 기반한다. 이러한 맥락에서 미래는 우리 몸의 경험으로 이해할 수 있다. 우리가 의식하든 못하든 세계에서 가지는 대부분의 경험에는 미래의 경험이 수반된다. 그런데 시간성을 주제로 다루었던 그간의 인터랙티브 작업은 미래의 경험을 다루지 못했다. 이는 사용 가능한 영상 소스가 현재와 과거의 영상으로 제한되었기 때문이다. 본 연구의 목적은 실시간으로 미래를 예측할 수 있는 진보된 기술을 연구하고 이를 예술적으로 활용하여 현재와 과거의 시간에 제한되었던 예술 경험을 미래로 확장하는 데에 있다. 이를 위해 실시간으로 관객의 다음 동작을 예측하는 인공신경망 기술을 연구하고 이를 활용한 인터랙티브 미디어아트를 제안하였다. 시퀀스 데이터를 다루는 RNN(Recurrent Neural Network)을 이용하였으며 두 개의 RNN 모듈로 이루어진 sequence-to-sequence 아키텍쳐를 사용하였다. 실시간 인터랙티브 미디어아트에서 관객이 자신의 시간과 작품 속 시간을 동시에 일어나는 것으로 느끼는 동시성과 경험이 끊기지 않고 계속되게 하는 지속성을 중요한 지향점으로 삼았다. 데이터셋 구축, 모델 학습부터 작품 구현을 위한 알고리즘 설계까지 전반적인 과정에서 시간 경험의 동시성과 지속성을 유지하기 위한 방법을 연구하고 실험하였다. 관객의 가능 미래를 잘 예측하기 위해서는 데이터셋도 새로 만들 필요가 있었다. 전시장에서 관객이 할만한 행동들을 예상하여 800여 개의 포즈 시퀀스로 된 Gallery Action 데이터셋을 만들었다. 실시간 인터랙티브 아트에서 지속성과 동시성을 가지기 위해 데이터셋의 시퀀스 길이를 길게 하여 랜덤한 구간을 학습할 수 있도록 하였다. 최종적으로 seq2seq 모델을 사용하여 관객의 실시간 가능 미래를 예측하는 세 점의 인터랙티브 작품을 제안하였다. 각 작품은 각각 다른 시간의 양상들을 모티브로 한다. 첫 번째 작품 <몸이 되어버린 시간으로서의 나>는 항상 과거와 미래로 향하는 현재 시간의 지향성을 모티브로 하여 항상 변화하려는 주체의 지향성을 표현하였다. 두 번째 작품 <Stochastic Present>와 세 번째 작품 <Stochastic World>는 매순간 다양한 미래가 생성된다는 양자물리학의 다세계 해석을 모티브로 삼는다. 우리의 현재가 다양한 가능 미래를 만들어 내는 모습을 직접 경험할 수 있도록 하였다. 각 작품마다 다른 시간의 양상들을 모티브로 하고 있으나 시간을 몸과의 관계를 통해 체험하도록 한 것은 세 작품 모두의 공통적 바탕이다. 본 연구는 인공지능 기술의 예술적 활용을 통해 현재와 과거의 시간에 제한되었던 관객의 경험을 미래까지 확장해주었다. 이는 더 다양한 시간의 예술적 표현과 경험을 가능하게 해준다. 인간의 감각 운동 능력으로 가질 수 없는 시간 경험은 존재와 세계를 이해하는 데에 새로운 시각을 제시할 수 있을 것이다. 과거-현재-미래를 포괄하는 체화된 시간 경험은 모든 종류의 경험과 상호작용의 기반이 되기 때문에 본 연구에서 제안하는 미래 예측 모델은 상호작용적 경험이 중요한 다양한 분야에도 넓게 활용될 수 있을 것으로 기대한다.

more

초록

This study starts from the need to expand the time experience in interactive media art, which was mainly limited to the past and present, to the axis of the future. Our experience of time includes not only experiences of what has already happened, but also experiences of the future that have not yet happened. Expectations and predictions of things we have not yet experienced are our future experiences. And it is based on the operation of various time mechanisms in our body. In this context, the future can be understood as the experience of our body. Every experience in the world is always accompanied by an experience of the future. However, the interactive media art with temporality as the subject did not deal with future experiences. This is because the available video sources of viewers were limited to current and past images. The purpose of this study is to study advanced technology that can predict the future in real time and to use it artistically to expand the artistic experience limited to the present and past time into the future. To this end, we researched artificial neural network technology that predicts the next action of the audience in real time, and proposed interactive media art using it. A sequence-to-sequence architecture consisting of two RNN modules was used. In this study, the simultaneity and continuity of time experience in real-time interactive media art were taken as important directions. Simultaneity means that the audience feels their own time and the time in the work as occurring at the same time, while continuity means that the experience continues without interruption. We researched and experimented with methods to maintain the simultaneity and continuity of temporal experience in the overall process from data set construction and model learning to algorithm design for realization of the work. In order to predict the possible future of the audience well, it was also necessary to create a new dataset. In anticipation of the actions that the audience would perform in the exhibition hall, we created a Gallery Action dataset. In order to have continuity and simultaneity in real-time interactive art, the length of data sequence is lengthened so that random sections can be learned throughout the repeated learning process. Finally, three interactive art works using the seq2seq model to predict the possible future of viewers were proposed. Each work is based on different aspects of time. The first work <I as time that has become a body> expresses the tendency of the subject to always change. This coincides with the tendency of the present time to move toward the past and the future. The second work <Stochastic Present> and the third work <Stochastic World> take as their motif the multi-world interpretation of quantum physics that claim various futures are created every moment. It allows viewers to experience themselves how our present creates a variety of possible futures. Each work has different aspects of time as its motif, but the common ground of all three works is that time is experienced through the relationship with the body. This study extended the audience's experience, which was limited in the present and past, to the future through the artistic application of artificial intelligence technology. This enables artistic expression and experiences of a wider variety of times. Since the embodied temporal experience encompassing the past-present-future is the basis for all kinds of experiences and interactions, the future prediction model proposed in this study is expected to be widely used in various fields where interactive experiences are important.

more
반출 Meta View 목록