검색 상세

AI로 생성한 페르소나와의 조우 : 실시간 딥페이크 기술의 예술적 활용

Meet Your AI Persona : Creating Persona from Real-Time Deepfake

  • 채진숙 (Che, Jin Suk, 서강대학교 영상대학원)

초록 (요약문)

본 논문에서는 실시간으로 캡쳐한 관객의 얼굴 표정을 타인의 표정+모션을 사용하여 변형하는 ‘가상의 가면 즉 페르소나’를 만드는 작품을 구현하였다. 여기서 가상의 가면으로서 페르소나는 가식적인 모습으로서의 가면이 아닌 자신이 표현하고 싶은 모습으로서의 가면이다. 관객은 자신의 얼굴에 타인의 표정을 입혀 만들어진 가상 가면의 표정을 선택하고, 자신이 선택한 가면이 출현한 작품을 감상하게 된다면 변형된 자신의 얼굴을 보며 이질감을 느낄 수 있을 것이다. 왜냐하면 자신의 얼굴이지만 자신이 짓지 않은 표정을 보기 때문이다. 이렇게 가상의 가면을 쓴 낯선 자신의 모습을 보는 경험을 하게 됨으로써, 관객은 자신을 돌아보고 자신의 페르소나에 대해 생각하는 계기를 가질 수 있다. 본 논문의 작품에서는 타인의 표정과 움직임으로 만들어진 거울 작품 속 페르소나를 몇 가지로 구성하여 관객 스스로 가면을 선택할 수 있도록 하였다. 본 연구에서는 AI를 사용하여 자신의 얼굴 이미지에 타인의 표정+모션이 적용된 가면을 만들었다. 본 연구에는 인공지능을 사용한 관객의 페르소나 표현이 약식으로 연구된 단점이 있다. 하지만 타인의 표정과 모션을 개입시키는 인공지능 기술 방법을 사용함으로써 페르소나의 표현적 한계를 개선한 장점이 있다. 작가의 의도가 담긴 표정 비디오와 관객 얼굴을 이용해 AI가 페르소나를 만들어내는 이 작품에서 ‘AI 페르소나와의 조우’는 관객이 자신의 얼굴을 가진 도플갱어를 대면하게 된다는 것을 의미한다. 타인의 표정의 변화에 따라 작품에 비친 자신의 얼굴 표정의 움직임을 새롭게 덧입히는 방식을 사용한 도플갱어를 통해 이 작품은 마치 나와 같은 얼굴이지만 또 다른 사람인 것처럼 표현할 수 있었다. 작품에서 자신의 도플갱어, 즉 AI로 표정이 변형된 자신의 얼굴이 특정한 움직임을 보이는 장면을 볼 때 관객은 도플갱어가 자신 얼굴로 만들어져 있으므로 얼굴표정 변형에 개입된 ‘타인의 표정 움직임’의 존재에 대해 알아채기는 쉽지 않다. 그러므로 관객은 도플갱어를 자신의 페르소나로 생각할 수 있게 된다. 다시 말해 작품은 작가의 페르소나이자 관객의 페르소나가 되며 관객은 본 연구의 결과인 AI작품을 통해 자신의 페르소나와 만날 수 있다. 페르소나를 만나는 것이 중요한 이유는 관객이 자신이 선택한 작품 속 다양한 페르소나 거울을 보며 자신의 내면을 성찰하고, 때로는 고민하며, 스스로 위로받고, 감상의 즐거움을 느낄 수도 있기 때문이다. 본 논문은 실시간으로 관객의 얼굴 사진 1장을 캡쳐하고 이것을 미리 준비한 얼굴 동영상에 따라 해당 페르소나를 표현하는 인공지능 예술 작품을 실현하였다. 작가의 의도가 담긴 특정 표정의 움직임을 담은 비디오를 가져와 관객의 얼굴이 작가가 의도한 표정으로 변화되는 영상을 만들기 위해 본 연구는 딥러닝을 기반으로 얼굴의 키포인트를 찾아 모션을 생성하는 방법을 탐구하였다. 이 기술은 한 장의 사진으로부터 얼굴 움직임과 표정 등을 생성하여 보여주는 이미지 애니메이션인 방법에 기반하였는데 인공지능 생성 모델인 GAN(Generative Adversarial Network)을 연구하고 자연스러운 표정 움직임을 생성하는 여러 인공지능 모델 중 하나인 FOMM(First Order Motion Model)을 활용하였다. 앞서 연구된 이론과 기술연구를 바탕으로 한 첫번째 작품 연구로는 카메라에 비친 관객의 얼굴을 거울에 비치도록 하는 실시간 인터랙티브 AI 미디어 아트 작품을 제작하였다. 이 작품은 거울에 비친 자신의 또 다른 행동과 표정을 모습을 페르소나 적 양상으로 표현하였다. 본 논문에서 연구한 저자의 작품 <당신을 이해하는 거울>은 무의식과 관련된 상상계로서 페르소나를 표현한 초현실적 인터랙티브 영상 작품이다. 두 번째 작품 <청동거울>은 관객의 얼굴을 반영하는 거울 이미지를 통해 자아를 반영하는 이미지를 분절 시켜 또 다른 도플갱어들을 생산하는 작품이다. 세 번째 작품 <윤두서 자화상 오마주>는 윤두서를 자신의 가면으로 사용하여 관객 스스로 윤두서의 표정과 모션이 되는 작품이다. 정리하면, 본 논문은 작품 속 인물과 타인의 움직임이 합쳐져 가면의 역할 즉 페르소나가 되는 형식의 작품을 연구 제작하였다. 작품에서 보여지는 대상은 인공지능을 통해 만들어진 페르소나로서의 역할을 하게 된다. 본 연구는 기존의 완성된 영상으로만 존재하는 딥페이크와는 다르게 작품 대상의 얼굴표정을 딥러닝 모델을 통해 실시간으로 조작 변형하여 페르소나를 생성하는 새로운 인공지능 미디어아트 작품을 실현하였다.

more

초록 (요약문)

This paper is a study of an artwork that creates a "virtual mask, a persona," which first captures the facial features of the onlooker in real time and then modifies the onlooker’s face through facial expressions and movements. Here, a virtual mask as a Persona is not a mask as a superficial guise, but the face that one wants to express. When the onlooker chooses to wear the foreign facial expression of the virtual mask on their own face, through the artwork, the onlooker will witness the foreign expression on their familiar face and thus feel a strange sense of disconnectedness. This is because though it is the onlooker’s own face, the face is showing a facial expression different from the one the onlooker is making. Thus, the strange experience of witnessing one’s own face wearing the virtual mask will spur the onlooker to look back on oneself and contemplate about one’s own Persona. This work is composed of several Personas in mirrors made up of different facial expressions and movements which the onlooker may select as virtual masks. This study utilizes AI (Artificial Intelligence) to create a mask in which foreign facial expressions and movements are applied to one's face image. One limitation of this study is that it employs only a simplified version of Persona expression through artificial intelligence. However, an advantage of this study is that it utilized artificial intelligence to implicate facial expressions and movements, and thus, overcame to a certain extent the expressive limitations of the Persona. This artwork that creates a Persona through Artificial Intelligence using the video of the artist’s intended expression and the onlooker’s face is given the title “An Encounter with AI Persona” to demonstrate the experience of an encounter with one’s doppelganger. Through the Doppelganger who is created by overlaying the onlooker’s facial movements in the mirror with a foreign expression, this artwork is able to show someone who wears my own face, yet is someone else. When witnessing the movement of the doppelganger, or one’s own face modified by AI facial expression, it is difficult for the onlooker to perceive the existence of the foreign expression. Therefore, the onlooker is able to think of the Doppelganger as their own Persona. As a result, when the artwork becomes a manifestation of the artist’s Persona along with the onlooker’s Persona, through the results of the study on AI Artwork, the onlooker is able to meet their own Persona. It is important for the onlooker to meet their Persona because through the reflection of the various work of Persona mirrors, the onlooker will be able to give thought to their inner self and at times, deliberate over, be comforted, or revel in the joy of appreciating the work. This study actualized a form of AI artwork that first captures an image of the onlooker’s facial expression in real time and then utilizes a preset face video to express the relevant Persona. In order to utilize the preset face video to create a video that modifies the onlooker’s face according to the intended expression of the artist, this study employed Deep Learning to explore a method using key points of the face to generate movement. This technology is based on an image animation method that generates and shows facial movements and facial expressions from a single picture, utilizing research from the Generative Adversarial Network (GAN), an artificial intelligence generation model, and the First Order Motion Model (FOMM), one of several artificial intelligence models that generate natural movement of facial expressions. The first artwork study created based on the previously studied theories and technology research was the real time interactive AI Media Artwork that reflects the onlooker’s face captured by the camera in the mirror. This artwork demonstrates a subject’s different expression and appearance reflected in the mirror as a Persona impression. The artist’s artwork that is described in this study, "The Mirror that Understands You," is a surreal interactive video work that expresses the Persona as an imaginary being of the unconscious. The second work, “Bronze Mirror”, is a work that uses the onlooker’s reflection in the mirror to break down the image reflections of one’s ego and thus, produces another doppelganger. The third work, "Yoon Doo-seo Self-Portrait Homage," is a work that uses Yoon Doo-seo as a mask and allows the onlooker to become Yoon Doo-seo’s facial expression and movements. In summary, this paper describes an artwork that combines the movement of the onlooker’s reflection in the mirror along with the intended movements of the artist to produce a masked role that is the Persona. The subject reflected in the work is created through Artificial Intelligence and assumes the role of the Persona. Unlike Deepfake, which only exists in the form of a video, this study demonstrates a new Artificial Intelligence Media Artwork that modifies the subjects’ facial expressions in real time through the Deep Learning model and thereby, produces the creation of Personas.

more
반출 Meta View 목록