채팅 창 스크롤 속도 및 오디오 소리 크기 분석을 통한 On-line 개인방송 하이라이트 추출
On-line Personal Broadcasting Highlight Extraction by Analyzing Chatting Window Scroll Speed and Audio Loudness
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2023
- 학위수여년월 2023. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000070223
- UCI I804:11029-000000070223
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
Recently, the number of people who produce personal broadcasting contents through platforms such as YouTube and Twitch TV is increasing. Because of the nature of personal broadcasting, the length of the uploaded video may be long because the person who taking the video can arbitrarily adjust the length of the video. To prevent this, many personal broadcasting producers make and upload a summary of broadcasting. In the case of other papers that extract broadcast highlights, there are papers that take a long time and require sufficient datasets because they use deep learning, and there are papers that have a risk of leakage of personal information because they use the contents of chat windows. In this paper, this thesis propose a method for extracting highlights by measuring the scrolling speed of chatting windows and measuring the audio volume in broadcasting. As a dataset, personal broadcasting videos on YouTube were used. The chat window scroll speed was measured by measuring the size of the chat window and then measuring the position change of the chat when the frame was changed, and detected the high-speed section as a highlight. Audio size measurement was performed by extracting audio from a video and detecting a section with a large audio size obtained through the librosa library as a highlight. In each case, when several detected sections are located in the correct answer section, all sections from the start point to the end point of the detected section were measured as the detected section. It can be seen that the performance improves when the two methods are combined.
more초록 (요약문)
최근 유튜브, 트위치tv 같은 플랫폼을 통해서 개인 방송 컨텐츠를 제작하는 사람들이 증가하고 있다. 개인 방송의 특성상 영상을 찍는 사람이 임의대로 영상의 길이를 조절할 수 있기 때문에 업로드하는 영상의 길이가 길어질 수 있다. 그것을 방지하고자 많은 개인 방송 제작자들이 방송 요약 본을 만들어서 올린다. 방송 하이라이트를 추출하는 다른 논문들의 경우 딥러닝을 통한 결과물을 이용하여 하이라이트를 검출하는 경우 학습시키는 시간과 충분한 데이터 셋이 필요하거나 채팅창의 내용을 이용하여 하이라이트를 검출하는 경우에는 개인정보의 유출 위험성이 있다. 본 논문에서는 채팅창의 스크롤 속도 측정과 방송에서의 오디오 크기 측정을 통한 하이라이트를 추출하는 방법을 제안한다. 실험에 사용한 데이터는 유튜브에 올라와있는 개인방송들을 이용하였다. 채팅창의 스크롤 속도 측정은 채팅창의 크기를 측정 후 프레임이 변화될 때 채팅 창안의 글자들의 위치 변화를 측정하는 방법으로 속도를 측정하여 속도가 높은 구간을 하이라이트로 검출하였다. 오디오 크기 측정의 경우에는 동영상으로부터 오디오를 추출하고 Librosa 라이브러리를 통해 얻은 오디오 크기가 큰 구간을 하이라이트 구간으로 검출하였다. 각각의 경우 검출된 구간들 중 정답 구간에 여러 개가 위치해있는 것을 확인할 수 있었는데 그 경우 검출된 구간의 시작지점과 끝지점까지의 구간을 모두 검출된 구간으로 측정하였다. 마지막으로 두 방법을 합쳤을 때 성능이 더 좋아지는 것을 확인할 수 있다.
more