허밍 질의의 불확실성을 고려한 MIDI파일 대상의 음악 검색 방법
A Music Information Retrieval on MIDI Files considering Uncertainty of Humming Query
- 주제(키워드) 음악 검색 , 허밍 질의 , MIDI 파일
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2009
- 학위수여년월 2009. 2
- 학위명 석사
- 실제URI http://www.dcollection.net/handler/sogang/000000044922
- 본문언어 한국어
초록/요약
전자 기술의 발달 및 인터넷의 확산으로 인해 수많은 디지털 멀티미디어 데이터들이 생산, 유통되고 있고 이러한 데이터들을 대상으로 한 검색 방법들도 다각도로 연구되고 있다. 이러한 연구들 중 디지털 음악 데이터에 대한 검색은 텍스트 기반 검색 방법이 지니는 여러 가지 한계점들로 인해 점차 내용 기반 검색에 대한 연구들이 진행되었으며, 성능 향상을 위한 다양한 연구들이 진행되어 왔다. 초기에는 선율을 표현하기 위해 음의 높이 정보만을 이용하였으나 이후 다양한 음악적 특성들이 추가로 이용되기 시작했는데, 이러한 기존 연구들의 한계는 음악 검색에 입력 데이터로 사용되는 허밍 질의의 다양한 특성들을 제대로 고려하지 않았다는 데 있다. 따라서 본 논문에서는 먼저 허밍 질의의 다양한 특성들에 대해서 정의하고 각각의 특성들을 고려한 음악 검색 방법을 제안한다. 각각의 불확실성을 고려한 음악 검색을 위해 먼저 선율 정보는 음간의 높이 변화량과 음간의 길이 변화 비율을 이용하며, 검색 시 모든 곡의 모든 구간에 대해 유사도 비교를 수행한다. 주 선율 정보를 표현하기 위한 방법으로는 사람의 음악에 대한 기억 방식과 재현 방식을 고려한 근사화 방식을 제안한다. 또한 MIDI 파일에 존재하는 각 트랙의 악기의 종류 및 악기의 성부, 음색, 곡 전체에 대한 트랙의 연주 비율 등을 고려한 새로운 주 선율 추출 방법을 제안한다. 본 논문에서 제안한 방법들은 먼저 허밍 질의의 특성에 대해 명확히 정의를 내린 점과 MIDI 파일로부터 주 선율 정보를 트랙 분석만으로 간단하게 추출해 내는 점, 그리고 음악 검색 성능의 유사도 비교가 뛰어난 점 등이 의미가 있다고 하겠으며 이러한 연구는 내용 기반 음악 검색이 보편화되지 않은 현 상황에 다양한 분야로의 응용이 가능하다.
more초록/요약
As electronic technologies and the internet became widely spread, many digital data has been created and there has been a lot of researches in retrieval of these data.Among these researches, researches on the retrieval of music data progressed to context based retrieval from textual base because of the limitation of textual base music data retrieval. First, only the notes were considered in expressing the melody, but it progressed to various musical characteristics. But theses researches did not consider the characteristics of humming query. Therefore, this paper defines the various characteristics of humming query and music data retrieval considering these characteristics. Considering each uncertainty, the music retrieval method first compares the difference of the notes and the length of the notes and compares all sections of the music for similarity. To express the main melody, an approximation method based on human memory is proposed. Main melody extraction method based on the track information of the MIDI files is also proposed. The proposed retrieval methods in this paper defines the characteristics of humming query, extracts the main melody by track analysis of the MIDI file, and proved to show high efficiency in similarity search. These researches are widely applicable in various fields given the lack of content based music retrieval methods.
more목차
1. 서론 = 1
2. 연구 배경 = 5
2.1.소리와 음악 및 화성 = 5
2.1.1 음의 높이(Pitch) = 5
2.1.2 음의 길이(Duration) = 5
2.1.3 음의 크기(Loudness) = 6
2.1.4 음의 색깔(Timbre) = 7
2.1.5 음악(Music) = 7
2.1.6 화성(Harmony) = 8
2.2 허밍 질의 기반 음악 검색 방법에 관한 기존 연구들 = 9
2.2.1 사용한 음악적 특성에 따른 분류 = 9
2.2.2 유사도 비교에 사용한 데이터 형식에 따른 분류 = 11
2.2.3 유사도 비교에 사용한 알고리즘에 따른 분류 = 13
2.3 기존 연구들의 한계점 = 15
3.제안하는 허밍 질의의 특징 및 이를 고려한 음악 검색 방법 = 16
3.1 허밍 질의의 특징 = 16
3.1.1 사람의 음악 기억 방식과 재현 방식 = 16
3.1.2 허밍 질의의 불확실성 = 17
3.2 QBH를 위한 주 선율 표현 방법 = 25
3.2.1 음간의 높이 변화 표현 방법 = 26
3.2.2 음간의 길이 변화 표현 방법 = 31
3.2.3 쉼표에 대한 표현 방법 = 33
3.2.4 음의 높이, 음의 길이, 쉼표를 혼합한 표현 방법 = 35
3.3 본 연구에서 사용한 선율간 유사도 측정 방법 = 36
4. 허밍 질의 및 MIDI 파일에 대한 주 선율 추출 방법 = 40
4.1 허밍 질의로부터 주 선율 추출 방법 = 40
4.2 MIDI 파일로부터 주 선율 추출 방법 = 42
4.2.1 MIDI 파일의 구조 및 특성 = 42
4.2.2 제안하는 MIDI 파일로부터의 주 선율 추출 방법 = 43
4.2.3 제안하는 방법에 대한 알고리즘 = 45
5. 실험 및 결과 분석 = 47
5.1 제안하는 음 높이 근사화 방법의 성능 측정 실험 = 47
5.2 제안하는 MIDI 파일을 대상으로 한 주 선율 추출 성능 실험 = 49
5.3 제안하는 방법과 기존 연구들과의 시간 복잡도 및 공간 복잡도 비교 = 51
5.4 본 논문에서 제안하는 방법과 기존 연구와의 검색 성능 비교 실험 = 55
6. 결론 및 향후 연구 과제 = 58
7. 참고 문헌 = 60
그림목차
그림 2-1 한동준의 ‘사랑의 서약’ = 6
그림 2-2 밑음과 3 음의 간격이 단 3 도인 협화음의 예 = 9
그림 2-3 밑음과 3 음의 간격이 장 3 도인 협화음의 예 = 9
그림 2-4 이문세의 ‘광화문 연가’를 Ghias 의 방식[2]으로 표현한 예 = 10
그림 2-5 서로 다른 곡에서 동일한 UDS 패턴이 나타나는 예 = 11
그림 3-1 강산에의 ‘넌 할 수 있어’에 대한 악보 = 19
그림 3-2 ‘넌 할 수 있어’ 질의 도중 조 변환이 일어난 경우 = 19
그림 3-3 ‘넌 할 수 있어’를 Ghias 가 제안한 방법[2] 및 변화량으로 표현한 예 = 20
그림 3-4 조 변환이 일어난 질의를 Ghias 가 제안한 방식[2] 및 변화량으로 표현한 예 = 20
그림 3-5 ‘넌 할 수 있어’에 대한 질의 중 음 높이 오류가 발생한 예 = 21
그림 3-6 ‘넌 할 수 있어’에 대한 질의 중 음 길이 오류가 발생한 예 = 22
그림 3-7 음표 전개의 예 = 23
그림 3-8 음표의 전개를 길이 변화 비율로 표현한 결과 = 23
그림 3-9 ‘넌 할 수 있어’에 대한 질의 중 음 개수의 오류가 발생한 예 = 24
그림 3-10 ‘넌 할 수 있어’에 대한 질의 중 템포의 오류가 발생한 예 = 25
그림 3-11 신중현의 ‘아름다운 강산’에 대한 악보 = 27
그림 3-12 ‘아름다운 강산’에 대해 Ghias 의 방식[2]으로 표현한 예 = 27
그림 3-13 ‘아름다운 강산’에 대해 LieLu 가 제안한 방식[13]으로 표현한 예 = 28
그림 3-14 ‘아름다운 강산’을 Uitdenbogered 가 제안한 방식[19]으로 표현한 예 = 28
그림 3-15 단 3 도의 협화음으로 진행되는 곡의 예 = 29
그림 3-16 완전 5 도의 협화음으로 진행되는 곡의 예 = 29
그림 3-17 이문세의 ‘광화문 연가’에 대한 악보 = 31
그림 3-18 ‘광화문 연가’에 대해 제안하는 방식으로 음 높이 변화를 표현한 예 = 31
그림 3-19 음표의 길이에 따른 종류 및 표기 방법 = 32
그림 3-20 ‘광화문 연가’에 대해 제안하는 방식으로 음의 길이 변화 비율을 표현한 예 = 33
그림 3-21 ‘광화문 연가’에 대해 음 길이 변화 비율 표현 시 쉼표를 무시하는 경우 = 34
그림 3-22 ‘광화문 연가’에 대해 음 길이 변화 비율 표현 시 쉼표를 고려한 경우 = 35
그림 3-23 ‘광화문 연가’의 선율을 제안한 방식으로 표현한 예 = 36
그림 3-24 허밍 질의의 예 = 38
그림 3-25 디지털 음악 데이터베이스 내에 존재하는 곡의 일부분 = 38
그림 4-1 사용자에 의해 입력된 질의의 신호 형태 = 40
그림 4-2 G Haus 가 제안한 음 높이 정보 추출 단계 방법[30] = 41
그림 4-3 사용자에 의해 입력된 음성 정보의 시간축에 따른 에너지 변화 = 41
그림 4-4 MIDI 파일의 내부 구조 = 43
그림 4-5 화음이 존재하는 트랙을 악보로 표현한 예 = 45
그림 4-6 화음이 존재하지 않는 트랙을 악보로 표현한 예 = 45
그림 5-1 음 높이 근사화 단계 별 음 높이 분류 기준 = 47
그림 5-2 오류 개수 변화에 따른 근사화 방법들의 정확도 비교 = 48
그림 5-3 멜로디 추출 전후의 최다, 최소 트랙 개수 비교 = 49
그림 5-4 멜로디 추출 전후 평균 트랙 개수 비교 = 50
그림 5-5 멜로디 추출 후 남은 트랙 개수 별 곡의 수 = 50
그림 5-6 필터링 단계 별 유사도 비교에 걸린 평균 시간 = 53
그림 5-7 필터링 단계 별 검색 결과 정확도 비교 = 54
그림 5-8 음악 검색 방법 별 검색 결과 순위 비율 비교 = 55
표목차
표 2-1 음의 요소 및 설명 = 7
표 2-2 기존의 허밍 질의 기반 음악 검색 방법에서 사용된 유사도 비교 알고리즘의 종류 및 설명 = 14
표 3-1 원곡과 사용자의 입력에 대한 선율 패턴 비교 = 20
표 3-2 단 3 도, 완전 5 도를 기준으로 표현하는 방법에 대한 설명 및 예 = 22
표 3-3 허밍 질의의 특성 = 25
표 3-4 본 논문에서 제안하는 음 높이 변화에 대한 표현 방법 = 30
표 3-5 제안하는 음의 길이 변화 비율에 대한 표현 방법 및 설명, 예 = 32
표 3-6 제안하는 선율 정보 표현 방식 = 35
표 3-7 허밍 질의 및 두 곡의 선율을 제안한 방법대로 표현한 결과 = 38
표 5-1 검색 결과 순위 별 가중치 = 48
표 5-2 음악 검색 방법 별 선율 표현 방식, 유사도 비교 방법 및 복잡도 = 51
표 5-3 음악 검색 방법 별 유사도 비교 시 복잡도를 줄이기 위한 방법들 = 52
표 5-4 기존의 음악 검색 방법 및 제안하는 방법의 특징 = 56
