검색 상세

Beyond Entropy: Re-measuring Entropy via Similarity Aggregation for Full-distribution Aware Active Learning

유사도 집계 기반 엔트로피 재측정을 통한 능동 학습 기법에 관한 연구

  • 전주현 (서강대학교 일반대학원)

초록(요약문)

능동 학습은 데이터 주석 효율을 극대화하기 위해 모델 성능 향상에 가장 효과적인 샘플을 선택하는 학습 방법론이다. 기존 능동 학습 기법들은 클래스별 저신뢰도 샘플이 특정 학습 단계에서 해당 클래스에 대한 모델의 내재적 취약성을 반영한다는 점을 간과한다. 또한, 기존 방법들은 높은 엔트로피를 가진 샘플을 선택하는 데 집중하기 때문에, 현재 모델의 학습 상태에서 주어진 문제를 해결하는 데 필수적인 차별적 정보를 지닌 샘플과 불필요하게 중복되는 샘플을 구별하지 못하는 경우가 많다. 따라서 본 연구는 저신뢰도 샘플들이 얽혀 있는 특징 공간에서 클래스별로 차별성을 지닌 샘플을 선택하는 것을 목표로 한다. 높은 엔트로피를 가지면서 동시에 차별성을 띠는 샘플들은 오분류될 가능성이 매우 높으므로, 우선적인 주석 작업이 요구된다. 구체적으로, 본 논문에서는 다양성 집계 기반 엔트로피 （Diversity Aggregation Entropy, DAE）와 학습 상태 인식 선택 （Learning State-aware Selection, LSS）이라는 두 가지 핵심 요소를 결합한 새로운 샘플 선택 전략을 제안한다. DAE는 의사 레이블링을 기반으로, 저신뢰도 샘플과 전체 미레이블 데이터 집합 간의 임베딩 공간 내 클래스별 유사도를 집계한다. 이때 차별성의 척도로서, 저신뢰도 샘플이 다른 모든 데이터 포인트들로부터 균일하게 떨어져 있을수록 더 높은 선택 우선순위를 부여한다. LSS는 모델의 예측 신뢰도를 바탕으로 해당 클래스가 강한 군집 강도를 보일 때, 높은 DAE 값을 가진 샘플의 선택 우선순위를 더욱 가중시킨다. 벤치마크 데이터셋을 통한 실험 결과, 제안하는 방법은 기존 최신 기법 대비 분류 정확도를 최대 2.3% 향상시켰음을 확인하였다.

more

초록(요약문)

Active learning （AL） selects samples, called queries, that are most effective in improving model performance to maximize annotation efficiency. Existing AL methods overlook that class-wise low confidence samples reflect the model's inherent weaknesses for each class at its given stage of training. In addition, they often fail to distinguish between unique and redundant samples for solving the given task at the model’s learning state, as they concentrate on selecting high entropy samples. Thus, we aim to select class-wise unique samples in a feature space where the low confidence samples are massively entangled. The unique samples with high entropy are highly likely to be misclassified, thus it is necessary to be annotated. Specifically, we propose two selection priorities: diversity aggregation entropy （DAE） and learning state-aware selection （LSS）. DAE aggregates class-wise similarities in embedding space between low-confidence samples and entire unlabeled pools based on the pseudo labeling. Here, we assign a higher selection priority to the low-confidence samples when they are uniformly distant from all other data points, as a measure of uniqueness. LSS increases the selection priority of samples with high DAE, especially when the predicted class exhibits strong clustering strength based on the model’s confidence. Experimental results show that the proposed method improves the classification accuracy over the existing state-of-the-art （SOTA） method by up to 2.3% on the benchmark datasets.

more

목차

I Introduction 1
II Preliminary 6
2.1 Active Learning （AL） Procedures 6
2.2 Uncertainty-based Methods 7
2.3 Diversity-based Methods 8
2.4 Hybrid and Curriculum-based Methods 9
III Proposed Method 10
3.1 Overview of the Proposed Method 10
3.2 Global and Local Confidence Thresholding 11
3.2.1 Global threshold value 12
3.2.2 Local threshold value 13
3.3 Diversity Aggregation Entropy （DAE） for Misclassification Risk Estimation 14
3.4 Learning State-aware Selection （LSS） for Class-wise Unique Sample Querying 17
3.5 Overall Active Scoring Metric 18
3.6 Self-Reinforcing Loop via Training Dynamics-based Optimization 18
3.6.1 Optimization objective 19
3.6.2 Synergy with the proposed query strategy 20
IV Experimental Results 21
4.1 Experimental Setup 21
4.1.1 Datasets 21
4.1.2 Active learning setting 22
4.1.3 Baseline 22
4.1.4 Implementation details 23
4.1.5 Evaluation details 24
4.2 Results on Balanced Dataset 24
4.3 Results on Imbalanced Datasets 27
4.3.1 Synthetically imbalanced datasets 27
4.3.2 Real-world imbalanced datasets 27
4.4 Ablation Studies 29
4.4.1 Impact of individual components and their integration （DAE ＆ LSS） 29
4.4.2 Robustness analysis 30
4.4.3 Sensitivity analysis of the weighting coefficient （λ） 33
4.5 Visualization of Queried Samples by t-SNE 33
4.6 Analysis of Computational Efficiency 38
4.7 Analysis on Candidate Set Size 39
V Conclusion and Discussion 41
5.1 Limitations 41
5.2 Future Work 42
Bibliography 43

more
반출 Meta View 목록