Energy and Latency Co-aware Management Techniques for GPU-based Stream Processing Systems
GPU 기반 스트림 처리 시스템에서의 에너지와 지연시간 공동 인지 관리 기법
- 주제어 (키워드) Energy Efficiency , SPS , Machine Learning , DVFS; 에너지 효율 , 스트림 처리 시스템 , 기계 학습 , 동적 전압 주파수 스케일링
- 발행기관 서강대학교 일반대학원
- 지도교수 박성용
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000079378
- UCI I804:11029-000000079378
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
In modern GPU-based Stream Processing Systems (SPS), efficiently managing power consumption while maintaining low latency and high throughput is essential for sustainable and real-time processing. Previous research has achieved significant performance improvements by leveraging the exceptional computational capabilities of GPUs. However, these studies have often overlooked the additional power consumption caused by GPU usage, leaving a gap in system efficiency from an energy efficiency perspective. In particular, recent attempts to integrate ML models into SPS for prediction-based system performance optimization have further increased GPU power consumption, exacerbating this inefficiency. Addressing the limitations of existing solutions, we introduce Equilibria, an novel management framework for the modern GPU-based SPS, which leverages Dynamic Voltage and Frequency Scaling to dynamically adjust GPU clock frequencies based on real-time process- ing demands. Equilibria employs a novel Pareto optimization strategy to balance latency and energy, dynamically selecting GPU clock frequencies that satisfy user-defined latency and power constraints. Additionally, we introduces a two-tier threshold training management technique that pauses model training when unnec- essary to conserve energy. Our evaluation demonstrates that Equilibria achieves maximum 58% substantial energy savings without sacrificing latency, setting a new standard for energy-efficient and responsive GPU-based stream processing.
more초록 (요약문)
최신 GPU 기반 스트림 처리 시스템(SPS)에서는 짧은 지연 시간과 높은 처리량을 유지하면서 에너지 소비를 효율적으로 관리하는 것이 지속 가능한 실시간 처리를 위해 필수적이다. 이전 연구에서는 GPU의 뛰어난 연산 능력을 활용하여 상당한 성능 향상을 달성했다. 하지만 이러한 연구는 GPU 사용으로 인한 추가 전력 소비를 간과하는 경우가 많아 에너지 효율성 측면에서 시스템 효율성에 공백을 남긴다. 특히, 최근 예측 기반 시스템 성능 최적화를 위해 ML모델을 SPS에 통합하려는 시도는 GPU 전력 소비를 더욱 증가시켜 이러한 비효율성을 더욱 증대시켰다. 이러한 기존 솔루션의 한계를 해결하기 위해 우리는 동적 전압 및 주파수 스케일링을 활용하여 실시간 처리 수요에 따라 GPU 클럭 주파수를 동적으로 조정하며 GPU 기반 SPS 시스템을 관리하는 프레임워크인 Equilibria를 제안한다. Equilibria는 지연 시간과 에너지의 균형을 맞추기 위해 새로운 파레토 최적화 전략을 채택하여 사용자가 정의한 지연시간과 전력 제약을 충족하는 GPU 클럭 주파수를 동적으로 선택한다. 또한 정확도 요구 사항이 충족되면 모델 학습을 일시 중지하고 필요할 때만 재개하는 2단계 임계값 학습 관리 시스템을 도입하여 에너지를 절약한다. 평가 결과, Equilibria는 지연 시간의 희생 없이 최대 58%의 실질적인 에너지 절감을 달성하여 에너지 효율적이고 반응성이 뛰어난 GPU 기반 스트림 처리의 새로운 표준을 제시한다.
more목차
Chapter 1. Introduction 1
Chapter 2. Background and Motivation 5
2.1 GPU energy efficiency 5
2.2 Pareto Optimality 6
2.3 Motivation 7
Chapter 3. Design and Implementation 11
3.1 Design Challenges 11
3.2 Overview of Equilibria 12
3.3 Pareto Optima Technique for GPU DVFS 15
3.4 Two-tier Threshold Training Management 22
Chapter 4. Evaluation 25
4.1 Evaluation Setup 25
4.2 Overall Performance Analysis 27
4.3 Performance under various constraints 30
4.4 Comparison with other Pareto Optima Algorithm 31
4.5 Training GPU Power Consumption 33
Chapter 5. Related Work 35
Chapter 6. Conclusion and Future Work 38
Reference 39
