ECO-KVS : 엣지 연합 환경에서 LSM-KVS를 위한 에너지 인지적인 Compaction 재배치 메커니즘
ECO-KVS: Energy-Aware Compaction Offloading Mechanism for LSM-KVS in Edge Federations
- 주제어 (키워드) 엣지 컴퓨팅 , 엣지 연합 , 분산 컴퓨팅 , 키-값 저장소 , 에너지 효율성 , Edge Computing , Edge Federation , Distributed Computing , LSM-tree , Key-Value Stores , LSM-KVS , Energy Efficiency
- 발행기관 서강대학교 일반대학원
- 지도교수 박성용
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000079381
- UCI I804:11029-000000079381
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
최근, 지속적으로 발생하는 실시간 데이터를 빠르게 처리하기 위해 엣지 컴퓨팅(Edge Computing) 환경에서 Log-Structured Merge-tree기반 키-값 저장소(LSM-KVS)를 채택하고 있다. LSM-KVS는 영속적인 데이터 저장방식(Append-only Manner)을 사용하여 높은 쓰기 성능을 갖는다. 영속적인 데이터 저장방식은 지속적으로 파일이 증가하기 때문에 읽기 성능이 떨어질 수 있다. 이를 해결하기 위해 LSM-KVS는 읽기 성능을 위해 중복된 데이터를 제거하고 정렬하여 새로운 파일을 만드는 compaction 작업을 수행한다. 이때, compaction 작업의 처리의 지연은 LSM-KVS의 대표적인 문제인 쓰기 지연(Write Stall)을 유발하여 LSM-KVS의 성능을 감소시킨다. 특히 클라우드(Cloud Computing) 환경에 비해 자원이 제한적인 엣지 컴퓨팅 환경에서 이러한 문제는 더욱 빈번하게 발생하며, 이는 실시간성이 중요한 실시간 스트리밍(Streaming) 데이터 처리 시스템 전체의 성능 저하로 이어질 수 있다. 한편, 엣지 서버(Edge Server)의 컴퓨팅 자원 한계를 극복하기 위해 엣지 서버 간 작업 재배치를 통해 자원 및 연산 효율을 증대시키는 아키텍처(Architecture)인 엣지 연합(Edge Federation)이 등장하였다. 하지만 compaction은 I/O를 동반한 연산 집약적인(Compute-Intensive) 작업으로 잘못된 재배치 요청시, compaction을 수행하는 서버의 CPU 부하를 증가시켜 전체 시스템 성능 저하 및 compaction 처리 시간 지연을 초래할 수 있다. 또한 compaction 재배치로 인한 에너지 소비 증가는 에너지 효율성이 중요한 엣지 환경에서 문제로 작용할 수 있다. 따라서 compaction의 특징과 엣지 서버의 가용가능한 자원 및 compaction 처리 시간, 에너지 소비를 고려한 재배치(Offloading) 알고리즘이 필요하다. 이는 엣지 서버 간 compaction 재배치에서 직면하는 주요 과제이다. 본 논문에서는 엣지 연합 환경에서 LSM-KVS의 compaction을 효율적으로 재배치 할 수 있는 메커니즘인 ECO-KVS를 제안한다. ECO-KVS는 가용가능한 자원과 연산 능력을 고려하여 엣지 서버 간 compaction을 에너지 효율적으로 재배치한다. 이를 통해 전체 자원 효율을 증대시키고 compaction 처리 시간을 단축하여 LSM-KVS의 성능을 향상시킨다. 또한, ECO-KVS는 선형 회귀(Linear Regression) 기반 ML(Machine Learning) 모델을 채택하여 서버 간 compaction 처리 시간 및 에너지 소비를 예측 및 비교한다. ECO-KVS는 대표적인 LSM-KVS인 RocksDB v8.3.2에서 구현되었으며, 기존 RocksDB와 비교했을 때 에너지 소비는 오차범위 내를 유지하며, 쓰기 지연은 평균 68.2% 감소했고, 처리율은 평균 8.3% 향상되었다. 또한 엣지 연합 환경에서 compaction 재배치 매커니즘의 SOTA(State of The Art)인 EdgePilot 비해 처리율은 4% 상승하였고, 에너지 소비율은 6.2% 감소하였다.
more초록 (요약문)
Recently, Log-Structured Merge-tree-based Key-Value Stores (LSM-KVS) have been widely adopted in edge computing environments to process continuously generated real-time data efficiently. LSM-KVS leverages an append-only persistent storage method, ensuring high write performance. However, this storage approach may degrade read performance due to the continuous accumulation of files. To address this, LSM-KVS performs compaction, which removes duplicate data, sorts it, and creates new files, enhancing read performance. However, delays in the compaction process can cause write stalls, a well-known issue in LSM-KVS, leading to significant performance degradation. This problem becomes more severe in edge computing environments, where resources are limited compared to cloud computing. Consequently, the entire real-time streaming data processing system may experience performance bottlenecks. To overcome the computational limitations of edge servers, Edge Federation, an architecture that improves resource and computation efficiency through task reallocation among edge servers, has emerged. However, compaction is an I/O-intensive and compute-intensive task. Incorrect offloading decisions can increase CPU load on the server performing the compaction, leading to system-wide performance degradation and compaction delays. Therefore, an offloading algorithm that considers compaction characteristics, available resources, and compaction processing times is essential. This poses a major challenge in compaction offloading within edge federations. This paper proposes ECO-KVS, a mechanism designed to efficiently offload LSM-KVS compaction tasks in edge federation environments. ECO-KVS considers available resources and computational capacities to offload compaction tasks energy efficiently among edge servers. This approach enhances overall resource efficiency, reduces compaction processing time, and improves LSM-KVS performance. Additionally, ECO-KVS employs a Machine Learning (ML) model based on Linear Regression to predict and compare compaction processing time and energy consumption among servers. We implemented ECO-KVS on RocksDB v8.3.2, a representative LSM-KVS. Compared to the original RocksDB, ECO-KVS maintained energy consumption within the margin of error, reduced write stalls by an average of 68.2%, and improved throughput by an average of 8.3%. Furthermore, compared to EdgePilot, the state-of-the-art compaction offloading mechanism in edge federation environments, ECO-KVS achieved a 4% increase in throughput and a 6.2% reduction in energy consumption.
more목차
제 1 장 서론 1
제 2 장 배경지식 및 기존 연구 4
2.1 엣지 컴퓨팅 및 엣지 연합 4
2.2 Log-Structured Merge-Tree 6
2.3 기존 연구 8
제 3 장 연구 동기 11
3.1 Compaction 재배치로 인한 처리율 증가 11
3.2 Compaction 재배치로 인한 에너지 소비 증가 12
3.3 불필요한 Compaction 재배치 14
제 4 장 ECO-KVS 설계 16
4.1 해결해야 할 과제 16
4.1.1 쓰기 지연을 유발하는 Compaction 재배치 16
4.1.2 성능과 에너지를 함께 고려한 재배치 서버 결정 17
4.2 문제 정의 18
4.3 모델링 19
4.3.1 쓰기 지연 예측 모델 19
4.3.2 compaction 수행 시간 및 에너지 소비 예측 모델 21
4.4 ECO-KVS 아키텍처 22
4.4.1 Local System 22
4.4.2 Global System 24
4.4.3 ECO-KVS 시스템 시나리오 27
제 5 장 실험 및 평가 28
5.1 실험 환경 설정 28
5.2 성능 평가 및 분석 30
5.2.1 ECO-KVS 시스템 성능 분석 30
5.2.2 자기 평가 및 성능 분석 34
제 6 장 결론 38
참 고 문 헌 39
