동기화 분석 지원을 위한 Bitmap Join Index 기반 개선된 Online Aggregation : An improved online aggregation method based on a bitmap join index for the syncronized analysis support
- 발행기관 서강대학교 정보통신대학원
- 지도교수 박석
- 발행년도 2007
- 학위수여년월 200702
- 학위명 석사
- 학과 및 전공 정보통신대학원
- 식별자(기타) 000000103526
- 본문언어 한국어
초록/요약
기존에 제시된 방법이 갖는 효과적이지 못한 fetch 방식의 속도와 불균형 분포 데이터에서의 오버플로우 문제 해결을 위해 Bitmap Join Index를 Online Aggregation에 적용해 보았다. 이 방법에서는 join을 선처리하기 때문에 실제 쿼리수행시에는 차원 테이블 스캔이 필요없다. 또한 Bitmap 값을 통해 사실 테이블만 필터링하면 된다. 그러므로 join이 미리 처리되어 있어 실제 쿼리 수행시에는 join 연산을 수행할 필요가 없기 때문에 불균형 분포 데이터에서도 효과적으로 사용할 수 있게 되고, 차원 테이블 접근 제거로 fetch 속도를 향상시킬 수 있게 되었다. 하지만 전체 데이터에 대해 Bitmap join index를 처리해 이를 위한 생성과 관리 비용이 크다. 또한 실제 쿼리 수행시에는 Bitmap 값 비교 후 임시 저장 데이터를 aggregation하는데 필요한 정렬과 그룹핑 비용도 증가하게 된다. 따라서 실체뷰의 개념을 활용해 predicate 를 만족하는 차원 테이블을 먼저 정제해내고, 정제된 차원 튜플과 사실 튜플과의 Bitmap join index 값을 구했다. 임시 테이블에는 전체 데이터 기준이 아닌 predicate 을 만족하는 차원 데이터만 저장되므로, predicate을 위한 연산을 제거할 수 있다. 또한 aggregation 을 하기 위한 데이터도 정제되어 있기 때문에 정렬에 드는 비용 또한 감소시킬 수 있었다. 기존 연구에서 제안된 Ripple, Hash join 기반 Online Aggregation 과 논문에서 적용시켜본 Bitmap join index 와 제안한 개선된 Bitmap join index 기반의 Online Aggregation 구현하여 실험,비교,평가해 보았다. 실험 결과, 비용과 속도 측면에서 논문에서 제안한 방식으로 구현한 Online aggregation 기법이 기존 방식에 비해 성능이 개선됨을 확인할 수 있었다.
more초록/요약
To slove problems of the prior study which has not acceptable speed to fetch data and the performance deterioration in the skewed data distribution, In the thesis, we proposed the method applying the Improved Bitmap join index. The Online Aggregation based on a Bitmap Join Index processes join job in advance. Therefore, when it execute query, the processor doesn''t need to join relations actually and only needs to read the Bitmap which was set before. and then it scans data only from fact table. Consequently the join job is completed before query execution so the Online Aggregation based on the Bitmap join index can work without any memory overflow even though in the skewed data distribution and also fetch fact data using bitmap efficiently. Additionally, we propose the mechanism based on the improved Bitmap join index which reduces the delay in the Online Aggregation base on the Bitmap join index. The Online Aggregation based on the Bitmap join index sets bitmaps all over the relations so the cost is high and the speed to sort for aggregation is slow. The proposed Online Aggregation based on the improved bitmap join index filters data from dimension table at first if the tuples are satisfied the predicate and inserts them into temp table and then sets Bitmap join index from temp table and fact table. Because temp table has only the one which is satisfied for the predicate, we don''t need to consider the predicate calculation any more. To set Bitmap is executed by ''groupby'' attribute. For that reason, this method also reduces the cost to sort for aggregation. In the thesis, we made the prototype for Online Aggregation based on the Ripple & Hash join which was proposed by Haas and applying the Bitmap join index & the proposed improved Bitmap join index to compare.In the result, we could see the improvement of speed and performance about the Online Aggregation using the improved Bitmap join index.
more