검색 상세

이질적인 데이터 소스들의 추적과 분석을 위한 준 실시간 데이터 웨어하우징 기법

Near Real-time Data Warehousing for Tracking and Analysis of Heterogeneous Data Sources

초록/요약

유비쿼터스화가 빠르게 진행됨에 따라 커뮤니케이션이 가능한 다양한 기기가 등장하고 있다. 더불어 정보화 수준이 고도화됨에 따라 이들로부터 생산되는 방대한 데이터들을 활용하고자 하는 요구가 커지고 있다. 대용량의 데이터를 실시간으로 추상화하고 다시 역추적할 수 있는 시스템에 대한 필요성이 증가하고 있다. 그러나 이러한 시스템에 대한 정의와 솔루션에 대한 논의가 부족한 실정이다. 이를 실시간 추적 분석 시스템(Real-time Tracking & Analysis System)으로 정의하고 ‘준 실시간 데이터 웨어하우스’를 효율적인 솔루션으로 제안한다. 실시간에 적합한 통합과 분석 방법을 제시하는 기존 연구들과 달리 데이터베이스 스키마 방안을 제시한다. 연속적인 스트리밍 데이터 처리에 있어 동적인 차원 문제와 차원 범위를 넘어선 추적성 확보 문제를 도출하였고 해결을 위해 전통적인 데이터 웨어하우징과 다른 설계를 제시하였다. 검증을 위해 구현된 내용을 기술한다. 본 논문에 기술된 시스템은 모 회사의 보안 시스템으로 구축되었다.

more

초록/요약

As Ubiquitous age coming, we have faced many kinds of digital equipments which can communicate. They are producing data anywhere and anytime. The data we can easily get than before and know the value of them. In the other hand they are too vast and diverse to control. But recently people more want to use the data. There are more needs for the real-time system which help us to abstract and track events. But we have no definition about which kind system and no efficient solution suggested. Current commercialized solutions can not support. In the thesis, we call the system as ‘Real-time Tracking and Analysis System (RTAS)’ and suggest ‘Modified Near Real-time Data Warehouse (DWH)’ as the efficient solution. There are related works. Mostly they have focused on speedy data integration and analysis on real-time environments. But we have focused database schema to solve real-time problems. We have found two problems. One is dynamic changes of dimensional data. The other is the need of tracking data above the dimensional range. We have proposed the different design from that of traditional data warehousing. To prove our suggestion, we have described the detail design and solution. Actually we have built the RTAS as security system, which have followed the architecture and method suggested in the thesis.

more