검색 상세

웹 로그 데이터의 효과적인 프로세싱 방법

An Effective Web Log Data Processing Method

초록/요약

과거 웹 로그 분석을 통해 얻을 수 있었던 분석 결과에 비해 지금의 웹 분석 도구의 분석 기능은 비교하기 힘들 정도로 발전을 하였고 편리 기능도강화 되었다. 이러한 이유로 웹 분석 도구의 도입을 통해 e-Business의 성과를 하루 아침에 개선 할 수 있을 것으로 기대를 하고 있다. 그러나 분석 데이터에 대한 결과는 정확한 데이터 추출의 객관성을 기대하기에는 많은 한계를 가지고 있다. 이러한 통계 데이터의 추출 도구로써 다양한 웹 로그 분석 도구를 사용하고 있다. 그러나 그 종류에 따라 다양한 데이터 처리 방식을 사용하고 있으며 이러한 웹 로그 분석 도구의 데이터 처리방식은 일반적으로 적재된 웹 로그 파일을 기준으로 분석이 이루어지고 있는데 정확한 데이터의 판별이 어렵기 때문에 웹 분석 도구의 선택 또한 쉽지 않다. 이로 인하여 마케팅 및 정확한 데이터의 추출에 대한 객관성 확보를 할 수가 없다. 이러한 문제로 인하여 웹 로그 분석 도구간의 데이터 처리방법, 데이터 병합, 기타 웹 로그 데이터 핸들링 기법들이 다양하게 활용되고 있다. 그러나 데이터의 결과에 대한 만족할 만큼의 성과를 얻지 못하는 이유로 데이터 추출방법에서 큰 차이를 보이고 있다. 대용량의 웹 로그 데이터를 하루 단위 또는 주 단위, 월 단위로 저장된 데이터를 기준으로 로그 데이터를 추출하는데 있어서 대용량의 로그 파일을 분석 프로그램이 분석 서버로 전송을 하고, 전송된 로그 파일을 오픈한 후에 데이터베이스에 저장을 하는 프로세스로 통계 데이터를 쌓게 된다. 이러한 일련의 프로세스에 대해서 대용량 웹 로그 데이터의 적재에 대한 문제, 적재된 웹 로그 파일을 분석 서버로 전송 할 때의 시간상의 문제, 그리고 웹 로그 파일을 오픈 후 데이터베이스에 저장할 때의 저장에 대한 문제가 발생한다. 이 문제를 해결하기 위한 웹 로그 데이터의 효율적인 프로세싱 방법으로 하루 단위 또는 주간 및 월간 단위로 적재를 하는 단계를 웹 로그 파일의 크기를 일정 크기로 나누어 적재를 함으로써 대용량 파일 처리에 대한 해결책을 찾고자 한다. 이때 생기는 문제로써 웹 로그 파일의 크기를 어떤 기준으로 얼마의 크기로 나눌 것인가에 대한 웹 로그 파일에 대한 크기를 결정하는 기준에 대해서 연구 할 것이다. 그리고 파일의 크기를 결정하기 위해서 분석 서버로 전송하는데 걸리는 시간과 분석 서버로 전송된 파일에 대해서 데이터베이스에 저장되는 최소의 시간을 구해서 웹 로그 데이터의 효과적인 처리 방법에 대한 연구를 하고자 한다.

more

초록/요약

Compare to the result derived from the Web Log Analysis in the past, current web analysis tools has evolved incomparably and improved in terms of the convenience. Due to the situation, a great improvement in performance in the E-Business in the short term is expected. However, the result has a limitation that the result cannot guarantee the objectivity in extraction of the accurate data. Various Web Log Analysis tools are used to extract such statistical data. However, even choice of Web Analysis tool is a difficult task because of the following reasons. Firstly, each tool uses its own data processing method. Secondly, it is hard to identify accurate data from the loaded Web Log File which is the function as a Data Processing Method for the Web Log Analysis tools. Because of that, it is hard to obtain objectivity in extraction of marketing and accurate data. Due to the problems, various Data Processing Method between Web Log Analysis tools, data consolidation, and other Web Log Data handling techniques are in use. The unsatisfactory data result is mainly due to the difference in the data extraction. In order to extract massive Web Log Data on a dialy, weekly, or monthly basis, the statistical data should be accumulated by analysis tools transferring the log file to the analysis server, then open and save the transferred Web Log File into the server. Some technical problems are expected during the sequence of the process. The examples are accumulation of the massive Web Log Data, time delay in transferring accumulated Web Log File to the analysis server, and open and save the Web Log File into the server. In order to solve these problems in processing massive Web Log Data, efficient processing method can be implemented. It can be done by loading Web Log Files, which is loaded by daily, weekly, or monthly basis, in a fixed size. The questions are which ideal size for the Web Log File is, and how to decide the size. The study of the size of Web Log Files will be conducted in this article. To determine the ideal size of the file, transferring time to the analysis server and the time spending on saving the transferred Web Log File should be measured. The ideal size of the file is determined at the point where the sum of the transferring time and the saving time on the server is minimized. The aim of this research is to determine the appropriate size of the file to transfer the file to the analysis server and store it in the database efficiently so that we can find out the most ideal Processing Method of Web Log Data.

more
반출 Meta View 목록