대용량 DB 데이터의 일괄 이관에 대한 효율적 방안 연구 : A Study on the Efficient Way for Batch Import of Data in Large Database
초록/요약
빅데이터와 AI가 주를 이루는 4차산업혁명 시대에 예전부터 IT는 지속적으로 발전해오고 데이터는 더욱 방대해졌다. 그리고 기관들 간의 데이터들도 시스템을 통하여 서로 공유하는 시대가 되었다. 차세대 정보시스템 사업을 시작된 후에, 정보시스템을 운영하면서부터 10년 또는 그 이상 사용을 해야하는 상황과 각 기관의 상황을 고려해서 외부기관에서 연계하여 회신 받아온 데이터를 신속하게 운영시스템으로 이관하여 업무에 의미 있는 데이터로 변환하고 어떻게 서비스를 할 것인지가 관건이 되었다. 다시 말해서 년, 반기, 월, 일 주기적 데이터 연계, 1회성으로 끝나는 데이터 연계로 각 기관에서 자료 연계 시 한번에 수천만 건 이상의 데이터를 회신 받을 때 이것을 운영 서버로 신속히 이관시키는 방법이 필요하다는 것이다. 2016년 기준 한국 IDC에서 국내 RDBMS 점유율을 조사한 결과, ORACLE이 50% 를 넘겼다. 이것은 ORACLE이 대중적인 DBMS라고 볼 수 있으며, 국내 기업에서 대중적으로 사용되고있는 ORACLE 환경에서 연구를 한다. 외부 기관으로부터 내부 연계 서버로 파일 또는 DB 자료로 연계하여 회신 받아온 데이터를 운영 DB서버로 이관 할 때 ORACLE에서 EXPORT와 IMPORT를 하기 위해서 제공되는 Sql Loader, DATAPUMP, EXP/IMP, SPOOL 기능과 물리적으로 분리된 DB 를 DBLINK 로 연결하여 데이터 이관 하는 방법, 그리고 FTP를 이용하여 파일 전송을 하는 방법을 이용한다. 그 결과, DBLINK를 이용한 전송 방법과 FTP 파일 전송 방법만을 비교했을 때 FTP를 이용한 파일 전송 시간이 방법이 더 빨랐으며, 연구한 여섯 가지 방법 중 DATAPUMP를 이용하는 것이 가장 빠르다는 것을 알 수 있었다.
more초록/요약
IT has been constantly evolving from the past and data has become more massive in the era of the Fourth Industrial Revolution mainly dominated by Big Data and AI. And it has become an era when data among institutions is also shared from each other through systems. After the launch of the next generation information system, the situation that it is required to be used for more than 10 years after its operation start and the way to serve the data in the operating systems where it is converted into the meaningful data for the tasks of the stakeholders after the responded data from the external institutions linked in consideration of the situation of each institution has been imported rapidly into the operating systems have become the key issues. In other words, when more than tens of millions of data at a time are responded from each of the institutions whose data is linked periodically, i.e., yearly, quarterly, monthly and daily or one time, it is considered necessary to provide a rapid way to import them into the operating servers. According to a survey result by IDC Korea about domestic RDBMS market shares as of 2016, Oracle accounted for over 50%. This can be considered that Oracle DBMS is popular and this study is conducted in the environment of Oracle DBMS which is popularly used in domestic companies. When the operating database servers import the responded data from the external institutions whose files or database data is linked with their corresponding internal servers, Sql Loader, DATAPUMP, EXP/IMP and SPOOL function that Oracle supports for export and import, the method to import data by linking the physically separate database through DBLINK and the file transfer method using FTP are used. According to the result, when the transfer method using DBLINK was compared only with the file transfer method using FTP, the latter was faster than the former and it was possible to find out that using DATAPUMP was the fastest among the 6 studied methods above.
more