DevOps 성숙도 모델과 CMMI 통합을 통한 정량적 평가 프레임워크 개발 및 적용
Development and Practical Application of a Quantitative Evaluation Framework Integrating the DevOps Maturity Model and CMMI
- 주제어 (키워드) DevOps , 성숙도 모델 , 정량 평가 , CMMI , 조직 진단 , 소프트웨어 개발 프로세스 , 소프트웨어 운영 프로세스 , 실증 연구 , DevOps , Maturity Model , Quantitative Evaluation , CMMI , Organizational Diagnosis , Software Development Process , Software Operations Process , Empirical Study
- 발행기관 서강대학교 AI.SW대학원
- 지도교수 박수용
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 석사
- 학과 및 전공 AI.SW대학원 소프트웨어공학
- 실제 URI http://www.dcollection.net/handler/sogang/000000081680
- UCI I804:11029-000000081680
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
IT 서비스는 시간과 장소에 구애 받지 않는 모바일 및 웹 중심의 환경으로 변화하고 있으며, 이러한 서비스는 무 중단 운영과 동시에 빈번한 변경 및 신속한 배포가 요구된다. 특히 기능 개선 뿐만 아니라 보안성, 확장성, 신뢰성 등의 비 기능 요구사항에 대한 기대 수준도 높아지고 있다. 이와 같은 요구사항을 충족하기 위해 DevOps는 개발(Development)과 운영(Operation)을 통합하고 자동화함으로써 빠른 피드백과 안정적 서비스를 동시에 확보할 수 있는 접근법으로 자리매김하고 있다[2][3]. 그러나 DevOps 는 단순히 도입만으로 기대한 효과를 거두기 어렵다. 조직마다 DevOps에 대한 이해 수준, 도입 범위, 적용 방식 등이 상이하며, 이를 제대로 활용하고 있는지, 어느 수준에 도달해 있는지를 객관적으로 측정할 수 있는 체계가 미흡하다. 또한 기존의 IT 서비스 운영 표준(예: ISO/IEC 20000, ITIL 등)은 절차 중심의 접근법으로 DevOps의 민첩성과 실험 중심 철학과 상충되는 측면이 존재한다[4]. 이에 따라 조직은 DevOps 를 운영하면서도 기존 프로세스와의 갈등, 성과 측정의 어려움, 개선 방향 설정의 불명확성 등의 문제에 직면하게 된다. 이러한 문제를 해결하기 위해 본 연구에서는 DevOps 성숙도 진단을 위한 정량적 평가 프레임워크를 제안하였다. 본 프레임워크는 기존 DevOps 성숙도 모델들 중에서 구조가 체계적이며 현실 반영도가 높은 Bucena DevOps Maturity Model을 기반으로 설계하였다[8]. 특히, 기존 DevOps 모델이 개념적 설명 중심이라는 한계를 극복하기 위해 본 연구는 CMMI(Capability Maturity Model Integration)의 성숙도 측정 기법을 접목하였다. 각 영역별로 정의된 실행 항목(Practice)에 대해 정량적인 평가 지표를 부여함으로써 조직의 DevOps 운영 수준을 가시적으로 확인할 수 있도록 하였다. 또한, 등급별로 요구되는 주요 실천 항목을 사전에 정의하고, 이를 체크리스트 및 스코어링 시트로 구성하여 조직별 평가의 객관성과 일관성을 확보하였다. 제안된 프레임워크는 국내 IT 산업에 속한 네 개의 조직(A사, B사, C사, D 사)에 실증 적용되었다. 진단 결과에 따르면 대부분의 조직은 기술 및 인적자원 측면에서 Level 3(Defined)까지는 도달하였으나, 프로세스 정량 관리 및 문화적 내재화 수준에서 차이를 보이며 Level 4(Quantitatively Managed)에서는 편차가 뚜렷하게 나타났다. 특히, 조직 규모가 작지만 DevOps를 전사적으로 빠르게 도입한 기업은 높은 수준의 정착도를 보인 반면, 규모가 크지만 적용 범위가 제한적인 대기업의 경우 내재화 속도는 상대적으로 더디었다. 이는 DevOps 의 정착이 조직 규모보다 실제 도입 방식과 커뮤니케이션 구조에 더 큰 영향을 받음을 시사한다. 또한, 제안된 프레임워크의 유효성과 실용성을 검증하기 위해 실무자 및 전문가를 대상으로 설문조사를 실시하고, 연구 가설을 설정하여 검증하였다. 설정된 세부 가설(H1-1, H2-1, H3-1)은 모두 기준 비율(75~85%)을 초과하여 적정함을 입증하였으며, 이를 통해 제안된 프레임워크가 조직의 DevOps 운영 현실을 정확히 반영하고, 구성요소 및 정량화 방법이 적정하며, 실용성과 적용 가능성을 갖춘 신뢰성 있는 평가 도구임을 실증적으로 확인할 수 있었다. 본 연구의 의의는 다음과 같다. 첫째, 정량적 접근을 통해 DevOps 의 주관적 해석 문제를 해소하고, 성숙도 수준을 수치적으로 비교할 수 있는 기반을 마련하였다. 둘째, CMMI의 실천 지향적 평가 방식을 접목함으로써 진단 결과의 신뢰성과 재현성을 확보하였다. 셋째, 실제 조직에 프레임워크를 적용하고, 실무자 및 전문가들의 평가를 통해 실증적 유효성을 확보함으로써 현실 적합성과 실용성을 모두 갖춘 평가 모델을 제시하였다. 향후 연구에서는 DevOps의 최적화 수준(Level 5: Optimized)까지 포괄하는 확장형 진단 모델 개발, 기술 트렌드 반영을 위한 실행 항목(프랙티스)의 지속적인 보완, 자동화 기반 진단 도구 구축 등을 통해 본 프레임워크의 범용성과 확장성을 더욱 강화할 수 있을 것으로 기대된다. 또한, 반복 진단을 통한 DevOps 성숙도의 향상 추이를 지속적으로 측정하는 구조로 발전시킬 수 있을 것이다.
more초록 (요약문)
The IT service environment is evolving into a mobile- and web-centric ecosystem that demands uninterrupted operations, frequent changes, and rapid deployments regardless of time and location. In addition to functional improvements, the expectations for non-functional requirements such as security, scalability, and reliability are also increasing. To meet these demands, DevOps has established itself as an approach that integrates development (Development) and operations (Operation), enabling rapid feedback and stable service delivery through automation [2][3]. However, simply adopting DevOps does not guarantee the desired outcomes. Organizations differ in their level of understanding, scope of adoption, and methods of applying DevOps, and there is a lack of systematic frameworks to objectively measure their maturity levels. Moreover, existing IT service management standards (e.g., ISO/IEC 20000, ITIL) often conflict with the agile and experimental nature of DevOps [4], creating challenges in performance measurement and improvement planning. To address these challenges, this study proposes a quantitative evaluation framework for diagnosing DevOps maturity. The framework is based on the Bucena DevOps Maturity Model, which is structurally well- organized and realistically grounded [8]. In particular, to overcome the limitations of conventional conceptual models, this study incorporates the quantitative evaluation methodology of CMMI (Capability Maturity Model Integration). Execution practices are systematically defined by domain, and quantitative evaluation indicators are assigned, enabling organizations to objectively assess their DevOps operational maturity. Key practices are structured into checklists and scoring sheets to ensure evaluation objectivity and consistency across organizations. The proposed framework was empirically applied to four organizations (A, B, C, and D companies) within the Korean IT industry. The results showed that most organizations reached Level 3 (Defined) maturity in terms of technology and human resources, but variations appeared at Level 4 (Quantitatively Managed) in process management and cultural internalization. Notably, smaller organizations that adopted DevOps across the enterprise achieved a higher degree of integration, while larger organizations with limited application scopes showed slower internalization rates. This implies that the success of DevOps adoption is more influenced by adoption strategies and communication structures than by organizational size. Additionally, the study conducted a survey targeting practitioners and experts to validate the framework's effectiveness and applicability, establishing research hypotheses and verifying them through empirical analysis. All established sub-hypotheses (H1-1, H2-1, H3-1) exceeded the set threshold ratios (75–85%), demonstrating that the proposed framework accurately reflects the operational realities of organizations, is appropriately structured, and is a reliable and practical evaluation tool. The contributions of this study are as follows: First, by adopting a quantitative approach, it resolves the subjectivity problem in interpreting DevOps maturity and establishes a basis for numerical comparison across organizations. Second, by integrating CMMI's practice- driven evaluation methodology, it enhances the reliability and reproducibility of the diagnostic results. Third, through empirical application and practitioner/expert validation, the study proposes a practically viable evaluation model that satisfies both real-world applicability and theoretical rigor. Future research should focus on developing an extended diagnostic model that includes Level 5 (Optimized) maturity, continuously supplementing execution practices to reflect emerging technology trends, building automated diagnostic tools, and establishing a structure for tracking DevOps maturity improvement trends through repeated evaluations.
more목차
제 1 장. 서론 1
제 1 절. 연구배경 및 목표 1
제 2 절. 연구 방법 3
제 3 절. 논문의 구성 5
제 2 장. 관련연구 및 이론배경 7
제 1 절. DEVOPS의 개념과 역사 7
제 2 절. IT 서비스 관리 국제 표준과 DEVOPS간의 차이 8
제 3 절. DEVOPS 성숙도 모델(MATURITY MODEL) 10
제 4 절. CMMI 모델 17
제 3 장. DEVOPS 성숙도 평가 프레임워크 개발 21
제 1 절. DEVOPS 성숙도 모델 과 CMMI 모델 통합 21
제 2 절. DEVOPS 성숙도 평가 프레임워크 24
제 3 절. DEVOPS 성숙도 평가 도구 31
제 4 절. 구현된 DEVOPS 성숙도 평가 도구 특징 38
제 4 장. 사례 연구 39
제 1 절. DEVOPS 성숙도 진단 39
제 2 절. 성숙도 진단 실효성 검증 55
제 5 장. 결론 및 과제 76
제 1 절. 결론 및 시사점 76
제 2 절. 연구의 한계 및 향후 연구과제 77
부록 1. 스코어링 시트 79
부록 2. 인터뷰 질문지 89
부록 3. 설문조사 질문지 95
부록 4. 설문조사 결과 104
참고 문헌 113
