기술이야기 | 브레인즈컴퍼니

주메뉴 바로가기 본문 바로가기

메인 페이지로 이동
블로그
기술이야기

블로그

기술이야기

기술이야기 효과적인 쿠버네티스 모니터링을 위한 6가지 고려사항 기술이야기 효과적인 쿠버네티스 모니터링을 위한 6가지 고려사항 컨테이너 오케스트레이션 플랫폼인 쿠버네티스(Kubernetes, K8s)는 자동화된 확장성과 자가 복구 기능을 통해 서비스의 안정성과 운영 효율성을 높이는 장점이 있습니다. 따라서 다양한 마이크로서비스 아키텍처(MSA)와 클라우드 환경에서 널리 활용되고 있습니다. 그러나 쿠버네티스는 파드(Pod), 노드(Node), 네트워크 등 각 요소가 끊임없이 동적으로 변화하며 상호작용하는 복잡한 구조이기 때문에, 체계적이고 세밀한 모니터링 없이는 운영에 어려움을 겪을 수 있습니다. 그렇다면 효과적인 쿠버네티스 모니터링을 위한 필수 고려사항은 무엇인지 6가지로 나눠서 알아보겠습니다. [1] 파드 및 컨테이너 모니터링 파드(Pod)와 컨테이너는 쿠버네티스에서 애플리케이션이 실행되는 가장 기본적인 단위이자 핵심 구성 요소입니다. 따라서 애플리케이션의 가용성과 성능을 안정적으로 유지하기 위해서는 각 파드와 컨테이너의 상태를 정밀하게 모니터링 하는 것이 중요합니다. 파드가 제대로 스케줄링되지 않거나, 컨테이너가 크래시 루프(CrashLoopBackOff) 상태에 빠지면 애플리케이션 성능이 저하되거나 서비스가 중단될 수 있습니다. 이러한 문제를 사전에 방지하려면 각 파드의 CPU, 메모리 사용량, 네트워크 I/O와 같은 자원 사용 현황을 실시간으로 모니터링하는 체계가 필요합니다. 특히, 자원 사용량을 지속적으로 추적하여 비정상적인 사용 패턴이나 과부하 상태를 사전에 감지하는 것이 중요합니다. 또한, 쿠버네티스의 오토스케일링(Auto-Scaling) 기능과 연계된 모니터링 솔루션을 통해 파드가 실시간 트래픽 변화에 맞춰 자동으로 확장 또는 축소될 수 있도록 설정하는 것이 자원 효율성 측면에서도 유리합니다. 이와 같은 종합적인 모니터링 솔루션은 파드와 컨테이너의 상태 변화에 대한 정확한 정보를 제공하고, 문제가 발생하기 전에 이를 사전에 탐지하고 대응할 수 있는 능력을 제공합니다. [2] 클러스터와 노드 상태 모니터링 쿠버네티스 클러스터는 다수의 노드로 구성된 분산 시스템으로, 각 노드는 파드(Pod)를 실행하는 주체로서 클러스터 전반의 성능과 안정성에 중요한 영향을 미칩니다. 각 노드의 CPU, 메모리, 디스크 I/O, 네트워크 대역폭 등 주요 리소스 사용량을 실시간으로 모니터링함으로써 리소스 과부하나 잠재적 장애를 사전에 감지하고 예방할 수 있습니다. 특히, 노드 간 리소스 사용의 불균형은 클러스터 전체 성능에 부정적인 영향을 미칠 수 있으며, 특정 노드에서 발생하는 비정상적인 리소스 소모는 장애의 전조로 볼 수 있습니다. 예를 들어, CPU나 메모리 자원의 지속적인 고갈, 네트워크 트래픽의 급격한 증가 등은 장애를 유발할 수 있는 주요 지표로, 이를 사전에 감지하고 신속하게 대응하는 것이 중요합니다. 이를 위해 각 노드의 메트릭 데이터를 분석하고, 비정상적인 패턴을 자동으로 탐지할 수 있는 쿠버네티스 모니터링 솔루션을 도입하는 것이 필요합니다. 이러한 솔루션은 클러스터 내 모든 노드의 상태를 실시간으로 모니터링하고, 비정상적인 리소스 사용을 빠르게 인식할 수 있게 해줍니다. 또한, 자동화된 경고 시스템을 통해 잠재적인 문제가 발생하기 전에 관리자에게 즉시 알림을 제공하며, 리소스 사용 추세를 기반으로 한 예측 분석 기능을 통해 향후 발생할 수 있는 문제를 미리 방지할 수 있도록 지원합니다. [3] 네트워크 모니터링 쿠버네티스는 내부 네트워크와 외부 네트워크 간 통신이 빈번하게 이루어지는 복잡한 분산 시스템입니다. 파드 간의 통신 오류나 클러스터 외부와의 연결 문제는 애플리케이션 성능 저하로 이어질 수 있기에, 네트워크 상태를 정밀하게 모니터링해야 합니다. 주요 모니터링 지표로는 네트워크 지연(latency), 패킷 손실(packet loss), 네트워크 인터페이스 속도와 대역폭 등이 있으며, 이러한 지표들은 애플리케이션 가용성과 성능에 직접적인 영향을 미칠 수 있습니다. 특히 서비스 메시(Service Mesh)와 같은 고급 네트워크 구성 요소를 도입한 환경에서는 네트워크 복잡성이 더욱 증가하므로, 네트워크 트래픽 경로를 시각화하고 트래픽 흐름을 분석할 수 있는 고도화된 모니터링 솔루션이 필요합니다. 이러한 시스템을 통해 비정상적인 트래픽 패턴이나 병목 현상을 사전에 감지하고, 네트워크 문제를 신속하게 해결할 수 있는 역량을 확보하는 것이 중요합니다. 특히, 네트워크 모니터링은 전체 클러스터의 안정성과 애플리케이션 성능을 보장하는 데 중요한 역할을 합니다. [4] 로그 및 메트릭 수집과 분석 모니터링의 핵심은 적절한 로그와 메트릭 데이터를 수집하고 이를 분석하여 시스템 상태를 지속적으로 파악하는 데 있습니다. 쿠버네티스는 클러스터 내에서 발생하는 다양한 이벤트를 로그로 기록하고, 각 파드, 컨테이너, 노드에서 발생하는 자원 사용량과 성능 관련 데이터를 메트릭으로 제공합니다. 이러한 로그와 메트릭을 실시간으로 수집하고 분석함으로써, 문제가 발생했을 때 그 원인을 빠르게 파악하고 대응할 수 있습니다. 예를 들어, 특정 파드에서 반복적으로 발생하는 에러 로그는 애플리케이션의 특정 기능이 문제가 있음을 시사하며, 이를 통해 운영자는 그 원인을 정확히 파악할 수 있습니다. 또한, 성능 저하가 발생할 때 메트릭 데이터를 분석하여 CPU, 메모리, 네트워크 등 리소스 부족이 원인인지 식별할 수 있습니다. 이러한 정보가 실시간으로 제공되기 때문에, 운영자는 문제를 조기에 발견하고 빠르게 대응할 수 있으며, 그 결과 시스템 장애나 성능 저하를 미연에 방지할 수 있습니다. 또한, 실시간으로 로그와 메트릭 변화를 추적하고 모니터링 솔루션의 경고 알림 기능 등을 활용하면, 문제를 사전에 예측하고 조치를 취할 수 있습니다. [5] 자동화 기능과의 긴밀한 연동 쿠버네티스의 주요 기능 중 하나는 자동화된 확장과 자가 치유(Self-Healing) 기능으로, 이를 통해 클러스터의 안정성과 가용성을 유지할 수 있습니다. 자동화된 확장은 클러스터 상태를 실시간으로 모니터링하여 자원이 부족할 때 자동으로 새로운 파드를 생성하고, 부하를 분산함으로써 성능 저하를 방지합니다. 또한 자가 치유 기능은 장애가 발생한 파드나 노드를 감지하여, 파드를 자동으로 재시작하거나 장애가 발생한 파드들을 다른 건강한 노드로 이동시키는 역할을 합니다. 이러한 기능이 원활하게 작동하려면, 모니터링 솔루션이 클러스터의 상태를 정확하게 파악하고, 자원 사용 현황 및 노드 상태에 대한 신뢰할 수 있는 데이터를 제공해야 합니다. 이를 위해 모니터링 솔루션은 높은 확장성과 안정성을 보장할 수 있는 설정이 필수적입니다. 예를 들어, 파드의 자원 부족이 발생하면 이를 실시간으로 감지하여 적절한 확장 작업이 즉시 이루어질 수 있도록 지원해야 합니다. 결과적으로, 쿠버네티스의 자동화 기능이 성공적으로 활용되려면 쿠버네티스 모니터링 솔루션과의 긴밀한 연동이 반드시 필요합니다. [6] 보안 및 규정 준수 분산 아키텍처를 기반으로 하는 쿠버네티스 클러스터는 외부 공격에 더욱 취약할 수 있으며, 다양한 보안 위협에 노출될 가능성이 존재합니다. 이러한 위협을 효과적으로 방어하기 위해서는 네트워크 트래픽 모니터링을 통해 비정상적인 활동이나 의심스러운 트래픽 패턴을 신속히 감지하고, 보안 정책 위반, 의도치 않은 구성 변경, 혹은 취약점 발견 시 자동으로 경고를 발송하는 보안 모니터링 체계가 필요합니다. 이와 함께, 컨테이너 이미지의 보안 취약점 분석을 사전에 실시하여 악성 코드나 알려진 취약점으로부터 클러스터를 보호하고, 이를 기반으로 하는 보안 스캔 자동화가 중요합니다. 또한, 클러스터 전반에서 발생하는 모든 활동을 실시간으로 감사(Audit) 및 기록하여 컴플라이언스 요구사항을 충족시키는 중앙 집중형 로그 관리 시스템이 필요합니다. 이러한 감사 로그는 규정 준수를 위한 기본적인 요소일 뿐만 아니라, 보안 사고 발생 시 원인 분석 및 대응을 위한 핵심 자료로 활용될 수 있습니다. 쿠버네티스와 같은 분산 시스템을 성공적으로 운영하기 위해서는 그 안에서 발생하는 다양한 이벤트를 실시간으로 모니터링하는 것이 매우 중요합니다. 6가지 고려사항을 통해 클러스터의 상태를 세밀하게 추적하고 분석함으로써, 예상치 못한 문제를 미리 발견하고 대비할 수 있습니다. 특히, 노드나 파드의 자원 소모가 비정상적으로 급증할 때 이를 빠르게 인식하고 조치를 취함으로써, 시스템의 성능 저하를 방지할 수 있습니다. 또한, 네트워크 상태와 보안 위협에 대한 철저한 모니터링은 전체 서비스의 가용성을 높이는 데 큰 도움이 됩니다. 이처럼 체계적인 모니터링 전략을 통해 쿠버네티스 환경에서의 안정성을 확보할 수 있으며, 서비스 중단 없이 원활한 운영을 이어갈 수 있습니다. 2024.10.24
기술이야기 서버 모니터링 솔루션의 필수조건과 최신 트렌드 기술이야기 서버 모니터링 솔루션의 필수조건과 최신 트렌드 안정적인 IT 서비스 운영을 위해서 서버 모니터링 솔루션을 도입, 운영하는 경우가 많습니다. 디지털 전환과 클라우드 컴퓨팅의 확산, IoT와 AI 기술의 발전으로 인해서 더욱 다양한 IT 서비스가 운용되고 그를 뒷받침할 서버 시스템의 수도 점증하면서 서버 모니터링 솔루션의 중요성은 더욱 높아질 것으로 예상됩니다. │서버 모니터링 솔루션이 갖춰야 할 필수조건은? 서버 모니터링 솔루션 활용의 가장 큰 목적은 서버의 성능, 안정성을 실시간으로 파악해서 이상 상황이나 장애를 사전에 예방하거나 빠르게 대응하는 것입니다. 그리고 이 목적을 이루기 위해서는 아래와 같은 조건을 반드시 갖추고 있어야 합니다. · 실시간 모니터링 서버의 성능, 가용성, 보안 상태를 실시간으로 모니터링할 수 있는 기능은 서버 모니터링 솔루션의 핵심 요소입니다. 실시간 모니터링을 통해 관리자는 서버의 현재 상태를 즉시 파악하고, 시스템에서 발생하는 문제를 조기에 발견할 수 있습니다. 예를 들어, CPU 사용률이 급격히 증가하거나 네트워크 트래픽이 비정상적으로 많아지는 경우, 실시간 모니터링을 통해 문제를 즉시 감지하고 대응할 수 있습니다. 이를 통해 다운타임을 최소화하고, 서비스를 중단없이 제공할 수 있습니다. · 광범위한 성능 데이터 수집 서버 모니터링 솔루션은 다양한 성능 지표를 수집할 수 있어야 합니다. 여기에는 CPU 사용률, 메모리 사용량, 디스크 I/O, 네트워크 트래픽 등의 하드웨어관련 데이터뿐만 아니라 애플리케이션과 관련한 데이터도 포함됩니다. 예를 들어, 데이터베이스 쿼리 응답 시간, 웹 서버의 요청 처리 시간 등 애플리케이션의 성능을 상세히 분석할 수 있는 데이터가 여기에 포함됩니다. 이러한 데이터를 통해 시스템의 전반적인 상태를 정확히 파악하고, 서버의 병목 현상을 식별하며 성능을 최적화할 수 있습니다. · 경고 및 알림 기능 서버 모니터링 솔루션은 설정된 임계 값을 초과하거나 이상 징후가 발견되었을 때 즉시 관리자에게 알림을 보내는 기능을 갖춰야 합니다. 이메일, SMS, 푸시 알림 등 다양한 경고 수단을 지원하여, 문제가 발생했을 때 신속하게 대응할 수 있도록 해야 합니다. 예를 들어, 서버의 디스크 사용량이 90%를 초과하거나 네트워크 지연 시간이 급격히 증가할 때, 서버 모니터링 시스템의 경고 알림을 통해 관리자는 즉시 문제를 인지하고 조치를 취할 수 있습니다. 이를 통해 심각한 장애로 발전하기 전에 문제를 해결할 수 있습니다. · 확장성과 유연성 기업의 성장에 따라 추가되는 서버와 애플리케이션을 신속히 모니터링할 수 있도록 확장성이 있어야 합니다. 이는 특히 클라우드 환경에서 중요합니다. 클라우드 인프라를 사용 중인 기업이 수시로 서버를 추가하거나 제거하는 상황이 빈번하게 발생하기 때문입니다. 또한, 대규모 환경에서도 안정적으로 작동하며, 여러 데이터 센터와 클라우드 리전에서 발생하는 데이터도 효율적으로 처리할 수 있어야 합니다. · 대시보드 및 시각화 도구 서버의 상태를 직관적으로 이해할 수 있도록 다양한 대시보드와 시각화 도구를 제공해야 합니다. 이는 관리자가 시스템 상태를 한눈에 파악하고, 문제의 원인과 영향을 빠르게 분석할 수 있게 합니다. 예를 들어, 실시간 대시보드를 통해 서버의 현재 상태를 모니터링하고, 트렌드 분석을 통해 장기적인 성능 변화를 파악할 수 있습니다. 세부적이고 다양한 차트와 그래프는 데이터를 시각적으로 표현하여, 복잡한 데이터를 쉽게 이해하고 분석할 수 있도록 도와줍니다. 대시보드 및 시각화도구 예시(Zenius SMS) · 로그 관리 및 분석 서버와 애플리케이션 로그를 수집하고 분석할 수 있는 기능은 문제의 근본 원인을 파악하고 보안 위협을 탐지하는 데 필수적입니다. 로그 데이터는 실시간 모니터링과 보완되어, 시스템 이벤트의 연속성과 이슈 발생의 맥락을 이해하는 데 도움을 줍니다. 예를 들어, 서버의 로그를 통해 특정 시간에 발생한 오류를 분석하고, 이를 통해 시스템의 취약점을 식별하고 개선할 수 있습니다. 또한, 로그 데이터를 기반으로 보안 위협을 탐지하고 대응할 수 있습니다. · 자동화된 대응 서버 모니터링 솔루션은 문제가 발생했을 때 자동으로 대응하는 기능을 제공해야 합니다. 예를 들어, 서버 재부팅, 서비스 재시작, 자원 확장 등의 자동화된 조치를 지원하여, 인적 오류를 줄이고 문제 해결 시간을 단축할 수 있습니다. 이러한 자동화된 대응은 설정된 조건에 따라 다양한 조치를 자동으로 수행하여, 관리자의 개입 없이도 문제를 해결할 수 있도록 합니다. 이는 시스템의 안정성과 신뢰성을 높이는 데 기여합니다. · 유연한 통합 서버 모니터링 솔루션은 다른 IT 관리 도구와 쉽게 통합할 수 있어야 합니다. 예를 들어, CI(지속적 통합)/CD(지속적 배포) 프로세스, ITSM(Information Technology Service Management), 클라우드나 마이크로 서비스 아키텍처 관리 솔루션 등과의 연동이 필요합니다. 이는 모니터링 데이터의 활용 범위를 넓히고, 전체 IT 환경의 효율성을 높이는 데 도움을 줍니다. 또한 서버 뿐 아니라 네트워크, DB, 애플리케이션 모니터링 툴과의 통합도 가능해야 합니다. · 보안 서버 모니터링 솔루션을 통해 비정상적인 활동을 실시간으로 감지하여 보안위협을 예방할 수 있어야 합니다. 이와 동시에 서버 모니터링 솔루션 자체의 보안도 중요합니다. 데이터 암호화, 접근 제어, 감사 로그 등의 보안 기능을 갖추고 있어야 합니다. 이를 통해 모니터링 시스템이 외부 위협으로 부터 안전하게 운영될 수 있습니다. 이와 더불어 각 사용자의 필요에 맞추어 세부적인 기능을 조정할 수 있는 기능과 지속적인 원활한 업그레이드와 기술 지원도 서버 모니터링 솔루션이 갖춰야할 중요한 조건입니다. │서버 모니터링 솔루션의 최신 트렌드는? 서버 모니터링 솔루션은 기술의 발전과 변화하는 비즈니스 요구에 발맞추어 빠르게 진화하고 있습니다. 대표적인 최근의 변화와 트렌드를 알아보겠습니다. · 클라우드 네이티브 기반 모니터링 클라우드 네이티브 기반의 서버 모니터링 솔루션은 클라우드 인프라의 복잡성과 변화하는 특성을 효과적으로 관리할 수 있습니다. 클라우드 서비스 제공업체의 API와 통합되어 인프라 상태를 실시간으로 파악하고 자동으로 조정할 수 있어, 서비스 중단을 최소화하고 사용자 경험을 높여주기 때문에, 많은 기업이 클라우드 네이티브 기반의 서버 모니터링 솔루션을 채택하고 있습니다. · 인공지능 및 머신러닝 기반 모니터링 인공지능과 머신러닝 기술이 서버 모니터링 솔루션에 적용되고 있습니다. 이를 통해 대용량 로그 데이터를 빠르게 분석하여 문제의 근본 원인을 빠르게 파악하고 자동으로 대응할 수 있습니다. 서버 모니터링 솔루션은 AI와 ML을 기반으로 정확하고 자동화된 예측과 분석, 대응이 가능한 효과적이고 신뢰도 높은 IT 인프라 관리 솔루션으로 발전하고 있습니다. · 마이크로서비스 아키텍처(MSA) 환경 모니터링 MSA 환경에서의 서버 모니터링 솔루션은 분산 시스템 내 각 마이크로서비스를 개별적으로 모니터링하고, 실시간 데이터 수집 및 분석을 통해 문제를 즉시 발견 및 대응하며, 자동화된 경고 시스템으로 빠른 문제 해결을 지원하고 있습니다. 또한 Docker와 Kubernetes 같은 컨테이너 및 오케스트레이션 도구와의 통합도 중요한 트렌드로 자리잡고 있습니다. · 자동화된 대응 및 자가 치유 문제가 발생했을 때 자동으로 대응하는 시스템이 도입되고 있습니다. 예를 들어, 서버가 과부하 상태일 때 자동으로 서버를 확장하거나, 특정 오류가 발생했을 때 자동으로 재부팅하는 등의 기능이 포함됩니다. 이러한 자동화된 대응은 시스템의 가용성과 안정성을 높이는 데 기여합니다. 또한 자가 치유 기능은 시스템이 자동으로 문제를 감지하고 수정하는 능력을 갖추게 하여, 관리자의 개입 없이도 안정적인 운영을 가능하게 합니다. · 통합 모니터링 다양한 모니터링 툴과 시스템을 통합하여 중앙 집중형 대시보드에서 모든 인프라와 애플리케이션을 모니터링하는 것이 중요해지고 있습니다. 따라서 통합된 뷰를 통한 모니터링의 효율성이 높아지고 있습니다. 예를 들어 관리자는 다양한 모니터링 솔루션에서 수집된 데이터를 통합된 대시보드에서 한눈에 확인할 수 있습니다. 이러한 대시보드는 문제 발생 시 원인을 신속히 파악하고, 적합한 조치를 취할 수 있도록 도와줍니다. · 비용 및 자원 최적화 비용 및 자원 최적화는 지속해서 서버 모니터링 솔루션의 핵심 요소로 꼽히고 있습니다. 따라서 서버 모니터링 솔루션은 서버 자원의 사용 패턴을 분석하고, 불필요한 자원 낭비를 줄이며, 자원을 효율적으로 배분할 수 있는 기능에 중점을 맞춰서 발전하고 있습니다. · 보안 중심 모니터링 보안 위협이 증가함에 따라 보안 중심의 모니터링이 중요해지고 있습니다. 따라서 서버 모니터링 솔루션 자체의 기능을 강화하거나, SIEM(Security Information and Event Management)과 같은 보안전문 솔루션과의 연동을 통해 보안 로그와 이벤트 데이터를 분석하여 잠재적인 보안 위협에 빠르게 대처하는 사례가 늘고 있습니다. 이와 같이 서버 모니터링 솔루션은 클라우드나 마이크로 시스템 아키텍처와 같은 시스템의 환경의 변화에 따라, 인공지능과 같은 기술적 진화에 따라, 또한 보안이나 비용절감과 같은 사용자들의 니즈의 변화에 따라 다양한 방향으로 진화, 발전하고 있습니다. 고객 서버 시스템 환경이나 서비스의 특성이나 고객의 특정 니즈에 따라 최신 트랜드를 잘 반영한 솔루션을 선택하여 서버 시스템의 운용 효율과, IT 서비스의 안정성을 제고하는 것이 IT 운용 부서의 주요 과제 중의 하나가 되고 있습니다. 2024.08.05
기술이야기 오픈소스 APM만으로 완벽한 웹 애플리케이션 관리, 가능할까? 기술이야기 오픈소스 APM만으로 완벽한 웹 애플리케이션 관리, 가능할까? 지난 글을 통해 옵저버빌리티(Observability) 중요성과 APM 차이점을 자세히 살펴보았습니다(자세히 보기). 옵저버빌리티는 APM 한계성을 극복하는 방법은 맞지만, 어느 하나가 더 나은 방법이라기 보단 조직이나 사용자 상황에 따라 적합한 선택해야 하는 것이 주요 포인트였습니다. 하지만 상용 APM 제품은 다소 높은 구매 비용으로 인해, 규모가 작은 기업의 경우 부담이 될 수 있는데요. 이 때 오픈소스 APM 솔루션이 효과적인 대안이 될 수 있는데요. 따라서 이번 시간에는 주요 오픈소스 APM 알아보고, APM 상용 제품과는 어떤 차이점이 있는지 살펴보겠습니다. │오픈소스(Open Source) 소프트웨어란? 오픈소스(Open Source)란 개발 핵심 소스 코드를 공개하여 누구나 접근하고, 수정하여, 배포할 수 있는 소프트웨어를 말합니다. 얼핏 자유 소프트웨어와 비슷하게 느껴질 수 있지만 조금 다른 의미를 가지는데요. 자유 소프트웨어는 사용자의 '자유'를 강조하지만, 오픈소스는 소스 코드의 '접근성과 협업'을 중시합니다. 대표적으로 관계형 데이터베이스인 MySQL, 웹 브라우저인 Firefox, 컨테이너 가상화 플랫폼인 Docker가 대표적인 오픈소스 소프트웨어라고 할 수 있습니다. 현재 국내 디지털플랫폼 정부 구축 정책 기조에 따르면, 오픈소스 소프트웨어는 여러가지 장점을 갖고 있는데요. 오픈소스 장점 오픈소스의 첫번 째 장점은 진입 비용이 낮다는 점입니다. 공개된 소스를 기반으로 수정과 배포가 가능하기 때문에 새로운 기반 기술을 만들어 갈 경우, 비용을 줄일 수 있습니다. 두 번째 장점은 MSA 아키텍처의 기술적 토대가 오픈소스에 기반한다는 점입니다. 최근 소프트웨어 개발 환경은 오픈소스 의존도가 높아지고 있는데요. 이는 오픈소스가 특정 벤더에 종속되지 않아 독립성을 보장한다는 점에서, 오픈소스의 가장 큰 장점이라고 할 수 있습니다. 그에 반해 오픈소스 단점도 명확한데요. 오픈소스 단점 첫 번째 단점은 상용 소프트웨어와 비교해 매뉴얼이 빈약한 경우가 많다는 점입니다. 이에 따라 실제 개발 단계에서 운영이 지연될 가능성이 높아지죠. 두 번째 단점으로는 기술 지원 체계는 오픈소스 커뮤니티에 의존하고 있기 때문에, 유지보수에 큰 어려움이 따른다는 점입니다. 물론 특정 벤더에 종속되지 않는 독립성을 취할 수 있지만, 지속적인 기술지원은 어렵죠. 그렇다면 현재 국내에서 가장 많이 사용하는 오픈소스 APM 소프트웨어는 무엇인지, 자세히 살펴보겠습니다. │오픈소스 APM 종류 오픈소스 APM 종류는 다양하지만 대표적으로 Scouter, Pinpoint, Prometheus & Grafana에 대해 알아보겠습니다. 1. Scouter 첫 번째로 소개해 드릴 오픈소스 APM은 스카우터(Scouter)입니다. 스카우터는 LG CNS에서 만든 오픈소스 APM 소프트웨어로, 자바를 사용하는 애플리케이션과 컴퓨터 시스템 성능을 모니터링합니다. 이 소프트웨어는 Window, Linux, Mac 등 다양한 운영체제(OS)에서 사용할 수 있으며, 주로 이클립스 플랫폼에서 개발되었습니다. 즉 여러 환경에서 자바 애플리케이션 데이터를 수집하고, 성능 상태를 효과적으로 할 수 있다는 점이 스카우터의 주요 기능입니다. 1-1. Scouter 아키텍처 Scouter는 주로 네 가지 주요 컴포넌트로 구성되어 있는데요. 자세히 살펴보도록 하겠습니다. Java Agent Java 기반의 웹 애플리케이션(예: Tomcat, JBoss, Resin)과 스탠드얼론 Java 애플리케이션을 모니터링하는 모듈입니다. 이 에이전트는 웹 애플리케이션 서버(WAS)에 설치되어 애플리케이션 성능 정보(예: 메소드 실행 시간, 사용자 요청 처리 시간 등)를 수집하고 Scouter 서버로 전송합니다. Host Agent 이 에이전트는 운영 체제(예: Linux, Unix, Windows 등)에 설치되어 시스템 하드웨어 리소스 사용 상태를 모니터링합니다. CPU 사용률, 메모리 사용량, 디스크 I/O와 같은 정보를 수집하여 Scouter Server로 보내주는 역할을 합니다. Scouter Server(Collector) 이 서버는 Java Agent와 Host Agent로부터 데이터를 수집해 저장합니다. 사용자는 클라이언트를 통해 이 데이터에 접근할 수 있으며, 이를 통해 애플리케이션의 성능을 모니터링하고 분석할 수 있습니다. Scouter Client 사용자는 Scouter Client를 통해 서버에 접속하여, 서버로부터 수집된 데이터를 조회할 수 있습니다. 이 클라이언트는 다양한 성능 지표를 기반으로 한 시각적인 대시보드를 제공하여, 애플리케이션과 시스템 성능 상태를 효과적으로 모니터링할 수 있게 도와줍니다. 1-2. Scouter 주요기능 출처ⓒ tistory_chanchan-father Scouter의 주요기능 중 하나는 'XLog'인데요. 이 기능은 트랜잭션 응답 시간을 시각적으로 표현하여 시스템 성능을 모니터링하는 데 유용합니다. 액티브 서비스가 종료될 때마다 XLog 차트에 점으로 나타나기 때문에, 개발자는 트랜잭션 처리 시간을 간편하게 확인할 수 있습니다. 각 점을 클릭하여 관련 트랜잭션의 자세한 정보를 얻을 수 있으며, 시스템 분석과 성능 개선 작업에도 도움을 줍니다. 2. Pinpoint 두 번째로 소개해 드릴 오픈소스 APM는 '핀포인트(Pinpoint)'입니다. 핀포인트는 네이버에서 2012년 7월부터 개발을 시작해, 15년 초에 배포한 오픈소스 APM 솔루션입니다. 핀포인트는 MSA를 위한 국산 오픈소스 APM으로 각광 받아왔습니다. 2-1. Pinpoint 아키텍처 핀포인트 아키텍처는 다음과 같은 네 가지 주요 구성요소는 이루어져 있는데요. 아래 내용을 통해 자세히 살펴보겠습니다. Agent 핀포인트의 에이전트는 애플리케이션 서버에 java-agent 형태로 추가되어, 애플리케이션 성능 데이터를 실시간으로 수집합니다. 이 에이전트는 수집한 데이터를 Collector로 전송하며, 이 과정을 통해 성능 모니터링과 문제 해결에 필요한 중요 정보를 제공합니다. Collector Agent로부터 받은 프로파일링 데이터를 수집하고 처리하는 역할을 합니다. Collector는 이 데이터를 구조화하여 빅데이터 데이터베이스인 HBase로 전송합니다. 이를 통해 데이터가 안정하게 저장되고 필요할 때 쉽게 접근할 수 있습니다. HBase Hbase는 분산 데이터베이스로서, 핀포인트 시스템에서 성능 데이터를 저장하고 검색하는 중심적인 역할을 합니다. 대규모 데이터 볼륨을 효율적으로 처리할 수 있는 구조로 설계되어 있으며, 수집된 데이터의 신속한 처리와 안정적인 저장을 보장합니다. Web UI 웹 인터페이스를 통해 사용자에게 데이터를 시각적으로 제공하는 구성 요소입니다. 이 데이터는 핀포인트 에이전트가 애플리케이션 서버에서 수집한 정보를 기반으로 생성됩니다. 이렇게 수집된 데이터는 서버를 통해 Web UI로 전송되면, 사용자는 UI를 통해 다양한 형태의 성능 지표를 조회하고 분석할 수 있습니다. 이러한 구성을 통해 네이버 핀포인트는 애플리케이션 성능 문제를 진단하고 해결하는 데 필요한 정보를 제공합니다. 2-2. Pinpoint 주요기능 그 다음으로 핀포인트의 대표적인 주요 기능에 대해 자세히 알아보겠습니다. 서버맵 이 기능은 분산 환경에서 각 노드 간의 트랜잭션 흐름을 시각적으로 표현하여, 트랜잭션 성공/실패와 응답 시간 분포를 실시간으로 모니터링할 수 있습니다. 이를 통해 시스템 부하 상태와 성능 병목 지점을 식별할 수 있죠. 콜스택 콜스택(Call Stack) 기능은 트랜잭션의 세부 실행 과정을 추적하여, 성능 문제 원인을 분석하고, 코드 최적화를 지원합니다. 이 기능은 각 콜스택에서 소요되는 시간과 발생하는 예외 상황까지 자세히 보여주어, 성능 병목 현상 진단에 도움을 줍니다. 트랜잭션 필터 사용자는 트랜잭션 필터 기능을 이용해 응답 시간이 긴 트랜잭션, 특정 사용자나 IP 주소에서 발생한 트랜잭션 등을 세부적으로 필터링하여 분석할 수 있습니다. 이는 특정 조건에 따른 트랜잭션의 세부 사항을 더 깊이 이해하는 데 유용합니다. Application Inspector 이 기능은 애플리케이션 성능 지표를 시간별/일별로 분석하며 CPU 사용률, 메모리 사용량, JVM 상태 등을 체계적으로 관리하는 기능을 제공합니다. 이를 통해 애플리케이션의 전반적인 성능 관리가 가능합니다. 3. Prometheus 세 번째로 소개해 드릴 오픈소스 APM는 '프로메테우스(Prometheus)'입니다. 프로메테우스는 관제 대상으로부터 모니터링 메트릭 데이터를 저장하고, 검색할 수 있는 시스템인데요. 무엇보다 CNCF 재단으로부터 '클라우드 네이티브에 적합한 오픈소스 모니터링'으로 각광 받아 쿠버네티스(Kubernetes, K8s) 이후 두번째로 졸업한 프로젝트입니다. 프로메테우스는 CNCF 졸업 인증서를 받은 이후 시장에서 많은 주목을 받았습니다. 구조가 간단해서 운영이 쉽고, 다양한 모니터링 시스템과 연계할 수 있는 여러 플러그인을 보유하고 있기 때문이죠. 이러한 장점은 클라우드 네이티브를 위한 기초적인 오픈소스로 각광 받게 되었습니다. 3-1. Prometheus 아키텍처 프로메테우스에서 가장 큰 특징은 에이전트(Agent)가 아닌, 메트릭(Metric)을 통해 데이터를 수집한다는 점입니다. 메트릭이란 이전 시간에도 살펴봤듯이, 현재 상태를 보기 위한 시계열 데이터를 의미합니다. 프로메테우스는 이러한 메트릭 수집을 위해 다양한 수집 도구를 사용하는데요. 좀 더 자세히 살펴보도록 하겠습니다. Application 위 아키텍처에서 수집하고자 하는 대상은, 애플리케이션으로 표현됩니다. 주로 MySQL DB과 Tomcat과 같은 웹 서버까지 다양한 서버와 WAS가 모니터링 대상이 됩니다. 프로메테우스는 이를 주로 Target System으로 표현하고 있습니다. Pulling 프로메테우스에서는 각 Target System에 대한 메트릭 데이터 수집을 풀링(Pulling) 방식을 통해 데이터를 수집합니다. 프로메테우스는 앞서 언급했듯 별도의 에이전트로 데이터를 수집하지 않습니다. Prometheus Server에서 자체적인 Exporter를 통해 메트릭 읽는 방식을 사용하죠. 보통 모니터링 시스템 에이전트는, 모니터링 시스템으로 메트릭을 보내는 푸쉬(Push) 방식을 사용합니다. 특히 푸쉬 방식은 서비스가 오토 스케일링 등과 같이 환경이 가변적일 경우 유리한데요. 풀링 방식의 경우 모니터링 대상이 가변적으로 변경될 경우, 모니터링 대상의 IP 주소를 알 수 없기 때문에 정확한 데이터 수집이 어려워집니다. Service Discovery 이처럼 정확한 데이터 수집을 해결하기 위한 방안이 서비스 디스커버리(Service Discovery) 방식입니다. 서비스 디스커버리는 현재 운영 중인 대상 목록과 IP 주소를 동적으로 수집하는 프로세스입니다. 예를 들어 file_sd, http_sd 방식부터 디스커버리 전용 솔루션인 Consul을 사용하죠. Exporter Exporter는 모니터링 대상 시스템에서 데이터를 수집하는 역할을 합니다. 별도의 에이전트는 아니지만, 에이전트와 비슷하게 데이터를 수집하는 역할을 합니다. HTTP 통신을 통해 메트릭 데이터를 수집하며, Exporter를 사용하기 어려울 경우 별도 Push gateway를 사용합니다. Prometheus Server 프로메테우스 서버는 데이터 수집, 저장, 쿼리를 담당하는 중앙 구성 요소입니다. HTTP 프로토콜을 사용하는 것이 특징이며, Exporter가 제공하는 HTTP 엔드포인트에 접속해 메트릭 데이터를 수집합니다. Alert Manager 사용자에게 알람을 주는 역할을 담당합니다. Prometheus는 타 오픈소스 모니터링 솔루션과 달리 Alert Manager UI 기능을 제공하여 일부 제한된 데이터를 시각화할 수 있습니다. 하지만 시각화 기능이 제한적이므로, 보통 Grafana라는 오픈소스 대시보드 툴을 사용하여 UI를 보완합니다. 3-2. Grafana '그라파나(Grafana)'에 좀 더 자세히 설명한다면, 데이터 분석을 시각화하기 위한 오픈소스 대시보드 도구입니다. 다양한 플러그인을 이용해 프로메테우스와 같은 모니터링 툴과 *그라파이트(Graphite)1, *엘라스틱서치(Elasticsearch)2, *인플럭스DB(InfluxDB)3 와 같은 데이터베이스와 연동하여 사용자 맞춤형 UI를 제공합니다. 특히 방대한 데이터를 활용해 맞춤형 대시보드를 쉽게 만들 수 있는 것이 그라파나의 큰 장점이죠. *1. Graphite: 시계열 데이터를 수집하고 저장하며, 이를 그래프로 시각화하는 모니터링 도구 *2. Elasticsearch: 다양한 유형의 문서 데이터를 실시간으로 검색하고 분석하는 분산형 검색 엔진 *3. InfluxDB: 시계열 데이터의 저장과 조회에 특화된 고성능 데이터베이스 그라파나의 주요 특징은 플러그인 확장을 통한 데이터 시각화와 템플릿 지원으로, 다른 사용자 대시보드 템플릿을 쉽게 가져와 사용할 수 있다는 점입니다. 이처럼 Promeheus 장점은 Exporter를 통한 다양한 메트릭 데이터 수집과 3rd Party 솔루션과 연계가 수월하다는 점입니다. 오픈소스로 IT 인프라를 구성하는 기업의 경우 Prometheus와 Grafana를 연계하여, 서비스 운영현황을 모니터링 할 수 있습니다. 지금까지 오픈소스 APM가 무엇이고, 각각의 아키텍처와 주요 기능은 무엇인지 살펴보았는데요. 그렇다면 상용 APM 제품과, 오픈소스 APM는 어떤 차이점이 있을까요? │상용 APM 제품 vs 오픈소스 APM 제품 앞에서 소개해 드린 오픈소스 APM 중, 대표적으로 프로메테우스와 핀포인트를 상용 APM 제품과 비교해 보겠습니다. Prometheus vs 상용 APM 제품 우선 프로메테우스를 대표하는 장점은 유연한 통합성입니다. 마이크로서비스가 대세 기술로 자리 잡으면서, 인스턴스를 자주 확장하거나 축소하는 것이 자유로운 요즘인데요. 만약 이 작업을 수동으로 관리한다면 매우 어려울 수 있습니다. 하지만 프로메테우스를 사용하면 이런 문제를 해결할 수 있죠. 프로메테우스는 쿠버네티스와 같은 여러 서비스 디스커버리 시스템과 통합되어, 쿠버네티스 클러스터 내의 모든 노드와 파드에 발생하는 매트릭을 자동으로 수집할 수 있습니다. 이러한 기능은 마이크로서비스 환경에서 효율적으로 모니터링 할 수 있습니다. 하지만 한계점도 있는데요. 바로 실시간 데이터 확인이 어렵다는 점입니다. 프로메테우스는 풀링(Pulling) 주기를 기반으로 메트릭 데이터를 수집하기 때문에, 순간적인 스냅샷 기능이 없습니다. 수집된 데이터는 풀링하는 순간 스냅샷 데이터라고 볼 수 있죠. 이러한 단점은 APM에서 일반적으로 지원하는 실시간성 트랜잭션 데이터를 대체하기 어렵습니다. 반면에 상용 APM 제품은 어떨까요? 대표적으로 Zenius APM 사례를 통해 살펴보겠습니다. Zenius APM은 에이전트가 자동으로 메트릭을 수집하여 서버로 전송하여, 데이터를 실시간으로 처리할 수 있습니다. 또한 에이전트가 푸쉬(Push) 방식이기 때문에, 데이터의 지연이 풀링 방식에 비해 적고 데이터가 더 정확하게 수집되죠. 또한 Raw Data 기반의 실시간 과거 데이터를 통해 정밀한 장애 원인 분석이 가능합니다. 과거 시점 스냅샷 기능도 있어 문제 발생 시점을 정확히 파악하여, 문제 해결 시간을 단축시킬 수 있죠. Pinpoint 장단점 vs 상용 APM 제품 그 다음으로는 핀포인트를 대표하는 장점에 대해 알아 보겠습니다. 핀포인트 장점으로는 클라우드 환경에서 뛰어난 가시성을 보여준다는 점입니다. 클라우드에서의 웹 애플리케이션 서버(WAS)는 유연성과 확장성이 뛰어나지만, 복잡한 시스템 구조로 인해 모니터링이 어려울 수 있는데요. 핀포인트는 이러한 환경에서, 각 가상 서버의 성능을 실시간으로 파악하고 문제를 신속하게 진단하는데 큰 도움을 줍니다. 그에 반해 핀포인트에 단점은 다양한 기능이 부족합니다. 핀포인트는 JVM 기반 데이터의 모니터링이 일부 제한되는데요. 대시보드의 'Inspector'와 같은 일부 기능이 지원되지 않아, 이용에 어려움이 있습니다. 또한 다수 트랜잭션이 동시에 실행될 때 특정 트랜잭션이 오래 걸리거나 에러가 발생할 경우, 그 원인을 파악하기 어렵습니다. 이는 세부적인 콜백 정보를 충분히 제공하지 않았기 때문이죠. 그렇다면 상용 APM 제품은 어떨까요? 이번에도 Zenius APM를 통해 자세히 살펴보겠습니다. Zenius APM은 다양한 트랜잭션 모니터링 기능을 제공하는데요. 이를 통해 사용자는 트랜잭션 성능을 실시간으로 파악하고, 잠재적 문제를 빠르게 진단할 수 있습니다. 또한 이 시스템은 대량으로 동시 접속자를 대량으로 관리할 수 있어, 피크 타임에 발생할 수 있는 성능 저하를 사전에 감지하고 대응할 수 있도록 지원합니다. 비교표 구분 Zenius APM Prometheus Pinpoint Scouter 기술지원 벤더 지원을 통한 빠른 초기 설정, 기술지원 용이 오픈소스 기반의 기술지원 불가로 초기 학습 필요 오픈소스 기반의 기술 지원 불가로 초기 학습 필요 오픈소스 기반의 기술 지원 불가로 초기 학습 필요 사용자 인터페이스 실시간 트랜잭션 처리, 액티브 서비스 모니터링, 동시 접속 사용자 수 등, 사용자 정의 실시간 모니터링 상황판 구성 Grafana 플러그인 연계로 다양한 컴포넌트 모니터링 가능 토폴로지 일부 모니터링 불가, 제한적으로 사용자 동시 접속자 수 모니터링 가능, 사용자 정의 기반 모니터링 불가 기능 제한에 따른 간소화된 UI 제공, 사용자 정의 기반 모니터링 불가 컨테이너 모니터링 가능 가능 가능 불가 쿠버네티스 모니터링 가능 가능 불가 불가 연관 인프라 정보 모니터링 연관된 WAS 서버, DB서버, DB확인, 해당 인프라 상세 정보 제공 불가 재한적으로 연관 인프라 모니터링 제공 불가 Raw Data 과거 시점 재현 초 단위 데이터를 기준으로 장애 발생시점 등 과거 상황을 그대로 재현함 불가 불가 불가 리포팅 사용자 정의 기반 리포팅 서비스 제공 써드 파티를 이용한 제한적인 리포팅 기능 제공 불가 불가 이번 시간에는 주요 오픈소스 APM와 상용 APM 차이점을 살펴보았습니다. 각 솔루션은 분명한 장단점을 갖고 있으며, 모든 상황에 완벽한 솔루션은 없습니다. 그러나 여기서 주목해야 할 것은, APM의 핵심이 '트랜잭션을 얼마나 효과적으로 모니터링할 수 있는가'라는 점입니다. 이 측면에서 오픈소스 APM은 한계가 있으나, 상용 APM 제품은 이를 효과적으로 수행할 수 있습니다. 물론 비용 면에서 오픈소스 APM와 비교해, 상용 APM 제품이 부담스러울 순 있습니다. 하지만 트랜잭션 모니터링 관리의 중요성을 고려한다면, 이러한 투자는 가치가 있습니다. 더 나아가 심층적인 실시간 데이터 모니터링, 신속한 데이터 처리, 전문적인 기술적인 기술 지원, 보다 복잡한 시스템 환경에서 효과적인 트랜잭션 관리를 우선시 한다면 Zenius APM 제품이 더더욱 적합할 것입니다. 🔍더보기 Zenius APM 더 자세히 보기 📝함께 읽으면 더 좋아요 • APM에서 꼭 관리해야 할 주요 지표는? • APM의 핵심요소와 주요기능은? • 옵저버빌리티 vs APM, 우리 기업에 맞는 솔루션은? 2024.07.26
기술이야기 옵저버빌리티(Observability) vs APM, 우리 기업에 맞는 솔루션은?! 기술이야기 옵저버빌리티(Observability) vs APM, 우리 기업에 맞는 솔루션은?! 지난 글을 통해 웹 애플리케이션을 전반적으로 모니터링하고 관리하기 위한 좋은 도구인, APM의 핵심요소와 기능에 대해서 알아봤습니다(지난 글 보기). APM은 분명 좋은 도구이지만 문제 원인이 애플리케이션, 웹, WAS, DB가 아닌 특정한 시스템 오류이거나 클라우드 네이티브 환경에서의 장애일 경우 문제 발생 원인을 명확히 밝히기 어려울 수 있습니다. 따라서 이번 시간에는 APM의 한계성은 무엇이고, 이를 보완하기 위한 방법은 무엇인지 자세히 살펴보겠습니다. │APM 한계성 불과 얼마 전까지만 해도 예상치 못한 장애를 탐지하고 분석하는 것은, 기존 APM만으로 충분했었습니다. 기존에는 모놀리식 구조로 되어있어 애플리케이션이 적은 수로 구성되어 있었고, Web-WAS-DB가 모두 단일 구조로 구성되어 있었기 때문입니다. 하지만 현재 대다수 기업들은 MSA 환경에서 서비스를 구축하고, DevOps 구조로 업무를 진행하는 경우가 많습니다. 즉 클라우드 네이티브 환경에서는 기존 모놀리식 구조의 APM의 한계가 하나둘씩 보이기 시작한 것이죠. 이러한 이유로 클라우드 네이티브 방식에는 서비스 장애 원인을 분석하기 위한 새로운 모니터링 툴이 필요했습니다. 이때 등장하는 것이 바로 옵저버빌리티(Observability)입니다. │Observability란? 그렇다면 Observability란 무엇일까요? 옵저버빌리티는 IT 인프라에 대한 근본적인 장애 원인을 분석하기 위한 방법론입니다. 관찰 가능성이라고 표현되기도 하죠. Obsevability는 비교적 최근에 사용한 용어이지만, 옵저버빌리티를 위한 고민은 오래전부터 지속되어왔습니다. 시스템이 내가 의도한 대로 작동하고 있을까? 예상치 못한 장애 탐지와 장애 근본 원인은 어떻게 분석할 수 있을까? IT 인프라 운영 환경에 문제가 발생했을 때, 문제 식별을 위해 필요한 객관적인 지표는 어떻게 도출할 수 있을까? 하지만 소프트웨어 애플리케이션에서 Observability는, 위와 같은 고민이 발생하거나 겪어보지 못했던 현상이 생길 때 이를 이해하고 설명할 수 있는 지표를 분석해 줍니다. │Obsevability의 등장배경 및 필요성 앞에서 옵저버빌리티가 무엇인지 살펴봤는데요. 이어서 Observability가 등장하게 된 이유와 필요성에 대해 자세히 살펴보겠습니다. MSA 전환에 따른 복잡성 증가 옵저버빌리티가 등장하게 된 첫 번째 이유는, 모놀리식 아키텍처에서 MSA 환경으로 전환함에 따라 복잡성이 증가했기 때문입니다. 우선 그림을 통해 자세히 살펴보겠습니다. [그림(왼)]은 모놀리식 아키텍처를 나타내는데요. 애플리케이션의 모든 구성 요소가 하나의 인프라로 통합되어 있는 형태입니다. 배포가 간단하며, 확장성이 쉽고, E2E 테스트가 용이하다는 장점이 있습니다. 하지만 조그마한 수정 사항이 있으면, 다시 구성 환경을 빌드하고 배포해야 한다는 단점이 있습니다. 또한 일부 오류가 전체 아키텍처에 영향을 미친다는 치명적인 단점도 존재하죠. 반면 [그림(오)]에 해당하는 MSA(Micro Service Architecture)는 하나의 큰 애플리케이션을 여러 개의 작은 애플리케이션으로 쪼개어, 변경과 조합이 가능합니다. 작은 서비스의 독립적 배포라는 강력한 장점을 앞세워 Netflix, PAYCO와 같은 다양한 기업들이 앞다투어 MSA를 받아들였습니다. 여기서 문제는 MSA로 변화함에 따라 통합 테스트나 E2E 테스트 검증이 필요해졌는데요. 이처럼 여러 서비스의 API를 검증해야 하므로, 복잡성이 증가하고 많은 시간과 비용이 소모되었습니다. 무엇보다 각 서비스 별로 자체적인 데이터베이스가 있어, 트랜잭션에 대한 파악이 어려워지기도 했죠. 따라서 기존 APM이 담당하는 트랜잭션 모니터링의 복잡성은 더욱 증가했고, Observability의 필요성이 대두되었습니다. DevOps와 클라우드 네이티브 환경으로서의 전환 옵저버빌리티가 등장하게 된 두 번째 이유는, DevOps와 클라우드 네이티브 환경으로 전환하기 위해 필요한 도구이기 때문입니다. DevOps의 핵심은 소프트웨어의 개발(Deployment)과 운영(Operation)을 분리하는 것이 아닌, 하나로 통합된 업무 처리 방식으로 진행됩니다. 이때 관리하는 서비스 전반에 대한 가시성이 충분히 확보되지 않으면, DevOps 조직은 근본적인 원인을 찾는 데 어려움을 겪게 됩니다. 이러한 어려움을 해결하기 위해서는 서비스를 구성하는 아키텍처부터 트랜잭션까지 가시성이 확보되어야 합니다. 이를 통해 DevOps의 목표인 지속적인 개발과 운영의 통합을 만들어낼 수 있죠. 또한 Observability는 클라우드 네이티브 환경으로 전환하기 위한 필수 조건입니다. 기업에서 운영 중인 서비스/IT 인프라가 클라우드 네이티브 환경으로 전환되면서, 이전에 발생하지 않았던 모든 장애 가능성에 대한 인지를 위해 Observability가 선행되어야 합니다. │Observability와 Monitoring 차이점 그렇다면 기존의 모니터링(Monitoring)과 옵저버벌리티(Observability)의 차이점은 무엇일까요? 기존의 모니터링 역할은 IT 인프라의 '정상 작동 확인'을 위한 도구 역할에 초점이 맞춰져 있었습니다. 모니터링 구성 요소인 대시보드와 사용자 알람을 통해 가시성을 확보하고, 장애를 쉽게 감지할 수 있었죠. 즉 모니터링은 인프라 성능 지표, 구성 관리, 사용자 알람에 주 목적을 둔 IT 운영 담당자에 포커스를 맞춘 도구입니다. Observability는 기존 모니터링이 맡는 알람(Alerting), 메트릭(Metric) 외에도 로그(시스템, 애플리케이션), 트레이스, 디버깅과 같은 작업이 가능합니다. 이를 통해 앞으로 발생할 수 있는 장애를 미리 예측하고, 발생한 장애에 대한 근본적인 원인을 찾아내는 데 초점이 맞춰져 있습니다. │Observability 확보를 위한 핵심 구성 요소 옵저버빌리티는 앞서 언급했듯이 메트릭(Metric), 로깅(Logging), 트레이싱(Tracing) 등 작업이 가능한데요. 좀 더 자세히 살펴보겠습니다. Metric 모니터링 분야에서 Metric(메트릭)이란, 인프라 혹은 서비스 성능과 상태를 나타내는 지표입니다. 여기서 중요한 점은 단순히 현재 상태를 보기 쉽게 표현하는 것에서 더 나아가 '시계열 데이터' 형태로 변화하는 데이터를 보여줘야 합니다. 예를 들어 CPU 사용률, 메모리 사용률, 스레드 사용률과 같이 시간이 지남에 따라 어떻게 변화하는지 효율적으로 보여줄 수 있어야 하죠. 또한 메트릭은 여러 AI 분석툴과 오픈소스와 결합하여, 직관적인 파라미터를 통해 시계열 데이터의 다양한 패턴을 자동 감지할 수 있어야 합니다. 운영자와 개발자에게 필요한 리소스를 선택할 수 있도록 성능 예측하는 지표도 필요합니다. Logging Logging(로깅)은 운영 중인 시스템과 애플리케이션에서 발생하는 다양한 이벤트와 에러 등을 기록하는 과정입니다. Observability는 여기서 더 나아가 클라우드 시스템의 모든 로그를 수집하여, 해당 로그를 통해 문제 원인을 식별할 수 있어야 합니다. 물론 각 로그 스트림은 단일 인스턴스에 대한 이벤트를 알려주기 때문에, 마이크로 서비스 환경에서 전체적인 문제 원인을 파악하기 어려울 수 있습니다. 하지만 중앙 집중식 로깅을 사용하면, 애플리케이션 로그를 한곳에 저장할 수 있습니다. 이를 통해 여러 서비스로 구성된 MSA 환경에서 로그를 효과적으로 검색하고 모니터링할 수 있죠. 이러한 작업을 하기 위해서 ELK Stack1 과 같은 로그 수집 활용 도구가 필요한데요. 이 도구는 로그 관리를 단순화화여, 전체 시스템 문제를 더 쉽게 분석할 수 있도록 도와줍니다. *ELK Stack1: Elastic Search. Logstash, Kibana의 약자로 데이터를 수집하고 분석하는 도구 모음 Tracing 트레이싱은 애플리케이션 실행 정보를 기록하는 '특별한 로깅' 방식을 의미합니다. 사실 로깅과 트레이싱을 구분하는 것에 큰 의미는 없습니다. 하지만 Observability 관점에서 트레이싱은, 전체 로그 중 문제를 일으키는 특정 로그들을 시각화하고 이를 선택적으로 관찰하는데 의미가 있습니다. Debugging Observability에서 말하는 디버깅은, 시스템과 서비스 성능을 확인하고 검사할 수 있는 다양한 도구입니다. 장애 원인을 찾을 경우 그 장애 원인뿐만 아니라, 연관관계를 가진 여러 인프라와 애플리케이션을 함께 보여줄 수 있어야 하죠. RUM RUM은 Real User Monitoring 약자로, 사용자의 인터랙션을 추적하여 웹사이트나 애플리케이션 성능을 실시간으로 모니터링하는 기술입니다. 옵저버빌리티는 앞서 언급했듯, 더 이상 IT 인프라 운영자를 위한 도구가 아닙니다. DevOps를 위한 통합적인 가시성을 제공하는 도구이죠. 따라서 운영자와 개발자를 위한 '실제 사용자 관점'에서 모니터링을 제공해야 합니다. 이처럼 옵저버빌리티 시스템은 애플리케이션의 전체적인 상태를 깊이 있게 파악하고, 문제 원인을 분석하는 데 중점을 두는 접근 방식입니다. 그렇다면 애플리케이션 성능 관리 시스템인 APM 도구와는 어떤 차이점이 있을까요? │APM과 Observability 차이점 어떻게 보면 APM과 Observability는 비슷해 보이지만, 문제 원인과 인프라를 분석하는 시각에 따라서 다양한 차이점을 지니고 있습니다. 우선 첫 번째 차이점으로는 모니터링 목적 대상에 따른 차이가 있습니다. APM은 E2E(End-to-End) 성능 구간에 주목합니다. WEB-WAS-DB에 걸친 이 과정을 실제 서비스 사용자의 *액티브 서비스2에 초점을 맞춰, 애플리케이션 성능을 분석하고 모니터링하죠. *액티브 서비스: 현재 시점에서 사용자에게 제공되고 있는 상태 Observability는 APM에서 주목하는 E2E보다, 더 많은 범위를 모니터링합니다. 시스템 인프라, WAS, DB에 대한 정밀 성능 분석과 장애 감지는 물론. 운영 중인 인프라와 서비스를 통합하여 문제 원인을 찾는 데 집중합니다. [그림] Zenius-APM 사용자 정의 실시간 모니터링 상황판 따라서 두 번째 차이점으로는, 측정하는 지표에도 많은 차이가 있는데요. APM은 사용자 요청에 따른 응답 시간과 응답 분포, 액티브 서비스 상태, 트랜잭션 처리율, 이슈 중심으로 '사용자 요청' 관점에 따라 주요 지표를 확인할 수 있습니다. Observability는 사용자의 요청 관점이 아닌, 발생할 수 있는 '모든 이벤트 지표'에 주목합니다. 보다 더 전방위적인 모니터링이 가능하죠. 또한 옵저버빌리티는 기존 APM에서 발생하는 주요 장애 원인뿐 아니라, 예측하지 못한 장애를 객관적인 지표로 보여줍니다. 정리한다면 인프라와 서비스를 분석하고 장애를 탐지한다는 점에서 APM과 Observability는 동일한 역할을 갖지만, 결국 사용자가 무엇을 더 초점에 맞추느냐에 따라 사용 목적은 아래와 같이 달라질 수 있습니다. 우리 기업은 Observability가 맞을까, APM가 맞을까? APM Type Observability Type 애플리케이션 성능 최적화가 필요한 경우 애플리케이션 코드 내의 문제를 식별하고 해결하는 데 중점을 둘 경우 MSA 환경이 아닌 모놀리식 아키텍처에서 서비스를 구성하고 있는 경우 MSA 환경에서의 분산 시스템을 통해 서비스를 구성하는 경우 단순한 애플리케이션 성능을 넘어 전체 IT 인프라 환경에 대한 통찰력 확보가 필요한 경우 인프라 운영자, 개발자, 보안담당자 모두가 통합 모니터링 환경이 필요한 경우 이번 글에서는 옵저버빌리티의 중요성과 APM의 차이점을 자세히 살펴보았습니다. 결론적으로 옵저버빌리티와 APM 중 어느 하나를 더 좋다고 할 수 없으며, 각 조직의 요구사항과 사용 편의성에 맞춰 선택해야 합니다. 그러나 점점 복잡해지는 IT 환경을 고려한다면, 옵저버빌리티를 기반으로 한 Zenius-APM과 같은 도구를 활용하여 좀 더 효율적으로 웹 애플리케이션을 관리해 보는 것은 어떨까요? 🔍더보기 Zenius APM 더 자세히 보기 📝함께 읽으면 더 좋아요 • APM에서 꼭 관리해야 할 주요 지표는?! • APM의 핵심요소와 주요기능은?! 2024.07.24
기술이야기 APM의 핵심요소와 주요기능은?! 기술이야기 APM의 핵심요소와 주요기능은?! 지난 글을 통해서 APM의 필요성과 '트랜잭션' 현황 파악의 중요성에 대해서 알아봤습니다. 이번 시간에는 트랜잭션을 어떤 방식으로 추적하는지 APM 동작 과정을 통해 살펴보고, APM 시스템을 최적화하는 핵심 요소와 기능은 무엇인지 자세히 알아보겠습니다. │APM 동작 과정 APM은 Client-Web Application-DBMS와 같은 구성요소 사이에 트랜잭션1을 추적할 수 있어야 합니다. 이를 통해 웹 서비스 전반적인 성능을 모니터링하고, 문제가 발생했을 때 원인을 신속하게 진단할 수 있기 때문인데요. 그렇다면 각 단계별로 APM가 어떻게 트랜잭션1을 추적하는지 좀 더 자세히 살펴보겠습니다. *트랜잭션1: 쉽게 말해 데이터베이스에 실행되는 작업 단위를 의미합니다. 트랜잭션은 작은 여러 작업들을 하나의 그룹으로 묶어 처리하기 때문에, A라는 작업에서 일부가 성공했다고 하더라도 하나의 트랜잭션 처리가 비정상적으로 종료되면 모두 실패한 것이죠. 클라이언트(Client) 웹 서비스 사용자가 이용하는 디바이스 또는 브라우저입니다. 클라이언트에서 발생하는 요청과 응답을 추적하여 페이지 로딩 시간, 사용자 활동, 에러 발생 등을 파악할 수 있습니다. 이 정보들을 통해 사용자 경험을 분석하고 개선하는데 기초 자료로 사용되죠. 웹서버(Web Server) 클라이언트 요청을 받아, 적절한 답을 생성하여 보내는 서버입니다. 이 단계에서 APM은 서버(예: Apache, Nginx) 로그와 성능 지표를 분석하여 요청 처리 시간, 데이터 전송량, 서버 오류 등 정보를 모니터링하고 기록합니다. 웹 애플리케이션 서버(WAS) WAS는 Web Application Server의 약자로, 애플리케이션에서 사용하는 데이터를 저장하고 관리하는 시스템입니다. 이 단계에서 APM은 데이터베이스 성능을 모니터링하여 DB 쿼리 실행시간과 DB 서버 부하 등을 측정하고, 성능 문제를 파악하는 데 도움을 줍니다. WAS 종류로는 WebLogic, Websphere, JEUS, Tomcat 등이 있습니다. 데이터베이스(DBMS) DBMS(Database Management System)는 기업에서 발생하는 모든 데이터를 저장하고 관리하는 소프트웨어입니다. 이 단계에서는 DB 성능 관리 솔루션을 통해, 애플리케이션 개발자가 작성한 SQL 튜닝과 DBMS 소프트웨어 병목 현상 등을 모니터링할 수 있습니다. 특히 데이터베이스는 IT 인프라에서 필수 요소입니다. 기업 서비스 대부분이 데이터베이스에 접근하여, 데이터를 조회하고 수정해야 하기 때문에 DB 관리는 매우 중요하다 할 수 있죠. 이처럼 APM은 Client-Web Server-Was-DB 각 구성요소 사이에 있는 트랜잭션을 추적하여 웹 서비스 성능을 평가할 수 있습니다. 그다음으로는 APM 시스템 전체적인 성능을 평가하고 최적화하는 핵심 요소는 무엇인지 살펴보겠습니다. │APM 성능을 최적화하는 핵심요소 APM 시스템은 크게 5가지 요소를 통해, 전체적인 성능을 최적화할 수 있습니다. 우선 Resource는 시스템 성능과 안정성을 평가하는데 중요한 역할을 하며, DataBase는 SQL 쿼리의 실행 계획이나 DB 연결 상태와 같은 세부 정보를 분석하여 데이터베이스 성능을 최적화합니다. Alert는 모니터링된 데이터에서 문제를 식별하고 사용자나 운영자에게 경고를 보내며, User 경험과 행동을 추적하여 서비스 품질을 평가합니다. WAS는 서버 내부에서 발생하는 이벤트를 모니터링하고, 서버 성능을 평가하는 역할을 합니다. Resource-Database-Alert-User-WAS 이 5가지 요소는 APM 아키텍처를 구성하는 핵심 요소이기도 한데요. 다음 내용을 통해 APM 아키텍처를 좀 더 자세히 살펴보겠습니다. │APM 아키텍처 APM 아키텍처는 Agent를 통해 WAS(관리대상) 실시간 데이터를 수집하고 → Manager에서 데이터를 수집/분석/가공 한 뒤 → 다양한 UI로 시각화합니다. 특히 꼭 기억해야 할 APM 아키텍처 핵심 3가지는 에이전트, 데이터베이스, 통신방식인데요. 좀 더 자세히 알아보겠습니다. 에이전트 APM 관리대상(예시: WebSphere, WebLogic, JBoss, JEUS, Tomcat 등)에 Agent라고 불리는 소프트웨어를 설치합니다. 그다음 모니터링 대상 시스템(WAS)에서 데이터를 수집하죠. 에이전트는 애플리케이션 내부 동작을 모니터링하고, 성능 데이터를 수집하는 역할을 합니다. 이러한 데이터를 활용하여 에이전트는 서비스 구간별 현황과 초당 처리 건수, 서비스 응답시간, 동시 접속자 수, 트랜잭션 거래량, 에러 등 상세한 지표를 제공해 주죠. 데이터베이스 수집된 데이터를 보관하고 분석하기 위해서는, 데이터베이스(DataBase)를 사용합니다. 이 데이터베이스는 대규모 데이터를 저장하고 관리하는 구조여야 하며, 분석하고 보고서를 생성하는데 필요한 데이터를 효율적으로 쿼리 할 수 있어야 합니다. 통신방식 APM 시스템은 보통 다양한 통신 프로토콜(Communication Protocol)을 사용하여, 데이터를 수집하고 전송합니다. 예를 들어 웹 소켓(WebSocket)을 통해 실시간 데이터를 전송하거나 http(s)를 사용하여 주기적으로 데이터를 전송하는 방식이 일반적입니다. 그다음으로는 APM은 어떤 주요 기능을 제공하는지 알아보도록 하겠습니다. │APM 주요기능 APM은 대표적으로 웹사이트와 소프트웨어 애플리케이션 및 서비스에서, 성능을 모니터링하고 분석하는 기능이 있는데요. 좀 더 자세한 APM 기능을 살펴보겠습니다. 실시간 성능 통합 모니터링 [그림] Zenius-APM 토폴로지 맵 APM은 Tomcat, Jboss, WebLogic, JEUS 등 다양한 애플리케이션 서버(WAS) 환경에서 실행되는 애플리케이션 통합 모니터링을 제공합니다. 시스템 간의 처리 성능과 현황 정보는 토폴로지 뷰를 통해 시각적으로 파악할 수 있죠. [그림] Zenius-APM 모니터링 상황판 또한 각 서버의 트랜잭션 처리량, 처리 속도, 자원 사용량을 실시간으로 분석하여 시스템 성능을 관리합니다. 특정 트랜잭션 실행 경로를 추적하고 분석하여, 성능 병목 현상도 식별할 수 있습니다. [그림] Zenius-APM 모니터링 서비스 응답분포 APM은 서비스 응답 분포도를 제공하여, 비정상적인 트랜잭션을 집중적으로 조회하고 분석할 수 있습니다. 장애관리 APM은 메모리 누수, 서비스 응답 지연과 같은 장애 원인을 실시간으로 추적하고 분석하는 기능을 제공합니다. Rawdata를 기반으로 장애 발생 시점을 재현하여, 문제의 근본 원인을 파악하는 데 도움을 주죠. 또한 자동 이벤트 처리는 장애 관리 규칙(Rule)에 따라 이루어지며, 문제 발생 시에는 사용자에게 즉각적인 알림을 제공합니다. 성능 분석과 통계 APM은 애플리케이션 성능을 다양한 지표(예: 성능비교, 기간비교, 증설 필요성, 시간대별 등)를 통해 분석하고, 여러 파일 형식의 보고서로 제공합니다. 또한 애플리케이션 성능 문제와 SQL 쿼리 간의 연관성을 분석하여 성능 개선 방안을 제안합니다. 다양한 환경 지원 레거시 시스템에서 클라우드 인프라에 이르기까지, APM은 다양한 IT 환경을 효과적으로 지원합니다. 또한 WAS 중심 성능 관리와 MSA(마이크로 서비스 아키텍처) 환경 모니터링을 가능하게 하는 기술을 제공하죠. 이번 시간에 알아본 내용처럼 APM은 다양한 애플리케이션 서버(WAS) 환경에서 실행되며, 트랜잭션 성능을 관리하는 통합 모니터링 제품입니다. Zenius-APM와 같이 다양한 WAS 환경에서의 통합 모니터링과 트랜잭션 처리 현황을 체계적으로 파악할 수 있는 APM을 통해, 효과적으로 웹 애플리케이션을 관리해 보세요! 2024.07.19
기술이야기 APM에서 꼭 관리해야 할 주요 지표는? 기술이야기 APM에서 꼭 관리해야 할 주요 지표는? 웹 애플리케이션, 모바일 애플리케이션, 데스크탑 소프트웨어, 그리고 클라우드 기반 서비스까지 애플리케이션 서비스의 범위는 점점 더 광범위해지고 있습니다. 온라인 쇼핑, OTT, 게임, 금융, SNS, 기업 ERP 서비스 등 거의 모든 산업 분야에서 애플리케이션을 활용하는 가운데 애플리케이션 서비스가 원활하게 제공되지 않으면 기업은 고객의 신뢰를 잃고, 브랜드 이미지와 매출에도 큰 타격을 입게 됩니다. 이에 따라서 애플리케이션의 성능을 지속적으로 모니터링하고 문제를 신속하게 감지하고 해결하게 해주는 APM(Application Performance Monitoring)의 중요성이 빠르게 커지고 있습니다. 그렇다면 구체적으로 APM이 왜 필요한지와 APM을 통해 꼭 살펴봐야 하는 지표들에 대해서 자세히 알아보겠습니다. │APM(Application Performance Monitoring)의 필요성 앞서 언급한 것처럼 APM은 애플리케이션의 성능을 추적하여, 사용자 만족도를 높이기 위한 필수적인 도구입니다. APM이 왜 점점 더 중요해졌는지 좀 더 구체적으로 살펴볼게요. 시스템 복잡성 관리 현대 IT 환경은 마이크로서비스(MSA), 클라우드, 서버리스 컴퓨팅 등 다양한 기술을 복합적으로 사용합니다. 이로 인해 시스템은 점점 더 복잡해지고, 전통적인 모니터링 도구로는 파악하기 어려운 문제가 발생할 수 있는데요. APM은 이러한 복잡한 시스템에서 발생하는 성능 저하나 오류를 정확히 파악하고, 문제의 근원지를 신속하게 찾아내는 데 도움을 줍니다. 예를 들어 대형 은행이 APM을 통해 실시간 거래 처리 시스템의 성능 저하를 조기에 발견하고 해결하여, 고객 불편을 최소화한 사례가 있습니다. 비즈니스 효율성 및 비용절감 오늘날 기업들은 웹사이트, 모바일 앱, 클라우드 서비스 등 다양한 디지털 플랫폼을 원활하게 운영하기를 원합니다. 동시에 어떻게 하면 이 많은 플랫폼들을 효율적으로 운영하면서, 비용을 절감할지 고민하는데요. APM은 이러한 고민을 해결해 줍니다. 예를 든다면 APM은 클라우드 환경에서 비효율적으로 사용되는 리소스를 식별하고, 필요한 경우에만 리소스를 확장하거나 축소할 수 있도록 지원합니다. 이를 통해 클라우드 비용을 절감하면서도, 시스템 성능을 유지할 수 있게 도와주죠. 고객 경험 개선 다양한 웹/모바일 서비스들이 생겨나면서 소비자들은 점점 더 빠르고, 안정적이며, 개인에게 특화된 맞춤형 서비스를 원하고 있습니다. 애플리케이션의 성능을 개선할수록 사용자 만족도 역시 높아지죠. 만약 소비자 입장에서 필요한 물건을 구매하려고 할 때 버그가 발생하여 구매페이지가 넘어가지 않거나, 결제 과정에 문제가 생긴다면, 고객은 구매를 포기할 수도 있습니다. 이러한 상황에서 APM은 웹 애플리케이션의 성능을 실시간으로 감시하고 문제를 빠르게 해결해 줍니다. 이를 통해 사용자 만족도를 높이고 기업의 잠재적인 매출을 방지할 수 있습니다. 이번엔 개발자/운영자의 관점으로 보는 APM의 필요성을 살펴보겠습니다. 개발자: 개발자는 APM을 통해 애플리케이션의 성능 저하를 유발하는 코드 문제점을 상세히 파악합니다. 예를 들어 느린 데이터베이스 쿼리라던지, 비효율적인 로직, 예기치 않은 오류나 버그 등을 실시간으로 개선합니다. 운영자: 웹/모바일 서비스에 성능 저하나 장애가 발생할 경우 운영자는 APM을 사용하면 어떤 부분이 원인인지 신속하게 진단하고, 필요한 조치를 취할 수 있습니다. 예를 들어 시스템의 디스크, 네트워크, 애플리케이션 등 어느 부분이 문제인지 빠르게 파악할 수 있죠. 또한 시스템의 리소스 사용률을 분석하여, 비효율적으로 사용되는 리소스를 조정합니다. 이처럼 APM을 적극적으로 활용하는 기업은, 웹 애플리케이션 성능을 효과적으로 관리할 수 있어 고객 만족을 높일 수 있습니다. 그렇다면 APM을 통해 웹 애플리케이션을 효율적으로 관리하기 위해서는 어떤 지표를 구체적으로 확인하고 관리해야 할까요? │APM에서 꼭 확인해야 할 주요 지표들 APM으로 웹 애플리케이션을 효과적으로 관리하기 위해서는, 먼저 트랜잭션(Transaction) 처리 현황을 확인하는 것이 중요합니다. APM을 통해 사용자가 웹페이지를 조회하거나, API 호출을 통해 특정 작업을 요청할 때, 이 요청이 정상적으로 활성화되고 완료되기까지 전 과정을 살펴볼 수 있어야 하죠. 이밖에도 확인해야 할 주요 지표들이 있는데요. 좀 더 자세히 살펴보겠습니다. 트랜잭션 처리량 [그림] Zenius-APM 서비스 처리 현황 이 차트는 시스템이 일정 시간동안 처리할 수 있는 트랜잭션의 수를 말합니다. 쉽게 말해 웹 애플리케이션이 얼마나 많은 일을 할 수 있는지를 보여주는 지표이죠. 예를 든다면 온라인 쇼핑몰에는 초당 몇 건의 주문을 처리할 수 있는지를 나타냅니다. 여기서 트랜잭션 처리량이 높다는 것은 그만큼 많은 작업을 빠르게 처리할 수 있다는 것을 의미합니다. 정리한다면 시스템 부하가 증가할 경우 처리량이 어떻게 변화하는지 파악하여, 시스템이 사용자 요구와 피크 타임에 충분한 성능을 발휘할 수 있는지 확인하는데 유용합니다. 트랜잭션 상세 성능 : CPU, 힙메모리 등 [그림] Zenius-APM CPU, 힙 메모리 사용률 APM은 트랜잭션의 상세 성능인 CPU 사용률, 힙 메모리 사용률 등 같은 중요한 지표들을 측정합니다. 'CPU 사용률'은 애플리케이션이 얼마나 많은 리소스를 사용하는지를 보여줍니다. '힙 메모리 사용률'은 애플리케이션의 메모리 관리 효율성을 진단하는 지표인데요. 높은 사용률은 메모리 누수를, 낮은 사용률은 리소스 부족과 성능 저하를 나타낼 수 있죠. 이 지표를 모니터링함으로써 개발자는 메모리 관리를 최적화할 수 있습니다. 트랜잭션 응답 분포 : 응답시간 [그림] Zenius-APM 서비스 응답분포 트랜잭션 응답 분포는 사용자의 요청에 대한 시스템의 응답 시간을 말합니다. 사용자가 웹 애플리케이션에 어떤 요청을 했을 때, 시스템이 얼마나 빨리 응답하는지를 나타내주죠. 예를 들어 웹사이트에서 페이지를 클릭했을 때, 그 페이지가 얼마나 빨리 응답하는지에 대한 시간을 말합니다. 응답 시간이 짧으면 사용자는 웹사이트에 더 오래 머무르고, 더 많은 페이지를 탐색하게 해, 사용자의 이탈률을 줄일 수 있겠죠. 사용자 수 모니터링 지표 제공 : 동시 접속 사용자 수, 시간당 방문자 수, 액티브 사용자 수 [그림] Zenius-APM 동시 사용자수, 시간대별 방문자 수 등 이 지표는 웹 애플리케이션을 이용하는 사용자 활동을 측정합니다. 여기서 꼭 확인해야 하는 세 가지 지표가 있는데요. '동시 접속 사용자 수'는 특정 시점에 애플리케이션을 이용하는 사용자 수를 나타내며, 시스템의 부하를 파악하는 데 중요한 지표입니다. '시간당 방문자 수'는 한 시간 동안 애플리케이션 트래픽 패턴을 이해하는 데 도움을 주며 '액티브 사용자 수'는 일정 기간 동안 활동적으로 애플리케이션을 이용하는 사용자 수를 의미하죠. 예를 든다면 온라인 게임 서버에 동시 접속 사용자 수가 급격히 증가하는 시간대를 파악하여, 그 시간대에 서버 리소스를 늘리거나 최적화하여 끊김 없는 게임을 경험할 수 있게 하죠. 이처럼 APM은 트랜잭션을 모니터링하여, 애플리케이션의 성능을 측정하고 분석할 수 있어야 합니다. 이를 통해 웹 애플리케이션에 문제가 발생했을 때 어디서부터 해결해야 할지에 대한 방향을 잡을 수 있죠. │APM, 효과적으로 활용하고 있으신가요? 이번 시간에는 APM이 왜 점차 중요해지고, 웹 애플리케이션을 효과적으로 관리하기 위해 어떤 APM 핵심 지표를 살펴봐야 하는지 알아보았습니다. 다양한 분야에서 애플리케이션 활용이 필수가 되고 있고 AI와 클라우드 컴퓨팅 기술 채택으로 인한 복잡성이 증가하고 있습니다. 이에 따라서 Mordor Intelligence는 APM 시장의 가치가 2024년에 약 94억 달러에 이른 후 2029년까지 연평균 성장률(CAGR) 31%로 급성장할 것으로 예측했습니다. 이처럼 급격하게 중요성과 활용도가 커지는 APM. 혹시 아직 도입하지 않으셨다면 Zenius-APM과 같은 효율적인 솔루션을 통해 애플리케이션 성능을 최적화 하시기 바랍니다. 2024.07.12
기술이야기 EMS, NPM, AIOps까지! NMS의 진화 자세히 보기 기술이야기 EMS, NPM, AIOps까지! NMS의 진화 자세히 보기 앞선 글들을 통해서 NMS의 기본 개념, 구성요소와 기능, 정보 수집 프로토콜에 대해서 알아봤었는데요. 이번 글에서는 NMS의 역사와 진화 과정, 그리고 최근 트렌드에 대해서 자세히 알아보겠습니다. EMS, NPM, 그리고 AIOps에 이르기까지 네트워크의 빠른 변화에 발맞추어 진화하고 있는 NMS에 대해서 하나씩 하나씩 살펴보겠습니다. ㅣNMS의 역사와 진화 과정 우선 NMS의 전반적인 역사와 진화 과정을 살펴보겠습니다. [1] 초기 단계 (1980년대 이전) 초기에는 네트워크 관리가 수동적이었습니다. 네트워크 운영자들은 네트워크를 모니터링하고 문제를 해결하기 위해 로그 파일을 수동으로 분석하고 감독했습니다. [2] SNMP의 등장 (1988년) SNMP(Simple Network Management Protocol)의 등장으로 네트워크 장비에서 데이터를 수집하고 이를 중앙 집중식으로 관리하는 표준 프로토콜을 통해 네트워크 관리자들이 네트워크 장비의 상태를 실시간으로 모니터링하고 제어할 수 있게 됐습니다. [3] 네트워크 관리 플랫폼의 출현 (1990년대 중후반) 1990년대 후반부에는 상용 및 오픈 소스 기반의 통합된 네트워크 관리 플랫폼이 등장했습니다. 이러한 플랫폼들은 다양한 네트워크 장비와 프로토콜을 지원하고, 시각화된 대시보드와 경고 기능 등을 제공하여 네트워크 관리의 편의성을 높였습니다. [4] 웹 기반 NMS (2000년대 중반) 2000년대 중반에는 웹 기반의 NMS가 등장했습니다. 이러한 시스템은 사용자 친화적인 웹 인터페이스를 통해 네트워크 상태를 모니터링하고 관리할 수 있게 했습니다. [5] 클라우드 기반 NMS (2010년대 이후) 최근 몇 년간 클라우드 기반 NMS의 등장으로 네트워크 관리의 패러다임이 변화하고 있습니다. 또한 빅데이터 기술과 인공지능(AI) 기술을 활용하여 네트워크 성능을 최적화하고, 향후 성능을 예측할 수 있는 성능 예측 기능까지 NMS에서 제공하고 있습니다. ㅣNMS에서 EMS로의 진화 네트워크 환경은 빠르게 변화하게 되고, 이에 따라서 NMS도 EMS로 진화하게 됩니다. NMS의 진화는 총 세 가지 세대로 나눌 수 있습니다. 1세대: 디바이스 관리 시스템 기존의 NMS는 외산 제조사에서 제공하는 전용 네트워크 솔루션이 주를 이루었습니다. CISCO의 시스코웍스(CiscoWorks), IBM의 넷뷰(NetView) HP의 네트워크 노드 매니저(Network Node Manager) 등 다양한 벤더들이 자사의 제품에 대한 모니터링 서비스를 제공하기 위해 특화된 디바이스 관리 솔루션을 내놓았죠. HP Network Node Manager 예시 화면(출처ⓒ omgfreeet.live) 물론 자사의 제품을 관리하기 위한 목적에서 출발한 솔루션이었기에, 대규모 이기종 IT 인프라 환경에 대한 모니터링 기능은 제공하지 못했습니다. 2세대: IT 인프라 관리 시스템 EMS의 등장 1세대의 NMS의 경우 빠르게 급변하는 네트워크 트렌드를 따라갈 수 없었습니다. 가상랜(VLAN), 클라이언트-서버 기술이 발달하게 되자, IP 네트워크 관계만으로 실제 토폴로지를 파악하기 어려웠습니다. 또한 네트워크장비 및 회선의 상태뿐 아니라, 서버 등의 이기종 IT 인프라 통합 모니터링에 대한 니즈와 함께 EMS(Enterprise Management System)의 시대가 시작됩니다. 이에 따라 서비스 관리 차원의 통합 관제 서비스가 등장합니다. 기존의 네트워크 모니터링뿐 아니라 서버, DBMS, WAS 등 IT 서비스를 이루고 있는 모든 인프라들에 대한 통합 모니터링에 대한 관심과 니즈가 증가했기 때문입니다. 3세대: 클라우드 네이티브 환경의 EMS 2010년 중 이후 서버, 네트워크 등 IT 인프라에 대한 클라우드 네이티브로의 전환이 가속화되었습니다. 기존의 레거시 환경에 대한 모니터링과 함께 퍼블릭, 프라이빗 클라우드에 대한 모니터링 니즈가 증가하면서 모든 환경에 대한 통합적인 가시성을 제공해 줄 수 있는 EMS가 필요하게 되었죠. 이외에도 AI의 발전을 통해 AIOps, Observability라는 이름으로 인프라에 대한 장애를 사전적으로 예측할 수 있는 기능이 필요하게 됐습니다. ㅣ네트워크 환경 변화(가상화)와 NMS의 변화 이번에는 네트워크 환경 변화에 따른 NMS의 변화에 대해서 알아보겠습니다. 네트워크 환경 변화(네트워크 가상화) 네트워크 구성 방식은 지속적으로 변화해왔습니다. 클라이언트-서버 모델부터 중앙 집중식 네트워크, MSA 환경에서의 네트워크 구성까지 이러한 변화는 기술 발전, 비즈니스 요구 사항, 보안 요구 사항 등 다양한 요인에 의해 영향을 받았는데요. 무엇보다 가장 중요한 변화는 전통적인 온 프레미스 네트워크 구조에서 네트워크 자원이 더 이상 물리적인 장비 기반의 구성이 아닌 가상화 환경에서 구성된다는 점입니다. ▪소프트웨어 정의 네트워킹(SDN, 2000년대 후반 - 현재): 네트워크 관리와 제어를 분리하고 소프트웨어로 정의하여 유연성과 자동화를 향상시키는 접근 방식입니다. SDN은 네트워크 관리의 복잡성을 줄이고 가상화, 클라우드 컴퓨팅 및 컨테이너화와 같은 새로운 기술의 통합을 촉진시켰습니다. ▪네트워크 가상화 (NFV, 현재): 기존 하드웨어 기반 전용 장비에서 수행되던 네트워크 기능을 소프트웨어로 가상화하여 하드웨어 의존성과 장비 벤더에 대한 종속성을 배제하고, 네트워크 오케스트레이션을 통해 네트워크 환경 변화에 민첩한 대응을 가능하게 합니다. ㅣ클라우드, AI 등의 등장에 따른 NMS의 방향 클라우드 네이티브가 가속화되고, AI를 통한 인프라 관리가 주요 화두로 급부상하면서 네트워크 구성과 이를 모니터링하는 NMS의 환경 역시 급변하고 있습니다. 클라우드 내의 네트워크: VPC VPC(Virtual Private Cloud)는 퍼블릭 클라우드 환경에서 사용할 수 있는 전용 사설 네트워크입니다. VPC 개념에 앞서 VPN에 대한 개념을 단단히 잡고 넘어가야 합니다. VPN(Virtual Private Network)은 가상사설망으로 '가상'이라는 단어에서 유추할 수 있듯이 실제 사설망이 아닌 가상의 사설망입니다. VPN을 통해 하나의 네트워크를 가상의 망으로 분리하여, 논리적으로 다른 네트워크인 것처럼 구성할 수 있습니다. VPC도 이와 마찬가지로 클라우드 환경을 퍼블릭과 프라이빗의 논리적인 독립된 네트워크 영역으로 분리할 수 있게 해줍니다. VPC가 등장한 후 클라우드 내에 있는 여러 리소스를 격리할 수 있게 되었는데요. 예를 들어 'IP 주소 간에는 중첩되는 부분이 없었는지', '클라우드 내에 네트워크 분리 방안' 등 다양한 문제들을 VPC를 통해 해결할 수 있었습니다. ▪서브넷(Subnet): 서브넷은 서브 네트워크(Subnetwork)의 줄임말로 IP 네트워크의 논리적인 영역을 부분적으로 나눈 하위망을 말합니다. AWS, Azure, KT클라우드, NHN 등 다양한 퍼블릭 클라우드의 VPC 서브넷을 통해 네트워크를 분리할 수 있습니다. ▪서브넷은 크게 퍼블릿 서브넷과 프라이빗 서브넷으로 나눌 수 있습니다. 말 그대로 외부 인터넷 구간과 직접적으로 통신할 수 있는 공공, 폐쇄적인 네트워크 망입니다. VPC를 이용하면 Public subnet, Private subnet, VPN only subnet 등 필요에 따라 다양한 서브넷을 생성할 수 있습니다. ▪가상 라우터와 라우트 테이블(routing table): VPC를 통해 가상의 라우터와 라우트 테이블이 생성됩니다. NPM(Network Performance Monitoring) 네트워크 퍼포먼스 모니터링(NPM)은 전통적인 네트워크 모니터링을 넘어 사용자가 경험하는 네트워크 서비스 품질을 측정, 진단, 최적화하는 프로세스입니다. NPM 솔루션은 다양한 유형의 네트워크 데이터(ex: packet, flow, metric, test result)를 결합하여 네트워크의 성능과 가용성, 그리고 사용자의 비즈니스와 연관된 네트워크 지표들을 분석합니다. 단순하게 네트워크 성능 데이터(Packet, SNMP, Flow 등)를 수집하는 수동적인 과거의 네트워크 모니터링과는 다릅니다. 우선 NPM은 네트워크 테스트(Synthetic test)를 통해 수집한 데이터까지 활용하여, 실제 네트워크 사용자가 경험하는 네트워킹 서비스 품질을 높이는데 그 목적이 있습니다. NPM 솔루션은 NPMD라는 이름으로 불리기도 합니다. Gartner는 네트워크 성능 모니터링 시장을 NPMD 시장으로 명명하고 다양한 데이터를 조합하여 활용하는 솔루션이라고 정의했습니다. 즉 기존의 ICMP, SNMP 활용 및 Flow 데이터 활용과 패킷 캡처(PCAP), 퍼블릭 클라우드에서 제공하는 네트워크 데이터 활용까지 모든 네트워크 데이터를 조합하는 것이 핵심이라 할 수 있습니다. AIOps: AI를 활용한 네트워크 모니터링 AI 모델을 활용한 IT 운영을 'AIOps'라고 부릅니다. 2014년 Gartner를 통해 처음으로 등장한 이 단어는 IT 인프라 운영에 머신러닝, 빅데이터 등 AI 모델을 활용하여 리소스 관리 및 성능에 대한 예측 관리를 실현하는 것을 말합니다. 가트너에서는 AIOps에 대한 이해를 위해 관제 서비스, 운영, 자동화라는 세 가지 영역으로 분류해서 설명하고 있습니다. ▪관제(Observe): AIOps는 장애 이벤트가 발생할 때 분석에 필요한 로그, 성능 메트릭 정보 및 기타 데이터를 자동으로 수집하여 모든 데이터를 통합하고 패턴을 식별할 수 있는 관제 단계가 필요합니다. ▪운영(Engine): 수집된 데이터를 분석하여 장애의 근본 원인을 판단하고 진단하는 단계로, 장애 해결을 위해 상황에 맞는 정보를 IT 운영 담당자에게 전달하여 반복적인 장애에 대한 조치 방안을 자동화하는 과정입니다. ▪자동화(Automation): 장애 발생 시 적절한 해결책을 제시하고 정상 복구할 수 있는 방안을 제시하여, 유사 상황에도 AIOps가 자동으로 조치할 수 있는 방안을 마련하는 단계입니다. 위의 세 단계를 거쳐 AIOps를 적용하면 IT 운영을 사전 예방의 성격으로 사용자가 이용하는 서비스, 애플리케이션, 그리고 인프라까지 전 구간의 사전 예방적 모니터링을 가능하게 합니다. 또한 구축한 데이터를 기반으로 AI 알고리즘 및 머신 러닝을 활용하여 그 어떠한 장애에 대한 신속한 조치와 대응도 자동으로 가능하게 합니다. Zenius를 통한 클라우드 네트워크 모니터링 참고로 Zenius를 통해 각 퍼블릭 클라우드 별 VPC 모니터링이 가능합니다. VPC의 상태 정보와 라우팅 테이블, 서브넷 목록 및 서브넷 별 상세 정보 (Subnet ID, Available IP, Availability Zone 등)에 대한 모니터링 할 수 있습니다. Zenius-CMS를 통한 AWS VPC 모니터링 이외에도 각 클라우드 서비스에 대한 상세 모니터링을 통해 클라우드 모니터링 및 온 프레미스를 하나의 화면에서 모니터링하실 수 있습니다. 。。。。。。。。。。。。 지금까지 살펴본 것처럼, 네트워크의 변화에 따라서 NMS는 계속해서 진화하고 있습니다. 현재의 네트워크 환경과 변화할 환경을 모두 완벽하게 관리할 수 있는 NMS 솔루션을 통해 안정적으로 서비스를 운영하시기 바랍니다. 2024.04.03
기술이야기 데브옵스(DevOps)에 대한 오해, 그리고 진실은?! 기술이야기 데브옵스(DevOps)에 대한 오해, 그리고 진실은?! 2000년 대 후반 IT 분야에서 데브옵스(DevOps)라는 움직임이 시작된 후, 꾸준하게 관심이 이어지고 있습니다. 데브옵스와 관련된 전 세계 시장의 규모는 2023년 기준 약 15조 원으로 추산되며, 올해부터는 연평균 25.5%씩 성장하여 2032년에 118조 원에 이를 것으로 예상됩니다(*출처: Grand View Research). 우리나라의 경우 네이버, 카카오, 우아한 형제들, 토스 등과 같은 국내 대기업부터 스타트업까지 데브옵스 팀을 구축하여 적극적으로 활용하고 있기도 한데요. 이처럼 많은 기업들이 말하는 데브옵스란 과연 무엇일까요? 그리고 어떻게 하면 데브옵스를 성공적으로 도입하고 활용할 수 있을까요? │ 데브옵스(DevOps)란 무엇인가? [그림 1] DevOps 개념 ⓒdevopedia 우선 데브옵스가 무엇인지부터 살펴봅시다. 검색 사이트에서 '데브옵스 혹은 DevOps'라고 검색하면 위 [그림1]과 같은 결과를 찾을 수 있는데요. [그림 2] DevOps에 대한 필자의 첫인상 하지만 처음 데브옵스라는 단어를 접할 경우 [그림 2]처럼 오버랩되는 건, 필자만 그런 것은 아니라고 생각합니다. 위 그림처럼 "개발자 보러 운영까지 하라는 거야? 아니면 운영자에게 개발까지 하라는 거야?"라는 질문을 던질 수 있겠죠. 데브옵스(DevOps)는 소프트웨어의 개발(Developmnet)과 + 운영(Operations)의 합성어이다. 이는 소프트웨어 개발자와 정보기술 전문가 간의 소통, 협업 및 통합을 강조하는 개발 환경이나 문화를 말한다. 데브옵스는 소프트웨어 개발조직과 운영조직 간의 상호 의존적 대응이며, 조직이 소프트웨어 제품과 서비스를 빠른 시간에 개발 및 배포하는 것을 목적으로 한다. ⓒ위키백과 위 내용에도 언급되었듯이, 데브옵스라는 것은 결국 단순한 기술이 아닌 환경 또는 사람들 간에 관계라고 할 수 있습니다. 그렇다면 데브옵스는 어떤 이유로 주목받을 수 있었을까요? │ 데브옵스(DevOps)가 주목받게 된 배경은? 데브옵스가 주목받은 이유는 여러 가지 있을 수 있지만, 주요한 이유 중 몇 가지를 설명하면 다음과 같습니다. 클라우드 컴퓨팅 기술의 발전 IT 산업의 발전에 따라 빠른 개발과 빠른 배포, 그리고 고객의 요구에 신속하게 대응하는 능력이 중요해졌습니다. 특히 클라우드 컴퓨팅(Cloud Computing) 기술의 발전으로 데브옵스의 필요성이 더 대두되었는데요. 클라우드 자원의 가상화 기술과 빠른 프로비저닝*1을 통해 기존의 개발과 운영 간의 경계가 허물어지며, 서로 간의 협력이 필수적으로 요구되었기 때문입니다. 실제로 데브옵스만으로는 52%, 클라우드 단독 사용으로는 53%의 성능 향상을 얻었지만, 데브옵스와 클라우드가 결합된 환경에서는 평균 81%의 성능을 향상시킬 수 있다는 조사 결과도 있습니다. *1 프로비저닝(Provisioning): 사용자가 요청한 IT 자원을 사용할 수 있는 상태로 준비하는 것 MSA의 등장 [그림 4] 모놀리식 구조 예시(왼) [그림 5] MSA 구조 예시(오) 지금까지 운영 중인 시스템 혹은 서비스는, 하나의 큰 덩어리로 구성된 [그림 4] 모놀리식(Monolithic) 구조를 많이 사용하고 있습니다. 안정성을 확보하고 기능 추가를 편리하게 할 수 있었기 때문이죠. 하지만 한 부분의 변경이 전체 시스템에 영향을 미칠 수 있어, 유지보수가 어렵다는 한계점이 있습니다. 예를 든다면 특정 기능이 수정이 필요한 경우에도, 전체 시스템을 수정해야 해서 번거롭고 비효율적인 부분이 있습니다. 이러한 모놀리식 구조의 한계점으로 소프트웨어의 구조가 서서히 [그림 5] MSA(Micro Service Architecture)로 변화되고 있습니다. MSA는 통합된 하나의 덩어리를 관리하는 것이 아닌, 작은 단위로 쪼개어 관리하는 방식인데요. 관리하기도 효율적이고, 소프트웨어 품질개선과 요구사항 반영이 비교적 편리해졌습니다. 각 서비스가 독립적으로 배포되고 운영되기 때문에, 특정 기능을 수정할 때 전체 기능을 수정하거나 다시 배포할 필요가 없어진 거죠. 하지만 이러한 변화는 기존의 개발 환경과 조직 문화로 대응하기엔 어려움이 있었습니다. 이때 '데브옵스(DevOps)'가 좋은 솔루션으로 등장한 것이죠! 데브옵스가 지속적인 통합(CI)1과 지속적인 배포(CD)2를 통해 빠른 개발 주기를 실현하고 배포할 수 있을 뿐만 아니라, 다수의 독립적인 서비스가 상호작용할 수 있도록 원활한 협업과 통합을 가능하게 했기 때문입니다. *1 지속적인 통합(Continuous Integration, CI) 개발자가 코드를 변경할 때마다 자동으로 통합하고 빌드 하여, 소프트웨어의 품질을 빠르게 확인하는 과정 *2 지속적인 배포(Continuous Delivery, CD) 통합된 코드를 자동으로 테스트하고, 안정적으로 통과한 경우에는 자동으로 프로덕션 환경에 소프트웨어를 배포하는 것. 이에 따라 사용자에게 새로운 기능이나 수정 사항을 신속히 제공하는 과정 │ 데브옵스(DevOps) 도입 성공사례는? 이처럼 데브옵스의 정의와 주목받게 된 배경을 살펴봤는데요. 이번에는 데브옵스를 실제로 기업에 적용해 보고 성공한 사례를 자세히 살펴볼까요? 넷플릭스 넷플릭스(Netflix)는 데브옵스를 성공의 핵심요소로 삼아, 지속적으로 새로운 기능과 업데이트를 제공했습니다. 자동화된 유연한 인프라로 사용자 경험을 향상시켰죠. 이를 통해 빠르게 변화하는 스트리밍 산업에서 앞서 나갈 수 있게 되었고, 많은 비즈니스 이점을 얻게 되었습니다. 사실 넷플릭스는 2008년 큰 장애를 겪은 후, 클라우드로 이전되면서 인프라를 혁신적으로 개편했습니다. 이로써 기존의 수직적 단일 장애 지점에서 벗어나, 수평적으로 확장 가능한 분산 시스템을 구축할 수 있었습니다. 아마존 아마존(Amazon)은 데브옵스 원칙을 초기에 채택하여, 개발과 운영팀 간의 협력을 강화했습니다. 자동화와 지속적인 통합을 강조함에 따라, 빠른 배포 주기와 개선된 확장성을 달성할 수 있었죠. 이러한 아마존의 데브옵스 접근 방식은, 시장에서 경쟁 우위를 유지하는데 중요한 역할을 했습니다. 아마존 창립자인 제프 베이조스는 아마존의 데브옵스에 대해 '고객에게 집중하고, 혁신을 포용하며, 실험할 용기'를 강조했습니다. 베이조스는 혁신을 위해, 오해를 받고 비판받을 의향이 있어야 한다고 말했던 것이죠. 페이스북 페이스북(Facebook)은 "빠르게 움직이고 물건을 부수라"는 문화에 뿌리를 둔 데브옵스 관행을 택했습니다. 실험, 민첩성, 위험 감수를 중시하는 접근 방식을 포함해서 말이죠. 이처럼 페이스북은 지속적인 통합과 배포, 자동화된 테스팅, 모니터링을 사용하여 사용자에게 더 빠르고 높은 품질의 새로운 기능과 업데이트를 제공하고 있습니다. 월마트 2011년부터 데브옵스를 도입한 월마트(Walmart)는 자동화와 협업 그리고 지속적인 배포에 중점을 두었습니다. 애자일(Agile) 방법론과 클라우드 기반의 인프라 및 데브옵스 툴체인을 활용하여, 하루에 최대 100번까지 코드를 배포할 수 있게 된 것이죠. 이를 통해 디지털 변환을 가속화하고, 전자상거래 플랫폼을 개선하며, 고객 경험을 향상시킬 수 있었습니다. 위 기업들은 데브옵스라는 도구를 효과적으로 활용하여 비즈니스 성과를 창출하고, 경쟁 우위를 확보할 수 있었습니다. 그렇다면 데브옵스를 도입하기만 하면 무조건 성공할 수 있을까요? │ 데브옵스(DevOps)의 오해와 한계 앞선 질문에 대한 대답은 아쉽게도 NO입니다. 데브옵스는 개발 환경과 문화를 전부 해결해 줄 수 있는 '만능책'은 아니라는 것이죠. 데브옵스가 도입된 이후 새로운 한계점이 발견되었고, 실패할 사례들도 적지 않게 나왔습니다. 이러한 결과는 아래와 같은 오해들에서 비롯될 확률이 높은데요. 대표적으로 3가지만 살펴봅시다. [그림 6] DevOps 구현을 위한 도구 ⓒMedium_Ajesh Martin 오해 1. 데브옵스는 일종의 단순한 도구일 뿐이다? 데브옵스를 '일종의 도구'로만 보는 것은 잘못된 판단입니다. 물론 여러 팀에서 보다 더 나은 환경과 문화를 위해 슬랙(Slack), 젠킨즈(Jenkins), 도커(Docker) 등 여러 도구를 사용하는 것은 좋습니다. 하지만 데브옵스는 이보다 더 광범위한 접근 방식을 담고 있습니다. 즉 개발과 운영팀 간의 협력과 더 빠른 소프트웨어 개발과 배포를 가능하게 하는 방법론을 포함한다는 것이죠. 다시 말해 데브옵스라는 '도구'를 이용하기 이전에, 문화적 그리고 기술적 접근 방식이 바탕이 되어야 데브옵스라는 툴이 도움 될 수 있습니다. 오해 2. 데브옵스는 모든 조직에 적합하다? 만약 '다른 회사에 데브옵스라는 팀이 있으니, 우리도 데브옵스 팀을 만들자'라는 식으로 접근한다면, [그림 2]와 같은 모습이 될 것으로 예상됩니다. 즉 데브옵스의 조직 체계를 구성한다고 해서 데브옵스가 실현될 순 없습니다. 서로 다른 입장과 상황이 있는 개발자-팀-회사, 운영자-팀-회사 간에 상당한 노력을 통해 만들어 내는 것이 더 중요한 것이죠. 이와 비슷한 사례로 애자일(Agile) 문화가 있습니다. 2000년대 초반 '애자일 소프트웨어 선언문'으로 다양한 애자일 방법론이 주목을 받았었죠. 개발에서 빠르고 유연한 방법을 강조하며, 이후 많은 기업들이 애자일 방법론을 도입하게 되며 유행처럼 번져갔습니다. [그림 7] Agile 프로세스 여기서 애자일 문화를 도입한 많은 기업들이 간과했던 사실은, 애자일 문화 도입 자체가 '해결책'이라고 생각했다는 점입니다. 이보다 기존의 조직 문화에서 애자일 문화를 도입하는 것이 적합한 상황인지, 기존의 프로세스보다 효과를 발휘할 수 있는지, 팀 구성원들이 충분히 적응할 수 있는 문화인지 등을 우선적으로 고려하는 것이 더 중요합니다. 데브옵스 역시 마찬가지로 기존의 조직 규모, 문화, 프로젝트의 특성에 대한 명확한 이해가 먼저 선행되어야 합니다. 데브옵스 도입 전에 조직의 현재 상황과 목표를 면밀히 평가한 후, 점진적으로 도입하는 것이 중요하죠. 대기업이나 캐시카우가 있는 기업들이 데브옵스를 실행했다고 해서, 또는 단지 트렌드라는 이유만으로 도입하는 것은 위험할 수 있습니다. 오해 3. 데브옵스는 빠른 소프트웨어 배포만을 목표로 한다? 데브옵스는 속도만 중시하고 품질이나 안정성을 소홀히 한다는 인식이 있습니다. 하지만 데브옵스는 소프트웨어의 빠른 배포뿐만 아니라, 품질과 안정성 그리고 보안을 동시에 추구해야 합니다. 이에 따라 지속적인 통합과 배포(CI/CD), 자동화된 테스트, 모니터링 등을 통해 이러한 목표를 달성하려고 노력해야 하죠. 이처럼 데브옵스라는 도구를 도입하고 데브옵스 팀을 구성했다고 해서, 데브옵스가 즉각적으로 실현되는 것은 아닙니다. │ 데브옵스(DevOps) 보다 선행되어야 하는 '이것' 진정한 데브옵스를 실현하기 위한 방법을 한 문장으로 표현한다면 다음과 같습니다. "싸우지 말고 함께 소프트웨어 시스템 혹은 서비스를 만들어봐요" 힘 빠지는 결론일 수도 있습니다. 하지만 데브옵스를 도입하기 이전에 더 선행되어야 할 것은 각각 다른 업무의 조직원들끼리 서로를 이해하고, 협력하며, 보다 안정적인 시스템과 서비스를 제공하는 '문화'를 만드는 것이 더 현실적인 행동이라고 생각합니다. 물론 데브(Dev)와 옵스(Ops)는 우선순위가 동일하지 않고, 동일한 언어를 사용하지 않을 수 있으며, 매우 다른 관점에서 문제 해결될 가능성이 높습니다. 이처럼 팀을 하나로 모으기 위해서는 상당한 시간과 지속적인 노력이 필요한 것이죠. 그렇다면 어떤 방식으로 팀 협업 문화를 만들어야, 데브옵스를 보다 성공적으로 도입할 수 있을까요? │ 데브옵스(DevOps) 성공을 위한 첫걸음 먼저 조직 내의 문화를 이해한 다음, 조직 내 교육과 커뮤니케이션을 강화하는 것이 중요한데요. 구체적인 방안을 제안한다면 다음과 같습니다. 로테이션 프로그램 도입 진정한 데브옵스를 실현하려면, 무엇보다 각 부서의 업무적인 이해가 중요합니다. 가장 직관적인 방법으로는 다른 부서의 업무를 '직접 체험'해 보는 것입니다. 예를 든다면 개발자가 운영팀의 업무를 수행하거나, 보안 팀이 개발 업무에 참여하는 등, 다양한 부서 간의 경험을 쌓아 보는 것이죠. 이를 통해 서로의 업무 환경과 각 부서 간의 역할을 이해하는 데 큰 도움을 받을 수 있습니다. 지식 공유 플랫폼 구축 내부 플랫폼이나 문서화된 지식 공유 시스템을 구축하는 방법도 있습니다. 각 부서의 업무와 프로세스에 대한 정보를 쉽게 접근할 수 있도록 하는 것이죠. 예를 들면 데브옵스 문화나 기술적인 도구, 프로세스 등을 포함하여 다양한 지식을 공유합니다. 이를 통해 각 부서의 업무 특성을 명확히 이해할 수 있고, 협업을 원활하게 진행할 수 있겠죠. 정기적인 교육 세션 빠르게 변화하는 기술에 대응하기 위해, 팀원들이 지속적으로 학습하고 발전해야 합니다. 정기적인 교육은 이러한 학습을 지원하는 데 중요한 역할을 하는데요. 예를 든다면 새로 도입된 CI/CD 도구에 대한 워크숍을 개최하여, 팀원들이 해당 도구의 사용법과 이점을 학습할 수 있도록 합니다. 또한 현재 사용 중인 프로세스 개선점에 대한 세션을 주기적으로 열어, 팀원들이 학습한 내용을 바탕으로 업무에 효율적으로 적용할 수 있습니다. 만약 특정 분야에 강점을 가진 팀원이 있어 주기적으로 자신의 경험과 성과를 공유한다면, 팀 전체에게 영감을 주고 학습 기회를 제공할 수도 있겠죠. 스탠드 업 미팅 활성화 매일 정해진 시간에 각 팀원이 자신의 진행 상황이나 이슈, 계획을 간결하게 공유합니다. 정해진 시간을 지키고 효율적인 미팅 진행을 위해, 공유하는 팀원들의 말에 집중하되 '총 15분'을 초과하지 않도록 노력하는 것이 중요합니다. 이를 통해 짧은 시간 동안 팀 전체가 빠르게 현재 상황을 파악하고, 실시간으로 정보를 공유하며, 신속하게 문제를 해결할 수 있습니다. 이처럼 위와 같은 방법들을 통해 구성원들이 효과적으로 협력할 수 있는 환경을 조성하는 노력들이 필요합니다. 。。。。。。。。。。。。 많은 기업들이 경쟁에서 지지 않기 위해 도입하고 있는 데브옵스(DevOps). 하지만 진정한 데브옵스를 실현하기 위해서는 "싸우지 말고 소프트웨어 시스템 혹은 서비스를 만들어 봐요"라는 문장처럼 각각 다른 업무의 조직원들끼리 서로 이해하고, 협력하는 문화가 선행되는 것이 매우 중요합니다. 즉 너희 팀 vs 우리 팀 업무를 구분하지 않고 함께 협력하여, 아이디어를 생산하고, 가치를 창출해야 하는 것이죠. 혹시 아직 데브옵스를 도입하기 전이거나, 도입 이후에 올바르게 활용되고 있는지 궁금하시다면, 오늘 이 글을 통해 심도 있게 생각해 보시는 건 어떨까요? 2024.02.14
기술이야기 ICMP와 SNMP를 비롯한 NMS의 구성요소와 주요 기능은? 기술이야기 ICMP와 SNMP를 비롯한 NMS의 구성요소와 주요 기능은? 지난 포스팅을 통해서 NMS의 기본 개념과 시대별 변화, 그리고 활용 사례 등을 살펴보았는데요. 오늘은 ICMP와 SNMP를 비롯한 NMS의 구성 요소와 주요 기능에 대해서 자세히 알아보겠습니다. 。。。。。。。。。。。。 │ NMS(네트워크 관리 시스템)의 구성 요소와 역할 NMS의 구성 요소와 역할은 크게 다섯 가지로 나눌 수 있습니다. NMS Manager NMS Manager는 Managed Device를 모니터링하고 제어하는 역할을 합니다. SNMP, ICMP, RMON 등의 망 관리 프로토콜을 이용하여 Managed Device 정보를 수집하며 User Interface도 제공합니다. Management Agent (SNMP Agent) 독자적으로 트래픽을 모니터링하고, 통계 정보를 자신의 MIB에 저장해 두었다가 트래픽 정보 요구나 특정 동작 요청에 응답합니다. 또한 망 관리 프로토콜을 활용하여 Manager에게 관리 정보를 전달합니다. Managed Device 백본, 스위치, 라우터, 허브와 같은 네트워크 장비를 말하며 Management Information을 수집하여 MIB에 보관합니다. MIB (Management Information Base) Managed Device의 정보를 포함한 Database 역할을 수행합니다. 관리되는 정보들을 계층적 트리 구조로 구성되고, 망 관리용 프로토콜인 SNMP 등에 의해서 읽힙니다. SNMP Protocol 네트워크 장치로부터 정보를 수집하여 작업을 수행하는 응용 계층의 프로토콜입니다. MIB에 정의되어 있는 객체들의 OID 값을 전달받아 해당 장비의 상태를 나타냅니다. │ NMS 구성 요소의 상호작용 NMS 구성 요소의 상호 작용을 자세히 살펴보면 각각의 네트워크 장비에는 SNMP Agent가 내장되어 있고, MIB를 이용해 네트워크의 상태 및 구성에 대한 정보를 요청하고 응답받습니다. Agent는 관리 정보를 수집하며, SNMP 프로토콜을 이용하여 NMS Manager와 통신을 합니다. NMS Manager의 Server 단에서는 SNMP가 수집한 데이터를 기반으로 분석, 가공, 성능, 구성, 장애, 보안, 운영 등의 관리 작업을 수행합니다. 또한 DB 단에서는 이벤트 및 로그를 기록하여 문제 해결 및 보고에 사용하는데요. 최종적으로는 User Interface를 통해 운영자가 네트워크 장비들을 효율적으로 모니터링하고 관리하기 위한 가시적인 화면을 제공합니다. │ NMS의 데이터 수집 방식 (관련 프로토콜) NMS는 여러 가지 성능 정보를 수집하여 모니터링하기 위해 다양한 프로토콜을 사용합니다. ① SNMP(Simple Network Management Protocol) 네트워크 장비를 관리하고 모니터링하기 위해 사용되는 인터넷 표준 프로토콜입니다. 네트워크 관리자가 네트워크에 연결된 상태를 확인하고 필요한 경우 설정을 변경할 수 있도록 설계되었고, 대부분 NMS 상에 구현되어 이용되고 있습니다. TCP/IP 기반에서 망관리를 위한 프로토콜이며, 관리 대상과 시스템 간 관리 정보(MIB)를 주고받기 위한 규정입니다. Manager(NMS), Agent, MIB(Management Information Base), Managed Device 등으로 구성됩니다. SNMP의 처리 단계는 Get/Set/Trap의 단순 명령 구조로 구성됩니다. SNMP의 메시지 타입은 Get/Set/Trap의 단순 명령 구조로 구성되는데요, 메세지 타입별 역할은 아래와 같습니다. ② ICMP (Internet Control Message Protocol) IP(Internet Protocol) 네트워크의 기기들이 서로 통신 상태 정보와 오류 메시지를 교환하기 위해 사용하는 네트워크 레벨 프로토콜로, 주로 네트워크 장비와 서버 간의 연결 문제를 진단하고 보고하는 데 사용됩니다. ICMP의 주요 기능은 크게 두 가지입니다. ◾ 오류보고(Error Reporting): 네트워크에서 데이터를 전송하는 동안 발생할 수 있는 여러 종류의 오류를 감지하고, 이에 대한 정보를 송신자에게 알리는 기능 ◾ 진단도구(Diagnostic Functions): 네트워크 연결 문제를 진단하는 데 사용되는 유틸리티(예: ping, traceroute)는 ICMP 메시지를 활용하여 네트워크의 상태를 확인합니다. 이를 통해 네트워크의 연결 상태, 지연 시간, 패킷 손실 등을 평가할 수 있습니다. 먼저 SNMP와 ICMP를 살펴보았는데요, 잠깐 두 가지 방식을 자세히 비교해 보면 SNMP는 장치 모니터링, 구성 변경, 이벤트 알림을 제공하며 주로 관리자 중심의 기능을 수행합니다. 반면 ICMP는 네트워크 통신의 에러 및 상태를 보고하고 호스트 간의 연결성을 테스트하는 데 사용되며, 주로 이벤트 기반 및 연결성 확인을 위한 메시지를 전송하는 데 중점을 둡니다. NMS의 데이터 수집 방식에 대해서 계속 살펴보겠습니다. ③ RMON (Remote Network Monitering) SNMP의 확장 형태로 개발된 RMON은, 분산되어 있는 망에 대한 트래픽을 측정하여 망을 감시하고 분석을 제공하는 프로토콜입니다. 원격에 위치한 Probe에서 망자원의 상태 정보를 수집하여 에러를 방지하고 효율적으로 이용하는 것을 목적으로 합니다. NMS의 대표적인 수집 방식을 살펴보았는데요, 이 외에도 다양한 방식이 있기 때문에 NMS 솔루션은 다양한 방식을 지원하는 것이 중요합니다. (*브레인즈컴퍼니의 Zenius-NMS는 SNMP와 ICMP 외에도 RMON, CDP, LLDP 프로토콜 등 다양한 수집 방식을 지원하고 있습니다.) │ NMS의 경보 알림 연계 방식 네트워크 내의 장애나 이상 상태를 감지했을 때 관리자나 담당자에게 이를 알리는 방법으로, NMS의 핵심이라고 할 수 있습니다. 다양한 경보 알림 방식이 있으며, 각 방식은 특정 상황이나 니즈에 맞게 선택되고 있는데요 가장 대표적인 방식들을 알아보겠습니다. 이메일(E-mail) 알림 네트워크 성능이 저하되는 등의 문제가 발생하면, 이메일 시스템과 연계하여 설정된 이메일 주소로 자동으로 알림을 발송합니다. 문제 발생 시 기록을 남기기 쉽다는 장점이 있지만, 긴급한 문제에는 이메일을 확인하는데 지연이 발생할 수 있습니다. 문자 메시지(SMS) 알림 네트워크의 문제 감지 시, NMS는 사전에 등록된 휴대전화 번호로 경보의 성격과 간단한 설명을 포함한 SMS 메시지를 보냅니다. 신속한 알림이 가능하다는 장점은 있지만, 메시지 길이에 제한이 있다는 단점도 있습니다. 메신저 및 협업 툴을 사용한 알림 최근 많이 사용되는 슬랙, 텔레그램, 팀스, 카카오톡을 통해 네트워크의 이상을 알리는 방식입니다. 문자 메시지와 같이 신속한 알림이 가능하면서 메시지 길이에 크게 제한이 없다는 장점도 있습니다. Dashboard를 통한 이벤트 관제 특정 경보가 발생하면, 웹 기반의 대시보드에 경보 메시지를 포함하여 관리자가 시각적으로 확인할 수 있도록 알립니다. 직관적으로 실시간 네트워크 상태를 모니터링할 수 있는 것이 가장 큰 장점입니다. 서버, 네트워크, 부대설비 모듈을 포함한 Zenius-Dashboard 예시 화면 위와 같이 다양한 알림 연계 방식을 통해, 담당자에게 즉시 장애 처리를 할 수 있도록 지원하는 기능도 중요합니다. NMS에서 즉각적인 장애를 처리하기 위해 제공하는 기능은 다음과 같습니다. ◾ 다중 수신자 지원: 여러 관리자나 담당자에게 동시에 경보를 전송하여 여러 관리자가 신속하게 대응할 수 있게 합니다. ◾ 알림 임계값 설정: 관리자는 경보 발생을 위한 임계값을 설정할 수 있습니다. (예: 특정 장치의 성능이 일정 수준 이하로 떨어질 때 알림을 발생시키도록 설정) ◾ 장애 관리 자동화: 특정 이벤트에 대해 미리 정의된 복구 스크립트 및 시나리오를 통해 장애 감지부터 처리까지의 장애 관리 업무를 자동화할 수 있습니다. NMS의 경보 알림 방식을 살펴보았는데요, 이제 NMS의 주요 기능을 자세하게 알아보겠습니다. │ NMS의 주요 기능 자세히 보기 NMS는 네트워크의 효율성, 가용성, 보안 등을 관리하고 감시하기 위한 다양한 기능을 제공합니다. 보편적으로 NMS에서 제공하는 상세 기능들은 아래와 같이 정리할 수 있습니다. NMS는 장애 관리, 구성 관리, 성능 관리를 중심으로 다양한 세부 기능을 가지고 있습니다. NMS의 많은 기능 중에서도 특히 네트워크 장비들을 실시간으로 모니터링할 수 있는 '성능 관리' 기능과, 성능 저하 또는 병목 현상을 빠르게 식별하여 해결할 수 있는 '장애 관리' 기능이 중요합니다. │ NMS의 발전 방향 NMS는 복잡하고 빠르게 변화하는 기술 트렌드에 맞춰 지속적으로 발전하고 있습니다. 클라우드, 가상화, 5G, IoT와 같은 기술의 발전에 따라서 사용자에게 높은 품질의 서비스를 제공하기 위한 방향으로 진화하고 있습니다. 온 프레미스와 클라우드의 조화 온 프레미스 환경은 보안, 규정 준수, 네트워크 제어와 같은 니즈 때문에 여전히 중요한 역할을 하고 있습니다. 반면 클라우드 기반 NMS 솔루션은 비용 효율성, 안정성, 용이한 배포와 같은 이점을 제공하는데요. 따라서 NMS도 온 프레미스와 클라우드의 장점을 조화롭게 포함하며 발전하고 있습니다. 클라우드 네이티브 환경으로의 진화 기업과 기관들이 클라우드 서비스를 적극적으로 채택함에 따라 NMS는 클라우드의 유연성, 확장성, 효율성을 극대화하는 등 클라우드 환경에 더욱 적합한 구조로 발전하고 있습니다. 분산형 아키텍처와 기술 혁신 최근의 NMS는 중앙 집중식에서 벗어나 더욱 분산된 아키텍처를 채택하고 있습니다. 마이크로 서비스 아키텍처(MSA)를 통해 모듈화되고 유연한 시스템 구조를 도입하여, 필요한 기능을 쉽게 추가하거나 변경할 수 있습니다. 또한 AI 기반의 NMS는 네트워크 데이터를 분석하고, 문제의 예측 및 해결 능력 향상에 기여하고 있습니다. 이 밖에도 NMS는 5G와 IoT 등의 신기술에 효과적으로 대응하기 위해 지속적으로 발전하고 있습니다. 。。。。。。。。。。。。 NMS의 구성 요소와 주요 기능 그리고 발전 방향에 대해서 살펴봤습니다. NMS 솔루션을 선택할 때는 기본적인 기능을 잘 갖추고 있을 뿐 아니라, 혁신적인 기술과 트렌드를 적극적으로 채택하고 지속적인 연구와 개선을 지속하는 기업의 솔루션을 선택해야 합니다. 안정적인 네트워크 운영은 이제 비즈니스의 필수 요소입니다. 성공적인 NMS 솔루션 선택을 통해 네트워크 성능을 극대화하여 비즈니스의 경쟁력을 확보하시기 바랍니다! 2024.02.08
기술이야기 클라우드 전환과 하이브리드 클라우드가 성공하려면? 기술이야기 클라우드 전환과 하이브리드 클라우드가 성공하려면? 정부와 공공기관, 그리고 금융권과 대기업 등 모든 분야에서 클라우드 전환이 가속화되고 있습니다. 이에 따라서 가트너(Gartner)는 2018년 약 2.1조 원이었던 국내 클라우드 시장 규모가 2024년에는 약 '6조 원'에 이를 것으로 내다봤습니다. 。。。。。。。。。。。。 1. 클라우드 전환 단계 ▪초창기: 소규모 Workload가 시범적으로 전환되는 시기 ▪과도기: 인프라, 네이티브 앱 등 주요 Workload가 전환되는 시기 ▪정착기: 모든 Workload가 클라우드에서 개발/구축되는 시기 클라우드 전환은 크게 세 단계로 나누어서 진행됩니다. 대부분의 기업과 기관이 현재 '클라우드 전환 과도기'에 접어든 가운데, 몇 가지 작지 않은 이슈로 인한 어려움을 겪고 있습니다. 2. 클라우드 송환? 클라우드에서 On-Premise로 복귀?! IDC는 최근, "향후 2년 내 프라이빗 클라우드(Private Cloud) 또는 비 클라우드 환경으로의 이전을 계획하고 있는 기업의 비중이 70%가 넘는 것으로 나타났으며, 이러한 현상은 더욱 심화될 전망이다"라고 발표했습니다. '클라우드 송환(Cloud Repatriation)'이라고도 부를 수 있는 이 같은 현상은, 주로 클라우드의 높은 비용·성능 문제·보안 및 규제·공급자 Lock-in 등이 주요 원인으로 지적되고 있습니다. 이와 같은 클라우드 전환 과도기에서의 어려움을 극복하고 효율성을 높이기 위해, '하이브리드 클라우드'로의 전환이 새로운 트렌드로 자리 잡았습니다. 3. 유연하게 활용한다! ‘하이브리드 클라우드’로의 전환 트렌드 하이브리드 클라우드(Hybrid Cloud)는 퍼블릭·프라이빗 클라우드와 대형 IDC 센터와 같은, 온프레미스(On-Premise) 환경을 조합하여 사용하는 것을 말합니다. ⓒ디지털 서비스 이용 지원 시스템 현재 87% 이상의 기업이 2가지 이상의 멀티 클라우드를 사용하며, 72% 이상은 하이브리드 클라우드를 사용하는 것으로 나타났습니다. 하이브리드 클라우드의 장점 ▪다양한 환경을 조합하여 유연하게 리소스를 확장하거나 축소 가능 ▪민감정보를 프라이빗 클라우드에 유지하여 보안성 강화 ▪서로 다른 클라우드 환경의 장점의 조합 및 활용 가능 하이브리드 클라우드는 위와 같은 분명한 장점이 있기에, 계속해서 많은 기업과 기관이 사용할 것으로 예상됩니다. 하지만 하이브리드 클라우드도 반드시 극복해야 할 한계와 문제점이 있습니다. 하이브리드 클라우드의 한계는 크게 세 가지로 나눠볼 수 있는데요. 4. 하이브리드 클라우드의 세 가지 한계, 그리고 극복 방안 관리의 복잡성 Complexity On-Premise, 하이브리드 클라우드, 퍼블릭 클라우드 등은 모두 서로 다른 인프라 구성과 특성을 보유하고 있습니다. 따라서 다양한 CSP와 Legacy 시스템 등을 종합적으로 관제하기 위한 모니터링 기술이 필요합니다. 정책의 분산화 Decentralization 각 CSP의 독자적인 기술과 운영환경에 따라, 기업의 IT 인프라 관리 정책이 분산화될 우려가 있습니다. 따라서 서로 다른 API 환경에 대응할 수 있는 중립적인 모니터링 접근 방식이 필요합니다. 서비스 품질 이슈 Quality 이기종 환경에서의 실시간 성능 모니터링 부재로, 서비스 품질 및 성능 문제가 발생할 수 있습니다. 따라서 실시간 상태 및 성능 지표 모니터링을 통한 최적의 프로비저닝 역량 확보가 중요합니다. 결국 하이브리드 클라우드의 세 가지 한계를 극복할 수 있는 '성공적인 모니터링 전략'이 필요합니다. 5. 하이브리드 클라우드 환경에서의 성공적인 모니터링 전략 앞서 살펴본 것처럼 하이브리드 클라우드의 효율을 높이고 한계를 극복하기 위해선, 성공적인 클라우드 & On-Premise 통합 모니터링이 필요합니다. 통합 모니터링을 통해서 다양한 관리 Point를 단일화하고, 일관된 IT 정책을 적용하며, 다양한 관점별 View를 통한 데이터 가시성을 확보할 수 있습니다. 또한 각 환경에 대한 실시간 성능 지표 모니터링과 신속한 장애 감지 및 원인 분석을 통해, 높은 서비스 품질을 유지할 수 있습니다. 주요 Point에 대해서 자세히 살펴본다면 다음과 같습니다. l 단일 Framework 기반의 통합 모니터링 환경 구성 성공적인 모니터링을 위해서는 Public/Private 클라우드와 On-Premise를 아우르는 단일 Framework 기반의 통합 모니터링 환경을 구성해야 합니다. 다양한 환경에 대한 통합 모니터링 시스템을 구축하여, 대시보드와 토폴로지 맵 등을 통해 분산된 IT 리소스와 서비스 정보를 한눈에 볼 수 있어야 하는 것이죠. l 퍼블릭 클라우드 모니터링: 통합 관리 및 운영 가시성 확보 제니우스(Zenius)의 클라우드 서비스 맵 이용 중인 클라우드 서비스 전체 및 개별 단위의 주요 지표 상세 모니터링으로, 가시성을 확보해야 합니다. 이를 통해서 다양한 서비스의 주요 지표를 관리, 이용 서비스 간의 연관관계 관리, 과금(Billing) 관리, 즉각적인 장애 관리를 할 수 있습니다. l 프라이빗 클라우드 모니터링: 개별적인 구성 환경을 고려한 모니터링 각 기업과 공공기관 개별적인 클라우드 구성 환경을 고려하여, 클라우드 인프라 자원을 관리하고 활용도를 높이기 위한 모니터링 전략도 필요합니다. 위의 설명처럼 쿠버네티스(Kubernetes), 컨테이너(Container), SDN 등 프라이빗 클라우드 환경을 구성하는 요소를 다각적으로 관리하여 IT 인프라 자원의 활용도를 향상시켜야 합니다. l MSA 기반 애플리케이션 모니터링 IDC에 따르면 2025년에 출시되는 앱의 90% 이상이 '클라우드 네이티브'로 구현될 전망이라고 합니다. 클라우드 네이티브의 핵심은 'MSA(Micro Service Architecture)' 방법론으로의 전환입니다. 애플리케이션을 효과적으로 실행·배포·활용하기 위한 핵심요소는 'Container'이죠. 따라서 MSA 환경에서의 성공적인 애플리케이션 관리를 위해서는 실시간 모니터링, 분산 시스템 관제, 서비스 수요 변화 대응 이 세 가지가 가장 중요합니다. 위 도표에 정리된 것처럼 컨테이너 기반의 마이크로 서비스 모니터링, 복잡화된 시스템 간 트랜잭션 분석 및 가시화, 오토스케일링 자동 대응을 통한 관제 연속성 확보 전략을 구축한다면 성공적으로 MSA 기반의 애플리케이션 모니터링을 할 수 있습니다. l 레거시 환경 모니터링 마지막으로 On-premise로 자체 보유하고 있는 레거시 장비와 프라이빗 클라우드 장비가 있는 전산실의 성공적인 모니터링을 위해서는, 먼저 On-premise 환경을 고려한 최적의 포인트 솔루션과 통합 플랫폼 기반 모니터링이 확보되어야 합니다. 또한 안정적인 On-Premise 환경 운영을 위해 전산실 부대설비(UPS, 항온 항습기 등), 환경감시(온/습도, 누수 등)에 대한 레거시 환경 맞춤형 관리가 가능해야 합니다. 물리/가상 자원 간의 그룹화 관리 기능, 다양한 자원 간의 이벤트 연관 설정 및 분석 기능도 성공적인 레거시 환경 모니터링을 위한 필수조건입니다. 6. 성공적인 모니터링 솔루션 선택 기준은? 클라우드 전환기, 하이브리드 클라우드 환경에서 성공적인 모니터링을 위한 루션 선택 기준은 1) 기술력이 있는지 2) 검증된 솔루션인지 3) 믿을 수 있는 기업인지 이렇게 세 가지로 정리할 수 있습니다. 하나, 기술력이 있는 솔루션인가? 클라우드와 레거시 통합을 위한 프레임워크 기반의 솔루션인지, 그리고 여러 환경에 존재하는 IT 자원을 통합적으로 가시화할 수 있는지, 변화에 쉽게 대응할 수 있는 사용자 맞춤 설계형 대시보드를 제공하는지를 꼭 살펴봐야 합니다. 브레인즈컴퍼니 제니우스(Zenius)의 퍼블릭 클라우드 서비스 관제 예시 또한 AI 기술을 통해 장애를 사전에 예방하는 제니우스(Zenius) 처럼, 서비스 장애로 인한 손실을 방지하기 위한 사전 장애 감지 및 대응도 지원하는지 꼭 살펴봐야 합니다. 업무 효율과 편의성을 높이기 위한 오토스케일링 자동 대응, 장애/이벤트 오토리커버리 등 운영 자동화 기능도 필수 요소입니다. 둘, 검증된 솔루션인가? 클라우드 서비스 보안인증(CSAP), 마켓플레이스 등록 등 클라우드 환경에서의 성능 검증 절차 등 거친 솔루션인지도 중요하게 살펴봐야 합니다. 또한 다수의 공공기관 및 다양한 산업군에서 사용되고 있는지도 중요한 판단 기준입니다. 셋, 믿을 수 있는 기업의 솔루션인가? 마지막으로 모니터링 서비스를 개발 및 운영한 업력, 재무 상태 안정성, 전문 인력 보유 등으로 지속적인 지원이 가능한 기업의 솔루션인지를 검토해 봐야 합니다. 。。。。。。。。。。。。 브레인즈컴퍼니는 전통적인 IT 인프라 모니터링 시장에서의 경험을 바탕으로, 하이브리드 환경에서의 성공적인 모니터링을 수행하고 있습니다. 이제 필수가 된 클라우드 전환, 제대로 된 솔루션 선택을 통해 성공적으로 진행하시기 바랍니다! 2024.01.18
기술이야기 쿠버네티스와 Helm 등 CNCF의 주요 프로젝트 기술이야기 쿠버네티스와 Helm 등 CNCF의 주요 프로젝트 지난 포스팅을 통해 정리한 것처럼 CNCF는 클라우드 네이티브 생태계의 활성화를 위해, 다양한 오픈소스 프로젝트를 개발하고 공급하고 있습니다. 또한 프로젝트 채택 단계부터 사용 빈도까지의 성숙도를 관리하기 위한, 프로세스 체계를 보유하고 있는데요. 이번 시간에는 CNCF의 주요 프로세스인 쿠버네티스(K8s), Helm 등과 CNCF 프로세스에 대해서 알아보고자 합니다. 。。。。。。。。。。。。 CNCF 프로젝트 프로세스 2023년 10월 기준으로 약 170여 개의 CNCF 프로젝트가 진행 중인데요. 이들 프로젝트는 성숙도에 따라서 샌드박스(Sandbox), 인큐베이팅(Incubating), 졸업(Graduated)으로 나뉩니다. 성숙도 수준에 대한 평가는 CNCF 위원회 멤버들에 의해서 결정되며, 졸업(Graduated) 단계의 프로젝트로 인정받기 위해서는 3분의 2 이상의 찬성 표가 필요합니다. ▲프로젝트 성숙도 단계 Step1. 샌드박스(Sandbox) CNCF의 새로운 프로젝트가 채택되면 Sandbox 단계에서 시작합니다. 이 단계에서는 프로젝트가 CNCF의 가이드라인과 정책에 부합되는지를 확인하는 절차를 주로 거칩니다. Step2. 인큐베이팅(Incubating) Sandbox를 통과한 프로젝트는 Incubating 단계로 집입하며, 이 단계에서는 프로젝트의 커뮤니티와 기술적 성숙도를 더욱 강화하도록 합니다. 해당 프로젝트의 커뮤니티의 규모와 다양성을 평가하고 기능들의 안정성을 검증합니다. Step3. 졸업(Graduated) Incubating 단계를 성공적으로 통과한 프로젝트는 Graduated 단계로 올라갑니다. 높은 수준의 품질과 안정성이 보장되어야 이 단계에 올라갈 수 있는 거죠. 커뮤니티가 활발하게 유지되고 관련자의 참여가 적극적으로 이루어져야 하며, 실제 사용 사례에서 성공한 경험들이 존재해야 합니다. Step4. 사용 사례 검증 Graduated 프로젝트 중 실제로 다양한 산업에서 사용되고, 기업과 조직이 해당 프로젝트를 많이 채택하는지를 평가하여, 지속적인 성장 가능성과 성숙도를 평가합니다. CNCF에서 관리하는 프로젝트 영역은 꽤 넓고 다양한데요. 애플리케이션 개발을 위한 도구부터 컨테이너 오케스트레이션, 서비스 프로비저닝, 모니터링 도구 등 소프트웨어 개발부터 운영까지를 위한 도구들이 존재합니다. 이제부터는 가장 성공적인 프로젝트인 쿠버네티스를 포함하여, Incubating 단계 이상의 프로젝트를 알아보고자 합니다. CNCF의 주요 프로젝트 쿠버네티스(kubernetes) 쿠버네티스는 CNCF에서 최초로 Graduated 단계에 진입한 프로젝트입니다. 컨테이너 오케스트레이션 기능을 통해, 애플리케이션 컨테이너 기반으로 자동화하고 확장할 수 있는 플랫폼을 제공합니다. A. 컨테이너 오케스트레이션 기능 컨테이너화된 애플리케이션을 자동으로 배포·확장하고 관리하는 기능을 제공합니다. 애플리케이션의 변경이 필요할 경우, 개발자가 애플리케이션을 빠르게 수정 및 배포하고 운영할 수 있게 합니다. B. 스케일링 기능 리소스 사용량이나 사용자 트래픽 증가에 따라 자동으로 애플리케이션을 확장·축소하는 오토 스케일링 기능을 제공합니다. C. 롤백 기능 문제가 발생된 애플리케이션의 경우, 롤백 기능을 제공하여 서비스 장애에 신속히 대응합니다. Helm Helm은 쿠버네티스 환경에서 애플리케이션을 관리하기 위한 도구로 사용됩니다. Helm은 차트라고 불리는 패키지로 애플리케이션을 패키징 하는데요. 이 차트에는 애플리케이션의 설치부터 관리에 필요한 모든 것을 포함합니다. 쉽게 말하면 이 차트라는 기능을 통해 애플리케이션을 탬플릿화하고, 배포하며, 롤백 및 공유하는 역할을 하는 프로젝트입니다. Envoy ▲Envoy를 사용하는 주요 업체 리스트 ⓒenvoyproxy.io Envoy는 클라우드 네이티브 환경에서 애플리케이션의 네트워크 트래픽을 관리하고, 제어하기 위한 프로젝트입니다. 프록시 기능을 수행하고, 클라이언트 서버 간의 통신을 관리하며, 애플리케이션 간의 통신의 보안 향상시킵니다. 여러 애플리케이션 사이에서 부하 분산을 자동화하여 가용성과 성능을 향상시킬 수 있도록 합니다. 부하 분산을 함에도 불구하고 특정 시스템에 부하가 생겨 장애 발생이 생길 경우, 트래픽을 가중치에 따라 다른 시스템으로 분산시키는 역할을 합니다. Containerd Containerd는 쿠버네티스 환경에서 컨테이너를 만들고 실행하는 데 도움을 주는 프로젝트입니다. 개발자가 컨테이너를 만들고 실행시키는 역할을 하며, 필요할 때는 중지하거나 삭제하는 작업을 지원합니다. 컨테이너 실행에 필요한 파일과 설정을 모아 놓은 이미지를 다운로드하고, 저장하며, 불러오는 역할과 같은 이미지 관리 기능도 제공하고 있습니다. Prometheus Prometheus는 시스템이나 애플리케이션의 동작을 실시간으로 모니터링하고, 이상 상황이 발생할 경우 알림을 줄 수 있는 도구입니다. 다양한 데이터를 수집하고 기록하여 차후 분석 용도로 활용할 수 있습니다. 또한 핵심 지표들을 유형 및 종류별로 제공하여, 다각적인 관점에서의 관찰을 지원합니다. 시스템의 리소스부터 애플리케이션의 동작 및 응답 상태를 적시에 확인하게 해줍니다. Fluentd ▲Fluentd 개념 설명 ⓒfluentd.org Fluentd는 다양한 시스템에서 발생되는 로그 데이터를 수집·처리·전송하는 데이터 수집 도구로서, 스플렁크(SPLUNK)와 유사한 역할을 수행하는 프로젝트입니다. 다양한 소스에서 발생되는 로그를 수집할 수 있을 뿐만 아니라, 원하는 목적지의 저장소까지 전송하는 역할을 수행합니다. 예를 들어 Syslog 등을 실시간 수집하고, 이를 Elasticsearch나 Amazon S3 등의 원하는 저장소로 목적지를 설정할 수 있게 합니다. 。。。。。。。。。。。。 지금까지 살펴본 것처럼, CNCF에서 클라우드 네이티브 생태계 활성화를 위해 다양한 프로젝트를 진행하고 있는데요. 브레인즈컴퍼니 역시 클라우드 네이티브 모니터링을 위한 다양한 제품과 기능 등을 속속 출시하고 있습니다. 대표 제품인 제니우스(Zenius)를 통해 클라우드 네이티브의 핵심요소인 컨테이너(Docker)의 상태와 리소를 실시간으로 모니터링할 수 있습니다. MSA 환경을 만들기 위한 필수 도구인 쿠버네티스(K8s)의 Cluster·Node·Pod 등의 구성과 변화를 관찰하며, 이상 상황 알림을 통해 선제적 장애 대응 또한 가능합니다. Zenius에 대해 더 자세히 알고 싶으시다면, 바로 아래 링크를 클릭해 주세요! 🔍더보기 Zenius로 클라우드 네이티브 모니터링하기 CNCF 세 가지 핵심가치(1탄)도 있어요 2024.01.03
기술이야기 클라우드 네이티브의 핵심! CNCF의 세 가지 핵심가치 기술이야기 클라우드 네이티브의 핵심! CNCF의 세 가지 핵심가치 최근 디지털 트랜스포매이션(Digital Transformation)이 IT 트렌드로 자리 잡았습니다. 기업과 조직은 빠르게 변화하는 환경에 대응하고 경쟁에서 앞서기 위해 '클라우드 네이티브 컴퓨팅' 기술을 채택하고 있는데요. 여기서 클라우드 네이티브 컴퓨팅 기술을 연구 및 발전시키고, 생태계를 촉진하는데 중추적인 역할을 하는 커뮤니티가 바로 'CNCF(Cloud Native Computing Foundation)'입니다. 현재 CNCF에서는 Google, Intel, Azure 등 700여 곳 이상의 회원사들이 활동에 참가하고 있습니다. 이번 시간에는 CNCF가 정확히 무엇이고, 추구하는 핵심가치와 주요 프로젝트에 대해 자세히 알아보겠습니다. 。。。。。。。。。。。。 CNCF(Cloud Native Computing Foundation)란 CNCF는 2015년 12월에 리눅스 재단에 의해서 출범된 비영리 단체로, 네이티브 컴퓨팅 기술의 채택을 촉진하는 오픈소스 소프트웨어 재단입니다. CNCF는 클라우드 네이티브 컴퓨팅 플랫폼에서 사용하며, 확장 가능한 애플리케이션을 개발하는데요. 이와 관련된 기술인 컨테이너, 마이크로서비스, 서비스 메쉬 등의 발전을 촉진하여 이러한 기술 패턴을 누구나 이해하고 활용할 수 있도록 하는 것이 목표입니다. ▲총 24개의 CNCF Platinum Members 이러한 클라우드 네이티브 컴퓨팅 환경을 대중화하기 위해 Google Cloud, AWS, MS Azure, Cisco, IBM, Apple, Oracle, Red Hat, VMware, SAP 등 유수의 기업들이 플래티넘 회원사로 참여하여 뜻을 같이 하고 있습니다. CNCF의 세 가지 핵심 가치 CNCF의 핵심가치는 1) 클라우드 네이티브 기술의 촉진 2) 오픈소스 프로젝트 생태계 육성 3) 기술의 표준화 수립으로 정리할 수 있습니다. 이 세 가지 핵심 가치를 더 자세하게 살펴볼까요? CNCF 핵심가치1 : 클라우드 네이티브 기술의 촉진 CNCF는 현대적이고 미래 지향적인 '클라우드 네이티브 기술의 촉진'을 중요한 핵심 가치로 규정하고 있는데요. 이는 CNCF가 오늘날의 IT 생태계의 중심에 서서, 클라우드 네이티브 기술을 지속적으로 연구 및 개발하여 새로운 디지털 전환의 시대를 선도하고자 하는 의지가 담겨 있다고 볼 수 있습니다. CNCF는 기존 온 프레미스(On-Premise) 환경, 그리고 모놀리식(Monolithic)한 개발 환경에서 탈피한 컨테이너, 마이크로서비스, 서비스 메시, 서버리스 등. 보다 혁신적이고 미래지향적인 기술 영역을 보급하고 대중화하기 위한 노력과 지원을 아끼지 않습니다. ▲기존 모놀리식 아키텍처와 마이크로서비스 아키텍처 비교 또한 디지털 트랜스포메이션 과정에서 클라우드 환경으로의 전환이 더욱 효율적으로 이루어질 수 있도록, 클라우드 네이티브 기술과 기업들의 서비스 모델을 재구성하기 위한 방법들을 안내하고 있습니다. 이렇게 새로운 서비스 모델 구축을 통해 민첩성과 효율성을 강화하여, 빠르게 변화하는 IT서비스의 수요에 기민하게 대응하고 고객 요구에 부응할 수 있도록 지원합니다. 여기서 계속 언급되고 있는 '클라우드 네이티브'는 정확히 무엇을 뜻할까요? CNCF의 활동에 대한 이해도를 높이기 위해, 클라우드 네이티브의 의미를 짚어보겠습니다! 📑클라우드 네이티브(Cloud Native)란? 클라우드 네이티브는, 클라우드 컴퓨팅 환경에서 현대적 애플리케이션을 구축·배포·관리할 때의 소프트웨어 접근 방식입니다. 기업과 조직은 고객의 요구를 충족하기 위해 신속하게 업데이트할 수 있는 확장성과 유연성, 그리고 복원력이 뛰어난 애플리케이션을 구축하고자 합니다. 이를 위해 클라우드 네이티브에서 사용되는 기술들은, IT 서비스에 영향을 미치지 않고 애플리케이션을 신속하게 변경합니다. 또한 리소스를 효율적으로 활용하여 빠르게 변화에 대응할 수 있도록 지원하고 있습니다. 위의 개념을 '클라우드 컴퓨팅'과 비교한다면 보다 더 쉽게 이해할 수 있는데요. 클라우드 컴퓨팅은, 클라우드 서비스 제공 업체가 단순히 리소스와 인프라를 클라우드 형태로 제공하는 방식입니다. 여기서 서비스 제공 방식은 기존 '모놀리식' 방식과 크게 다르지 않습니다. ▲클라우드 네이티브의 핵심요소 ⓒPivotal 클라우드 네이티브는 마이크로서비스 아키텍처(MSA)와 컨테이너를 기반으로, IT 서비스의 확장·변경 등에 대응이 용이한 환경입니다. 예를 들어 Ex1) 서비스 수요가 폭증하거나 장애가 생겼을 경우 Ex2) 자동적으로 애플리케이션을 확장하거나 장애가 발생했을 경우에는 대체 가능한 모델을 바로 적용하여 Fail-Over가 손쉽게 이루어질 수 있도록 합니다. CNCF에서는 위 그림과 같이 클라우드 네이티브의 핵심 요소를 마이크로서비스, 컨테이너, 애플리케이션의 개발·통합·배포의 의미를 내포하는 DevOps, CI/CD의 개발 방법론을 포함하여 설명하고 있습니다. CNCF 핵심가치2 : 오픈소스 프로젝트 생태계 육성 CNCF는 다양하고 혁신적인 '오픈소스 프로젝트'를 개발·공급·대중화하여, 클라우드 네이티브 생태계를 활성화하는데 큰 기여를 하고 있습니다. 또한 클라우드 네이티브 컴퓨팅 환경을 구성하고 효율적으로 운영하기 위해, 다양한 오픈소스를 개발하고 있는데요. 누구나 이와 같은 기술들을 이용할 수 있도록 지원합니다. 가장 성공적인 프로젝트는 2018년 8월에 컨테이너 오케스레이션 플랫폼인 'Kubernetes' 프로젝트이며, 컨테이너 생성·실행·종료 등의 역할을 하는 'Containerd', 시스템 모니터링 및 경고 역할을 하는 'Prometheus' 그리고 여러 시스템의 트래픽을 균등하게 분배하여 로드밸런싱을 제공하는 'Envoy' 등이 있습니다. 이처럼 클라우드 네이티브 생태계 활성화를 위한 다양한 프로젝트를 실행하며 배포하고 있습니다. ▲CNCF 개발 완료된 프로젝트 이외에도 클라우드 네이티브 커뮤니티인 이벤트·웨비나·워크샵 등을 활성화하여, 온오프라인 영역에서 개발자들 간의 교류를 원활하게 합니다. 개발자들이 오픈소스 프로젝트를 효과적으로 활용할 수 있도록, 사용법에 대한 교육과 튜토리얼을 제공하기도 합니다. 이를 통해 많은 기업과 이용자들이 클라우드 네이티브 환경에 손쉽게 접근할 수 있도록 지원하고 있습니다. CNCF 핵심가치3 : 기술의 표준화 수립 CNCF는 클라우드 네이티브 관련 기술의 무분별한 확장과 사용으로 인한 혼란을 방지하고자, 기술의 표준화를 촉진하고 정책의 일관성을 확보하는 노력 또한 지속하고 있는데요. 기술의 안정성과 품질 확보를 위해 재단 자체적으로 테스트와 벤치마킹 등을 수행하고, Best Practice를 공유하여, 기술의 표준화와 성숙도를 유지합니다. 이 외에도 CNCF는 새로운 기술의 적용 가능성과 성숙도를 평가하고, 클라우드 관련 기술을 보유한 회원사 및 파트너와의 협력을 촉진합니다. 이처럼 다양한 형태로 클라우드 네이티브 생태계의 지속적인 발전을 지원하고 있습니다. 。。。。。。。。。。。。 이번 시간에는 CNCF의 정의와 핵심가치를 알아보았는데요. CNCF는 앞에서 소개해 드린 내용처럼, 클라우드 네이티브 생태계 활성화를 위해 다양한 노력을 기울이고 있습니다. 브레인즈컴퍼니 역시 클라우드 네이티브 모니터링을 위한 다양한 제품과 기능들을 속속 출시하고 있으니, 많은 관심 부탁드립니다. 다음 시간에는 [CNCF의 핵심 프로젝트] 주제로 돌아오겠습니다! 2023.12.27

1 2