반복영역 건너뛰기
주메뉴 바로가기
본문 바로가기
제품/서비스
EMS Solution
Features
클라우드 관리
서버관리
데이터베이스 관리
네트워크 관리
트래픽 관리
설비 IoT 관리
무선 AP 관리
교환기 관리
운영자동화
실시간 관리
백업 관리
스토리지 관리
예방 점검
APM Solution
애플리케이션 관리
URL 관리
브라우저 관리
ITSM Solution
서비스데스크
IT 서비스 관리
Big Data Solution
SIEM
AI 인공지능
Dashboard
대시보드
Consulting Service
컨설팅 서비스
고객
레퍼런스
고객FAQ
문의하기
가격
자료실
카탈로그
사용자매뉴얼
회사소개
비전·미션
연혁
2016~현재
2000~2015
인증서·수상
투자정보
재무정보
전자공고
IR자료
새소식
공고
보도자료
오시는 길
채용
피플
컬처
공고
FAQ
블로그
열기
메인 페이지로 이동
블로그
기술이야기
블로그
최신이야기
사람이야기
회사이야기
기술이야기
다양한이야기
기술이야기
검색
기술이야기
효율적인 로그 모니터링과 실시간 로그 분석을 위한 OpenSearch PPL 활용 가이드
기술이야기
효율적인 로그 모니터링과 실시간 로그 분석을 위한 OpenSearch PPL 활용 가이드
오늘날 대규모 인프라 환경에서 발생하는 방대한 데이터를 관리하기 위해 로그 모니터링과 로그분석은 필수적인 요소가 되었습니다. OpenSearch(및 Elasticsearch)는 이 분야의 사실상 표준으로 자리 잡았으나, 이를 활용하는 엔지니어와 분석가들은 강력한 기능의 이면에 있는 ‘Query DSL’이라는 높은 진입 장벽을 마주하곤 합니다. JSON 형식을 기반으로 하는 DSL은 검색 조건을 매우 정밀하게 정의할 수 있다는 장점이 있습니다. 하지만 쿼리가 복잡해질수록 로직이 깊게 중첩되어 가독성이 떨어지고 생산성이 저하되는 구조적 문제를 안고 있습니다. 특히 1분 1초가 급한 장애 상황이나 보안 침해 사고를 분석해야 하는 SIEM(보안 정보 및 이벤트 관리) 환경에서, 수십 줄의 JSON 괄호를 맞추는 작업은 민첩한 대응을 방해하는 실질적인 걸림돌이 됩니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 PPL(Piped Processing Language)입니다. PPL이 제안하는 새로운 분석 방식을 살펴보기 전, 먼저 우리가 기존 DSL 환경에서 겪어온 실제적인 어려움들을 통해 왜 방식의 변화가 필요한지 짚어보겠습니다. 1. 데이터 탐색의 어려움 1.1. OpenSearch DSL OpenSearch(및 Elasticsearch)는 검색 엔진 시장의 사실상 표준으로 자리 잡았지만, 데이터 분석가나 엔지니어들에게는 한 가지 큰 진입 장벽이 존재했습니다. 바로 Query DSL(Domain Specific Language)입니다. DSL은 JSON(JavaScript Object Notation) 형식을 기반으로 하며, 검색 쿼리의 구조를 매우 정밀하게 정의할 수 있다는 강력한 장점이 있습니다. 하지만 이는 동시에 인간의 직관과는 거리가 먼 방식이기도 합니다. DSL은 쿼리가 복잡해질수록 JSON 객체가 깊게 중첩되는 특성이 있기 때문입니다. 예를 들어 단순한 GROUP BY 집계를 수행하려 해도 aggs안에 terms, 그 안에 다시 aggs를 정의해야 하는 피라미드 구조가 형성됩니다. 일반적으로 데이터를 탐색하는 과정은 "A를 찾고, B를 제외한 뒤, C로 묶어서 계산한다"라는 선형적인 사고를 따릅니다. 하지만 DSL은 이 모든 조건을 하나의 거대한 JSON 객체로 구조화해야 하므로, 작성과 수정 시 높은 집중력을 요합니다. 또한 로그를 분석하거나 장애 원인을 파악하는 긴급한 상황에서, 수십 줄의 JSON 괄호 짝들은 가독성과 생산성을 저하시키는 요인이 됩니다. <예시 1.1: 지난 1시간 동안 500 에러가 발생한 상위 5개 IP 추출하기 위한 DSL문> 1.2. PPL(Piped Processing Language) PPL은 이러한 구조적 복잡성을 해결하기 위해 등장했습니다. 이름에서 알 수 있듯이, 파이프(Pipe, |)를 통해 데이터를 순차적으로 처리하는 언어입니다. PPL이 가져온 변화는 단순히 문법의 형태를 바꾼 수준에 그치지 않습니다. 데이터에 접근하는 패러다임 자체를 선언적 구조(JSON)에서 절차적 흐름(Pipeline)으로 전환시킨 것입니다. 이는 Unix와 Linux에서 익숙하게 사용되는 명령어 파이프라인 철학을 데이터 검색 엔진에 이식한 결과이기도 합니다. 이러한 방식의 변화 덕분에 사용자는 더 이상 복잡한 JSON의 계층 구조를 설계할 필요가 없습니다. 대신 "데이터를 가져오고, 필터링한 뒤, 통계를 낸다"는 인간의 자연스러운 사고 흐름에 맞춰 질의를 작성할 수 있게 되었습니다. 이는 결과적으로 쿼리 작성 시간을 단축시키고, 분석가의 의도를 더욱 명확하게 코드에 투영할 수 있게 해줍니다. <예시 1.2: 예시 1.2와 동일한 로직을 PPL로 작성한 경우> 2. PPL의 핵심 특징 및 장점 PPL을 도입해야 하는 이유는 단순히 쓰기 편해서가 아닙니다. 이는 데이터 분석의 접근성(Accessibility), 가독성(Readability), 유연성(Flexibility) 측면에서 근본적인 이점을 제공하기 때문입니다. 2.1. SQL-like Syntax 데이터 업계에서 SQL은 가장 보편적인 언어입니다. PPL은 SQL의 문법적 특성을 차용하여 접근성을 높였습니다. SELECT, WHERE, LIKE 등 익숙한 키워드를 그대로 사용하므로, 새로운 도구 도입에 따른 저항감을 최소화합니다. 2.2. Pipe ($|$) PPL의 가장 강력한 무기는 | (파이프) 연산자입니다. 이는 쿼리를 논리적 단계로 분해합니다. 1단계: 전체 데이터 가져오기 (source=logs) 2단계: 필요한 부분만 남기기 (| where status=500) 3단계: 불필요한 필드 버리기 (| fields timestamp, message) 이처럼 하나의 문제를 단계별로 쪼개며 순차적으로 해결할 수 있습니다. 이러한 방식은 디버깅의 용이성도 증가시킵니다. DSL은 쿼리가 실패하면 전체 JSON 구조를 다시 살펴봐야 하지만, PPL은 파이프를 하나씩 끊어가며 어느 단계에서 데이터가 의도와 다르게 변형되었는지 즉시 확인할 수 있습니다. 2.3. Aggregation의 추상화 OpenSearch의 집계(Aggregation) 기능은 강력하지만 DSL 작성이 매우 까다롭습니다. PPL은 이를 stats 명령어로 추상화했습니다. 기존 DSL 방식에서 집계를 하려면 버킷(Buckets)과 메트릭(Metrics)의 개념을 이해하고, 이를 JSON의 계층 구조로 쌓아 올려야 했습니다. 하지만 PPL은 이 복잡한 과정을 우리가 흔히 쓰는 SQL 스타일로 탈바꿈시켰습니다. 간단한 시나리오인 “카테고리별 평균 가격 구하기”를 DSL로 작성하면 aggs 안에 그룹핑을 위한 terms를 정의하고, 그 안에 다시 계산을 위한 aggs를 중첩해야 합니다. 평균을 구한다라는 쿼리의 의도보다 괄호와 같은 문법적 구조에 더 신경 써야 합니다. 그룹핑 조건이 늘어날수록 JSON은 기하급수적으로 깊어집니다. 반면 동일한 시나리오를 PPL로 작성하면 stats 이라는 명령어로 간단하게 표현할 수 있습니다. stats: "집계를 시작하겠다"는 선언입니다. avg(price): "무엇을 계산할지" 명시합니다. (Metric) by category: "무엇을 기준으로 묶을지" 명시합니다. (Bucket) 단 한 줄의 코드로 DSL의 복잡한 로직을 완벽하게 대체할 수 있습니다. 2.4. 동적 필드 생성 데이터 분석을 하다 보면, 인덱스에 저장된 원본 데이터(Raw Data)만으로는 부족할 때가 많습니다. - 용량이 bytes 단위로 저장되어 있어 보기 불편한 경우 - 파일 경로와 파일 이름이 하나의 필드에 있어 각각 분리해야 하는 경우 - 보낸 용량, 받은 용량만 있고 총 용량이 없는 경우 이를 해결하기 위해 데이터를 재색인(Reindexing)하는 것은 너무 복잡한 과정입니다. 하지만 PPL은 eval 명령어 하나로 쿼리 실행 시점에 필드를 즉석에서 생성합니다. 바이트 단위를 메가바이트로 변환하여 새로운 필드 size_mb를 만드는 로직은 eval 명령어와 간단한 연산자를 이용하여 작성할 수 있습니다. 원본 데이터에는 size_mb라는 필드가 존재하지 않습니다. 하지만 PPL이 실행되는 순간 계산되어, 마치 원래 있던 필드처럼 where 절에서 필터링 조건으로 사용하거나 fields로 출력할 수 있습니다. PPL의 eval은 데이터 저장 구조(Schema)가 분석의 한계가 되지 않도록, 분석가에게 데이터를 재정의할 수 있는 강력한 권한을 부여하는 기능입니다. 3. PPL 문법 해부 앞서 PPL이 데이터 분석에 제공하는 근본적인 이점들을 살펴보았습니다. 하지만 이러한 장점들을 실무에 온전히 녹여내기 위해서는 PPL이 데이터를 처리하는 방식, 즉 문법의 구조를 정확히 이해하는 과정이 필요합니다. PPL의 문법은 단순한 규칙의 나열이 아니라, 데이터의 흐름을 제어하는 그 자체입니다. 각 명령어는 이전 단계에서 넘어온 데이터를 가공하여 다음 단계로 넘겨주는 '필터' 역할을 수행합니다. 마치 공장의 컨베이어 벨트 위에서 원재료가 각 공정을 거쳐 완성품이 되는 것과 같은 원리입니다. 그럼 지금부터 데이터 분석 현장에서 가장 빈번하게 사용되는 6가지 핵심 명령어를 통해 PPL의 구조를 깊이 있게 살펴보겠습니다. 3.1. source 모든 PPL 쿼리의 시작점입니다. SQL의 FROM 절에 해당하지만, PPL에서는 search source=... 형태로 명시합니다. 단일 인덱스뿐만 아니라 와일드카드(*)를 사용하여 여러 인덱스를 동시에 조회할 수 있습니다. search source=logs-* : 'logs-'로 시작하는 모든 인덱스 조회. 3.2. where 분석에 불필요한 데이터를 걸러내는 단계입니다. SQL의 WHERE 절과 동일합니다. where는 파이프라인의 가장 앞단에 위치시키는 것이 성능상 유리합니다. 처리해야 할 데이터의 총량을 줄여주기 때문입니다. where는 AND, OR, NOT 논리 연산자와 in, like 등의 비교 연산자를 모두 지원합니다. 3.3. eval 원본 데이터에는 없지만 분석 시점에 필요한 새로운 데이터를 만들어냅니다. 기존 필드 값을 이용해 계산을 하거나 문자열을 조합하여 새로운 필드를 정의합니다. 3.4. stats SQL의 GROUP BY와 집계 함수를 합친 개념입니다. 문법: stats <function>(<field>) by <grouping_field> 집계함수: count, sum, avg, min, max와 같은 통계 분석에 필요한 함수를 제공합니다. 3.5. fields 최종 사용자에게 보여줄 데이터를 다듬는 과정입니다. SELECT 절과 유사합니다. 수백 개의 필드 중 분석에 필요한 핵심 필드만 남깁니다 (+로 포함, -로 제외 가능). rename: 기술적인 필드명(예: req_ts_ms)을 비즈니스 친화적인 이름(예: Response Time)으로 변경하여 가독성을 높입니다. 3.6. sort & head sort: 데이터의 정렬 순서를 정합니다. - 기호를 붙이면 내림차순(DESC)이 됩니다. (sort -count) head: SQL의 LIMIT와 같습니다. 상위 N개의 결과만 잘라냅니다. 대량의 데이터 분석 시 결과를 끊어서 확인하는 데 필수적입니다. 4. 실전 예제 지금까지 PPL의 기본 개념과 주요 명령어들을 살펴보았습니다. 하지만 도구의 진정한 가치는 이론적인 문법을 아는 것에 그치지 않고, 이를 실제 복잡한 데이터 환경에 어떻게 적용하느냐에 있습니다. 이제 우리가 현업에서 흔히 마주할 수 있는 구체적인 시나리오들을 통해, PPL이 실무적인 문제들을 얼마나 직관적이고 효율적으로 해결하는지 단계별로 알아보겠습니다. 4.1. Brute Force 공격 탐지 상황: 과도한 로그인 실패(401 Error) IP 식별 1) search source=access_logs: 엑세스 로그 전체를 가져옵니다. 2) where status = 401: 전체 로그 중 로그인 실패 로그만 남깁니다. 3) stats count() as fail_count by client_ip: IP 주소별로 실패 횟수를 집계합니다. 이제 데이터는 개별 로그가 아니라 'IP별 요약 정보'가 됩니다. 4) where fail_count > 50: 50회 이상 실패한 의심 IP만 필터링합니다. (집계 후 필터링 - SQL의 HAVING 절과 유사) 5) sort -fail_count: 가장 공격 빈도가 높은 IP를 최상단에 노출합니다. 4.2. 카테고리별 매출 분석 상황: 상품 카테고리별 매출 현황과 평균 단가 확인 1) eval revenue = price * quantity: price와 quantity 필드를 곱하여, 원본 데이터에 없던 revenue(매출액) 필드를 실시간으로 계산해냅니다. 2) stats sum(revenue) as total_sales, avg(revenue) as avg_order_value by category: 카테고리 기준으로 총 매출(sum)과 평균 주문액(avg)을 동시에 계산합니다. 3) head 10: 상위 10개 카테고리만 추출하여 리포트용 데이터를 완성합니다. 4.3. 시간대별 트래픽 추이 시각화 상황: 지난 24시간 동안 웹 서버의 트래픽 변화 1) span(timestamp, 10m): 연속적인 시간 데이터를 10분 단위로 자릅니다. 2) stats count() as request_count by ...: 잘라낸 10분 단위별로 요청 수(count)를 셉니다. 결과: 이 쿼리의 결과는 그대로 라인 차트(Line Chart)나 바 차트(Bar Chart)로 시각화하기 완벽한 형태(X축: 시간, Y축: 횟수)가 됩니다. 5. PPL 성능 최적화와 고려사항 PPL은 사용자가 직관적으로 쿼리를 작성할 수 있게 돕지만, 그 이면에서는 방대한 데이터를 처리하는 무거운 작업이 수행됩니다. 도구의 편리함이 시스템의 부하로 이어지지 않도록, 쿼리 효율성을 고려하는 분석 습관을 갖추는 것이 중요합니다 5.1. 성능 최적화 방안 PPL 쿼리는 파이프라인 구조이기 때문에, 앞단에서 데이터의 크기를 줄일수록 전체 실행 속도가 기하급수적으로 빨라집니다. 1) where는 search 바로 뒤에 오는 것이 좋습니다. 데이터를 집계(stats)하거나 정렬(sort)한 뒤에 필터링하는 것은 낭비입니다. 불필요한 데이터를 메모리에 올리기 전에 where 절로 과감하게 잘라내야 합니다. 2) 필요한 필드만 명시하는 것이 좋습니다. OpenSearch 문서는 수십, 수백 개의 필드를 가질 수 있습니다. fields 명령어를 사용하여 분석에 꼭 필요한 필드만 남기면 네트워크 전송량과 메모리 사용량을 획기적으로 줄일 수 있습니다. 5.2. PPL vs DSL 언제 무엇을 써야 할까? PPL이 등장했다고 해서 기존의 DSL(Domain Specific Language)이 사라지는 것은 아닙니다. 두 언어는 태생적 목적이 다릅니다. 이 둘을 상호 보완적인 관계로 이해하고 적재적소에 사용하는 것이 좋습니다. 1) PPL을 써야 하는 경우 - 사람 중심, 탐색, Ad-hoc 분석, 운영/보안 PPL은 사람이 데이터를 봐야 하는 상황에 최적화되어 있습니다. 사고의 흐름이 끊기지 않고 빠르게 질문을 던지고 답을 얻어야 하는 상황입니다. * 상황 A: 장애 발생 시 긴급 원인 분석 "지금 500 에러가 급증하는데, 특정 API에서만 발생하는 건가?" 긴급 상황에서 복잡한 JSON 괄호를 맞출 시간은 없습니다. PPL로 빠르게 필터링(where)하고 집계(stats)하여 원인을 좁혀나가야 합니다. * 상황 B: 보안 위협 헌팅 "지난 1주일간 새벽 시간에만 접속한 관리자 계정이 있는가?" 데이터를 이리저리 돌려보고, 조건을 바꿔가며 숨겨진 패턴을 찾아내는 '탐색적 분석'에는 수정이 용이한 PPL이 압도적으로 유리합니다. * 상황 C: 비개발 직군의 데이터 접근 기획자(PM), 마케터, 데이터 분석가가 직접 데이터를 추출해야 할 때. SQL에 익숙한 이들에게 JSON DSL을 학습시키는 것은 비효율적입니다. PPL은 이들에게 데이터 접근 권한을 열어주는 열쇠가 됩니다. 2) DSL을 써야 하는 경우 키워드: 기계 중심, 애플리케이션 개발, 정밀도, 검색 튜닝 DSL은 애플리케이션이 데이터를 조회할 때 최적화되어 있습니다. 코드로 구현되어 시스템의 일부로 동작하거나, 매우 정교한 검색 로직이 필요할 때 사용합니다. * 상황 A: 검색 서비스 기능 구현 쇼핑몰 검색창, 자동 완성, 추천 시스템 등 최종 사용자에게 노출되는 기능을 개발할 때. Java, Python, Go 등의 클라이언트 라이브러리(SDK)는 객체 지향적인 JSON 구조(DSL)와 완벽하게 매핑됩니다. 코드로 쿼리를 조립하기에는 DSL이 훨씬 안정적입니다. * 상황 B: 정교한 검색 랭킹 튜닝 function_score, boosting, slop 등 검색 품질을 미세하게 조정하는 기능은 DSL만이 100% 지원합니다. PPL은 '분석'에 강하지만 '검색 랭킹' 제어력은 약합니다. * 상황 C: 초고성능 최적화가 필요한 고정 쿼리 수천만 건의 데이터를 0.1초 안에 조회해야 하는 API 백엔드. DSL은 필터 캐싱, 라우팅 제어 등 엔진 내부의 최적화 기능을 극한까지 활용할 수 있는 세밀한 옵션들을 제공합니다.\ 3) 정리 지금까지 OpenSearch의 PPL(Piped Processing Language)에 대해 깊이 있게 살펴보았습니다. 과거에는 OpenSearch 데이터를 분석하려면 'JSON 괄호와의 싸움'을 피할 수 없었습니다. 하지만 PPL의 등장으로 이제 SQL을 아는 개발자, 데이터 분석가, 심지어 비개발 직군까지도 데이터와 직접 대화할 수 있는 길이 열렸습니다. PPL이 가져온 변화는 명확합니다. - 직관성: 사고의 흐름대로 파이프(|)를 연결하여 로직을 구현합니다. - 생산성: 복잡한 집계 코드를 단 한 줄로 압축합니다. - 협업: 누구나 읽고 이해할 수 있는 코드로 팀 간 커뮤니케이션이 원활해집니다. 여러분의 데이터 인프라에 OpenSearch가 있다면, 오늘 당장 복잡한 JSON 대신 PPL을 입력해 보시길 권합니다. 단순히 쿼리 언어를 바꾸는 것을 넘어, 데이터 속에 숨겨진 인사이트를 발견하는 속도가 달라질 것입니다.
2026.01.07
기술이야기
AWS Opensearch(오픈서치) Alerting plugin 활용 방법
기술이야기
AWS Opensearch(오픈서치) Alerting plugin 활용 방법
AWS OpenSearch(오픈서치)는 핵심 기능을 확장하기 위해 다양한 Plugin을 제공합니다. 이를 통해 운영 환경에 맞게 안정적이고 효율적인 기능을 추가할 수 있습니다. 그중에서도 Alerting Plugin 은 조건 기반 탐지와 알림 기능을 제공하며, 보안 모니터링이나 장애 대응 같은 영역에서 자주 활용됩니다. 특정 이벤트를 실시간으로 감시하고, 정의한 조건을 만족할 경우 자동으로 알림을 발생시켜 운영자의 대응 속도를 높일 수 있습니다. 이번 글을 통해서 Alerting Plugin의 주요 구성 요소와, 실제 적용 과정에서 고려해야 할 부분을 함께 살펴보겠습니다. 1. Alerting plugin이란? 보안기능의 기본은 특정 조건에 대한 탐지설정을 하고 설정한 탐지 조건에 만족하는 데이터를 찾게 되면 원하는 형태로 알림을 발생시키는 것입니다. Alerting 은 Opensearch 내에 데이터를 탐지 대상으로 하여 기본 탐지 기능을 안정적으로 제공하는 plugin 입니다. Opensearch 문서에서는 대략적으로 아래 키워드로 설명 하고 있습니다. - Monitor: 검색조건에 해당하는 쿼리를 작성하고, 실행주기를 설정합니다. 여기에서 정의된 쿼리의 실행 결과는 Trigger 의 입력 데이터로 사용됩니다. - Trigger: 입력되는 쿼리 결과를 기준으로 실제 행위를 발생시키는 조건을 정의합니다. - Alert: Trigger 에서 정의된 조건이 만족하는 경우 Alert 이라는 이벤트를 생성합니다. - Action: Alert 이 발생했을 때 수정행 할 작업을 정의합니다. - Notification: Alert 이 발생했을 때 전송되는 알림 메시지를 정의합니다. 2. 어떤 버전을 사용하면 될까? Alerting 기능은 Opensearch 1.1.0 버전부터 제공된다고 되어 있지만, 알림(Notification) 기능이 추가되는 2.0 이후 버전부터 활용성이 높아졌다고 생각되네요. 개발의 편의성이나 시각적인 결과를 원한다면 OpenSearch Dashboards에 도입되는 2.9 버전 부터가 OpenSearch Dashboards 에 도입되기 때문에 시각적인 결과확인이 가능하여 개발이나 테스트 시에 도움이 많이 될 수 있습니다. Openserach 가 설치되어 있다면 다음 방법으로 plugin 상태를 확인해 볼 수 있는데요. curl -X GET http://localhost:9200/_plugins/_alerting 결과 opensearch-alerting 2.16.0.0 opensearch-notifications 2.16.0.0 opensearch-notifications-core 2.16.0.0 실제 사용해봤던 버전은 2.10, 2.16 으로 기능상으로 큰 차이는 없었기에 적당한 버전을 선택하여 사용하면 될 것 같네요. 아래는 openserach-dashboard 명령어로 설치된 plugin 리스트를 확인한 결과입니다. ./opensearch-dashboards-plugin list --allow-root alertingDashboards@2.16.0.0 anomalyDetectionDashboards@2.16.0.0 assistantDashboards@2.16.0.0 customImportMapDashboards@2.16.0.0 ganttChartDashboards@2.16.0.0 indexManagementDashboards@2.16.0.0 mlCommonsDashboards@2.16.0.0 notificationsDashboards@2.16.0.0 observabilityDashboards@2.16.0.0 queryWorkbenchDashboards@2.16.0.0 reportsDashboards@2.16.0.0 searchRelevanceDashboards@2.16.0.0 securityAnalyticsDashboards@2.16.0.0 securityDashboards@2.16.0.0 아래는 Opensearch Dashboard 에서 설치된 plugin 을 메뉴로 확인상태 입니다. 이처럼 필요한 플러그인을 적절한 버전으로 설치했다면, 이제 Alerting의 핵심 기능인 Monitor 와 Trigger 설정 방법을 살펴보겠습니다. 3. Monitor 실제로 탐지를 수행하고 alert을 발생시키기 위한 trigger의 입력 값이 되는 검색조건과 실행 주기를 설정하는 부분입니다. Monitor 는 Alerting 의 출발점이자 이후 Trigger, Alert, Action 으로 이어지는 전체 탐지 프로세스의 기반이 되는 구성 요소입니다. 아래와 같이 몇 가지 검색조건을 구분하는 기능을 제공하는데, Per Query Monitor, Per Bucket Monitor에 대해서 먼저 알아보겠습니다. - Per Query Monitor 설정한 쿼리 결과의 개수를 그대로 Trigger 조건의 입력 값으로 사용하도록 처리하는 방식이기 때문에 기본적이면서 단순 조건을 처리할 때 주로 사용하는 방식입니다. 예를 들어 시스템 로그를 대상으로 특정 사용자에 대한 로그인 실패 이력을 조건으로 건다고 했을때 아래와 같은 쿼리가 가능합니다. { "size": 0, "query": { "bool": { "must": [ { "bool": { "must": [ { "match_phrase": { "userid": { "query": "root", "slop": 0 } } }, { "match_phrase": { "action": { "query": "failed_password", "slop": 0 } } } ] } } ], "filter": [ { "bool": { "must": [ { "range": { "@timestamp": { "from": "now-30m", "to": "now" } } } ] } } 쿼리에 만족하는 조건이 있다면 아래와 같은 결과가 나타납니다. { "_shards": { "total": 9, "failed": 0, "successful": 9, "skipped": 0 }, "hits": { "hits": [], "total": { "value": 4, "relation": "eq" }, "max_score": null }, Per Query Monitor 은 위와 같은 결과가 나왔을 경우 trigger 조건에 만족한다면 단일 alert 이 한 개 발생하는 방식입니다. - Per Bucket Monitor 이 방식은 쿼리에 Aggregation 를 설정하여 Bucket 단위 별로 trigger 조건을 검사하고 alert 을 발생시키는 방식입니다. Per Query Monitor 과 동일한 조건의 쿼리에 아래와 같은 Aggregation query 가 추가되는 형태입니다. "aggregations": { "by_agg": { "terms": { "field": "host.keyword", "order": [ { "_count": "desc" }, { "_key": "asc" } ] } } } host 라는 필드로 group by 와 같은 집계를 하면 결과는 host 단위의 buckets 가 생성되고 각각의 bucket 에 개수가 포함되게 됩니다. 각각의 bucket 에 포함된 개수가 trigger 조건에 만족한다면 만족하는 만큼 alert 이 발생하게 되는데 이 부분이 Per Query Monitor 방식과 차이점이 되겠습니다. { ... "aggregations": { "by_agg": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [ { "doc_count": 2, "key": "testhostname1" }, { "doc_count": 2, "key": "testhostname2" } ] } } } - Monitor API curl -X POST "https://localhost:9200/_plugins/_alerting/monitors/_search?pretty=true" -k -H "Content-Type: application/json" -d '{}' 아래와 같이 등록한 monitor 정보를 JSON 포맷으로 조회할 수 있습니다. Monitor 관련 몇 가지 API를 소개합니다. Create, Update 등 기본적인 기능 외에 설정한 Monitor 를 실행 시킬 수 있는 Monitor RUN API 도 제공 됩니다. 필요에 따라서 자신의 시스템에서 직접 실행시키는 로직을 구현해 볼 수 도 있을 것 같구요. 설정 내용을 미리 시뮬레이션 해서 결과를 테스트 해볼 수 있는 기능으로 활용해도 좋을 것 같습니다. Monitor Create POST _plugins/_alerting/monitors Monitor Update PUT _plugins/_alerting/monitors/<monitor_id> Monitor Delete DELETE _plugins/_alerting/monitors/<monitor_id> Monitor Run POST _plugins/_alerting/monitors/<monitor_id>/_execute 4. Trigger Trigger 는 Monitor 에 설정한 쿼리의 결과를 입력으로 Alert 을 발생 시킬 조건을 설정하는 과정입니다. 이 부분도 Per Query Monitor 과 Per Bucket Monitor 방식이 차이가 있습니다. Per Query Monitor는 쿼리의 결과가 단순 개수(hits)이기 때문에 개수 연상에 대한 true, false 로 결과를 얻습니다. 물론 결과가 true 인 경우에만 alert 이 발생하는 조건이 되겠죠. Per Bucket Monitor 방식은 개수 조건을 설정 하는 건 동일하지만 Aggregation 문에 정의된 key 명을 parent_bucket_path 에 맞춰 줘야 된다는게 다른 점입니다. Trigger condition 에서 설정한 조건이 만족한다면 bucket 단위로 결과 구해지게 됩니다. [ { "doc_count": 3, "key": "testhostname1" }, { "doc_count": 4, "key": "testhostname2" } ] 만약 실제로 이런 결과가 나왔다면 alert testhostname1, testhostname2 두 개의 alert 이 발생하게 됩니다. 5. Alert Monitor -> Trigger 조건이 만족하였다면 Alert 이라는 단위의 알림이 생성됩니다. Alert 은 Action 과 연계되었을 때 외부로 통보 등의 전달 기능을 수행할 수가 있고, 이런 연계 설정이 없다면 단순히 alert 이라는 데이터가 하나 신규로 생성되었다고 보면 됩니다. Opensearch Dashboard Alerts 메뉴에서는 아래와 같이 발생된 Alert 이 조회 됩니다. Alert 단위 별로 구체적으로 확인할 수 있는 방법은 없는 것 같고, Opensearch Dashboard 에서는 조회할 수 있는 정보는 이 정도가 전부인 것 같습니다. Alert은 발생 시점부터 Completed 될 때까지 아래 상태로 관리가 됩니다. - Active 조건이 만족하여 발생된 상태이고 아무런 처리가 되지 않은 상태라고도 합니다. - Acknowledged 관리자가 확인했다 정도의 의미를 부여할 수 있을 것 같은데요. 이 상태로 변경된 후부터 조건이 만족 했는데도 Alert 이 발생하지 않는 것처럼 보여질 수도 있습니다. 하지만 특정 시점이 되면 다시 Alert 이 발생하게 되는데 좀 애매한 운영 상태라고 보여집니다. 정확한 것은 이 상태 이후 실제 Alert을 발생시키는 조건이 해제 되었다가 다시 조건이 만족하게 된다면 Alert 이 발생하게 됩니다. Alert이 계속 발생되는 조건이라면 계속 Acknowledged 상태가 유지 되는 거라서 추가 Alert 이 발생되지 않는다는 오해에 소지가 있을 수도 있겠네요. 1번과 같이 Acknowledged 상태라도 조건이 만족하고 있는 상태라면 기존 상태가 유지가 되고, 2번 처럼 조건이 불만족 상태가 되면 상태는 Completed 상태가 되어 Alert 은 종료 처리됩니다. 3번처럼 이후 다시 조건이 만족한다면 새로운 Alert 이 발생하게 됩니다. - Completed Alert이 발생하는 조건 즉 Trigger 조건이 만족하지 않는 경우 기존 발생된 Alert 상태는 Completed 상태로 전환됩니다. 이후 다시 조건이 만족한다면 새로운 Alert 이 발생하게 됩니다. 개발 중에 이슈 사항 중 하나였다면 Completed 상태를 관리자가 임의로 변경할 수 없다는 것입니다. Alerting 시스템의 철학인지는 모르겠지만 상태 변경은 Acknowledged 만 가능하다는 것입니다. 즉 Completed는 Alerting 자체에서 조건의 만족 상태에 따라 변경해 주는 상태이고, 개발중인 시스템에서 Completed 상태를 별도로 운영하기 위해서는 자체적인 상태 처리 로직이 추가 되어야 됩니다. -Alert API curl -XGET "https://localhost:9200/_plugins/_alerting/monitors/alerts?pretty=true" -k 아래와 같이 발생한 Alert 리스트를 JSON 포맷으로 조회할 수 있습니다. 6. Action Alert 이 발생했을 때 관리자에게 통보하는 방식과 통보 메시지 등을 설정하는 기능입니다. Channel 이라는 설정을 하게 되는데 쉽게 말하면 통보 수단을 의미하는 거고 기본적으로 아래와 같은 통보 수단을 제공합니다. 기존에 자체적인 alert 처리 서비스가 있어서 이 서비스를 활용하고자 Custom webhook 방식을 사용했습니다. Action > Notification 에서 정의하는 Message 를 JSON 형식으로 우리의 alert 처리 서비스에 전달하는게 목적입니다. 전체적인 Action > Notification 설정은 아래와 같습니다. - Message 통보 수단을 통해 전달된 메시지 내용을 정의합니다. { "alertmessage": { "monitor": "{{ctx.monitor.name}}", "monitorid": "{{ctx.monitor._id}}", "trigger": "{{ctx.trigger.name}}", "severity": "{{ctx.trigger.severity}}", "period_start": "{{ctx.periodStart}}", "period_end": "{{ctx.periodEnd}}", "results": {{#toJson}}ctx.results{{/toJson}}, "deduped_alerts": [ {{#ctx.dedupedAlerts}} { "id": "{{id}}", "bucket_keys": "{{bucket_keys}}" } {{/ctx.dedupedAlerts}} ], "new_alerts": [ {{#ctx.newAlerts}} { "id": "{{id}}", "bucket_keys": "{{bucket_keys}}" } {{/ctx.newAlerts}} ], "completed_alerts": [ {{#ctx.completedAlerts}} { "id": "{{id}}", "bucket_keys": "{{bucket_keys}}" } {{/ctx.completedAlerts}} ] } } Message 에 사용할 수 있도록 제공되는 대략적인 정보 입니다. - ctx.monitor : Moniter 설정 정보 - ctx.trigger : Trigger 설정 정보 - ctx.newAlerts : 신규 생성 Alert 정보 - ctx.completedAlert : 완료된 Alert 정보 - ctx.dedupedAlerts : 기존 생성된 Alert 중복 생성 정보 ctx 내용 전체를 확인해 보면 활용할 수 있는 내용이 그렇게 많지는 않습니다. 목표로 했던 기능 중에 Alert 서비스에 발생된 Alert 의 실제 쿼리 범위 시간을 구해야 되는 했던 기능이 있었습니다. 아래 두 가지 값이 제공되어 값을 확인해 보니 조건 쿼리가 실행되는 interval 시간으로 확인 되어 실제로 사용하지는 못했습니다. ctx.periodStart ctx.periodEnd 대신 ctx.periodEnd 시간에 실제 쿼리 내에 정의된 time range 값을 계산하여 실제 쿼리 범위 시간을 구하는 방식으로 처리 했습니다. - Perform action Alert 단위에 대한 Action 처리 방식은 아래와 같은 종류도 설정할 수 있습니다. - Per execution: 조건을 만족하는 alert 이 여러 개여도 action 은 한번만 처리. - Per alert: 조건을 만족하는 alert 이 여러 개면 각각마다 action 을 수행함. 우리는 각각의 Alert 마다 action 처리가 필요하기 때문에 Per alert 방식을 사용했고, Actionable alerts 아래와 같이 설정 했습니다. - New: 신규 Alert 에 대한 Action 처리를 위해서 반드시 필요한 부분이고 - De-duplicated: 이미 생성된 Alert 에 대해 동일한 조건이 만족되었을 때 Action 을 처리할 것인가를 설정하는 내용입니다. 기존 생성된 Alert 의 상태 정보를 업데이트 시켜 주기 위해서는 이 설정을 추가해줘야 됩니다. - Completed: 발생된 Alert 의 조건이 만족하지 않게 된 경우 Action 처리 여부를 설정합니다. 기존 발생된 Alert을 자동으로 완료 처리해주려면 이 설정을 추가해줘야 됩니다. Action 에서 설정된 내용 데로 통보 수단을 통해 충실히 전달된다면, 실제 서비스 로직 에서 제대로 처리해줘야만 됩니다. - Notication message 처리 Alert 을 처리하는 서비스 로직 에서는 아래 같이 Alerting Notication 으로 message 를 전달 받게 됩니다. 자체 서비스 로직 에서는 이 정보를 분석하여 발생된 Alert 를 관리하는 기능을 구현할 수 있습니다. 어떤 감시설정으로 발생된 Alert 인지를 식별할 수 있는 정보입니다. 서비스 로직에서 감시설정, Alert 을 식별하여 처리하는데 필요한 정보 입니다. priod_start, period_end : 감시설정의 조건 쿼리가 실행되는 interval 시간 입니다. 만약 쿼리문에 time range 값이 아래처럼 정의 되어 있고 alert 이 발생된 시점에 time range 를 구하려 한다면 위의 시간 값 만으로는 어렵습니다. "range": { "@timestamp": { "from": "now-30m", "to": "now", "include_lower": true, "include_upper": true, "boost": 1 } } } } Period_start 에 30m을 더하거나 period_end 에서 30m 빼는 방식으로 실제 time range 값을 구할 수 있었습니다. results[0].aggregations.by_agg.buckets 이 값에서는 검색조건 결과에 해당하는 buckets 결과 값을 구체적으로 조회할 수 있습니다. New_alerts : 신규 생성 alert deduped_alerts : 기존 발생된 alert completed_alerts : 완료된 alert 위와 이 서비스 로직에서 alert 의 상태를 구분하여 처리할 수 있습니다. 7. 마치며 이번 글에서는 Alerting Plugin 기능을 큰 카테고리별로 나누어, 주로 OpenSearch Dashboard 를 기반으로 설명했습니다. Alerting Plugin 은 기본적인 API 를 제공하므로, 위에서 다룬 모든 기능은 REST API 를 통해서도 동일하게 활용할 수 있습니다. 따라서 Alerting Plugin 을 탐지 엔진으로 잘 활용한다면, 운영 환경에서 안정적이고 효율적인 탐지 체계를 구축할 수 있습니다.
2025.09.15
기술이야기
시스템 장애, Zenius EMS 솔루션으로 정확하고 효과적으로 관리하는 법
기술이야기
시스템 장애, Zenius EMS 솔루션으로 정확하고 효과적으로 관리하는 법
IT 시스템은 서버, 네트워크, 애플리케이션이 밀접하게 상호작용하는 다계층 구조로 운영됩니다. 이런 환경에서 발생하는 장애는 더 이상 단일 장비의 문제가 아니라, 여러 구성 요소가 연쇄적으로 영향을 주고받으며 서비스 품질에 직결됩니다. 예를 들어 한 서버의 경고는 단순한 일시적 리소스 부하에 불과할 수 있지만, 동시에 다른 계층에서 오류가 발생하면 곧바로 서비스 중단으로 이어질 수 있습니다. 반대로 특정 장비에서 치명적인 이벤트가 발생하더라도, 전체 서비스 아키텍처 차원에서는 영향도가 제한적인 경우도 흔히 발생합니다. 하지만 실제 운영 현장에서는 이런 복잡한 상황이 그대로 고려되지 못하는 경우가 많습니다. 많은 관제 환경이 여전히 장비 단위의 심각도에만 의존하기 때문에, 실제 서비스 영향과 상관없이 불필요한 알람이 쏟아지거나 반대로 중요한 장애 신호를 놓치는 일이 반복되곤 합니다. 그 결과 운영자는 수많은 이벤트 속에서 우선순위를 정하기 어렵고, 대응 속도 역시 느려질 수밖에 없습니다. Zenius EMS 솔루션의 핵심 모듈인 ERMS(Event Relation Management System)는 이러한 한계를 보완합니다. 개별 이벤트를 단순히 나열하는 대신, 규칙(Rule)으로 연계해 서비스 단위의 장애 여부를 판단하고 운영자가 즉시 상황을 이해할 수 있도록 도와줍니다. 덕분에 단순히 “어느 장비에서 문제가 발생했는가”를 넘어, “서비스 전체가 지금 어떤 상태인가”라는 더 중요한 질문에 답할 수 있습니다. 이번 글에서는 구체적인 구성 방법, 그리고 실제 운영 환경에서의 활용 사례를 통해, IT 시스템 장애를 어떻게 더 정확하고 효과적으로 관리할 수 있는지 살펴보겠습니다. Zenius EMS 솔루션의 ERMS 기능은?! 먼저 장비 관점에서의 이벤트 모니터링과 ERMS가 이벤트를 처리하는 방식이 어떻게 다른지 살펴보겠습니다. - 장비 관점에서의 이벤트 모니터링 CPU 사용률 경고, 프로세스 다운, 네트워크 지연 등 각 장비에서 발생하는 이벤트를 개별적으로 수집하고 표시하는 방식입니다. 특정 장비의 상태를 빠르게 확인할 수 있다는 장점이 있지만, 서비스 전체의 영향도를 파악하기에는 한계가 있습니다. - ERMS 이벤트 발생 로직 : 장비에서 발생한 이벤트들에 대한 Rule 설정으로 , 서비스 관점에서의 장애 모니터링 ERMS는 장비에서 발생한 여러 이벤트를 단순 나열하지 않고, 규칙(Rule)으로 연계해 종합적으로 해석하는 방식입니다. 여러 이벤트의 조합을 통해 서비스 단위의 장애 여부를 표현하기 때문에, 운영자는 불필요한 알람에 휘둘리지 않고 실제로 중요한 신호에 집중할 수 있습니다. Zenius EMS 솔루션의 ERMS 기능구성 및 확인절차 ERMS를 제대로 활용하기 위해서는 먼저 서비스 등록과 모니터링 확인 절차를 거쳐야 합니다 Step 1. [ ERMS > 설정 > 등록 ] : 신규 서비스를 등록 합니다. ① 서비스명 : 모니터링 페이지에 보여질 서비스명 입력 ② 연산 조건 : 연산 조건을 선택/입력하여 이벤트를 발생 시킬 조건 설정 - OR : 하위 서비스 또는 대상들의 상태가 하나라도 발생하면 설정한 심각도로 상태 표현 - AND : 하위 서비스 또는 대상들의 상태가 전부 발생하면 설정한 심각도록 상태 표현 - 사용자정의 : 하위 서비스 또는 대상들의 상태가 설정한 수 이상일 경우 설정한 심각도로 상태 표현 - 심각도별 개수 : 하위 서비스 또는 대상들의 심각도별 개수가 설정한 값 이상일 경우 상태 표현 ③ 심각도 : 연산 조건에 따른 이벤트 발생 시 보여지는 심각도 설정 - 인프라/감시설정의 심각도와 별개로 발생시킬 심각도 지정> 하위대상 - 선택한 서비스 대상 중 가장 높은 심각도 등급으로 상태 표시 ④ 서비스 대상 : 연산 조건에 따라 이벤트를 발생 시킬 대상 선택 - 서비스 : ERMS에 등록 된 서비스 선택 - 장비/대상 : 다른 인프라에 등록 된 장비 선택 - 감시설정 : 다른 인프라에 등록 된 감시설정 선택(서비스 대상 설정은 곧 ‘서비스 장애를 어떻게 정의할 것인가’와 직결되므로, 인프라 구조와 서비스 흐름을 고려해 신중히 지정해야 합니다.) ⑤ 이벤트 제목 : 연산 조건에 만족하여 이벤트 발생 시 보여지는 명칭 ⑥ 통보설정 : 이벤트 발생 시 설정된 통보방법 및 수신자에게 통보 되도록 설정 * SMS, 이메일, 메신저 등 다양한 채널과 연동할 수 있으며, 사전에 통보 방법이 반드시 정의되어 있어야 합니다. 운영자, 서비스 담당자, 온콜 팀 등 그룹 단위 지정이 가능해, 장애 대응 체계와 긴밀하게 연결됩니다. Step 2. [ ERMS > 모니터링 ] : 등록 확인 앞서 등록한 서비스와 Rule이 정상적으로 반영되었는지 모니터링 화면에서 확인합니다. 트리 구조로 전체 → 그룹 → 서비스 → Rule → 장비 단위까지 계층적으로 점검할 수 있어, 설정 누락이나 오작동 여부를 쉽게 파악할 수 있습니다. Zenius EMS 솔루션의 ERMS 활용 가이드 ERMS를 실제 환경에서 적용할 수 있는 대표적인 사례를 살펴보겠습니다. Case 1. 연관 서비스 간 이벤트 관리 ERMS를 활용하면 서로 다른 인프라에서 발생한 이벤트를 하나의 논리적 서비스 단위로 묶어 관리할 수 있습니다. 이를 통해 단일 장비 경보가 아니라, 실제 서비스 차원의 장애 인지가 가능해집니다. [Web 서비스와 연관 된 감시설정을 등록한 사례] 웹 서비스와 관련된 CPU 사용률, 프로세스 상태, 네트워크 연결 상태 등 여러 감시설정을 하나의 서비스로 등록합니다. 등록된 서비스는 “N개 이상 이벤트 발생 시”라는 조건으로 Rule을 구성합니다. 조건이 충족되면 서비스 메인 담당자(예: 홍길동)에게 SMS, E-mail 등으로 자동 통보가 이뤄집니다. 이를 통해 운영자는 단순히 경보를 나열하는 대신, 서비스 전체의 관점에서 중요한 신호만 걸러내어 신속히 대응할 수 있습니다. Case 2. 이중화 구성 관리 이중화 서버나 네트워크 장비 환경에서는 한쪽 노드가 장애를 겪더라도 서비스는 계속 유지될 수 있습니다. 하지만 양쪽 노드가 동시에 장애를 겪는 순간 서비스는 치명적인 상황에 빠지게 됩니다. ERMS는 이러한 특성을 Rule로 정의해 긴급 상황을 빠르게 알릴 수 있습니다. [이중화 구성에 대한 관리 사례] (1)신규 서비스 등록 시 이중화 구성 된 서버의 “서버다운” 감시설정 선택 (2)연산 조건, 심각도, 이벤트 제목 등을 설정하여 해당 조건에 대한 이벤트 발생 시 표현 될 정보 설정 - 연산 조건 : 이중화 구성에 대한 Rule 설정임으로 연산 조건은 “AND”로 설정 - 심각도 : 연산 조건 만족 시 발생할 이벤트 등급 - 이벤트 제목 : 해당 이벤트 발생 시 보여지는 명칭 (상황 심각성을 인지 할 수 있는 문구로 작성) (3)수신자/통보방법 설정을 통해 이벤트 발생 시 해당 서버에서 운영중인 서비스와 연관 된 담당자들에게 긴급 상황에 대한 인지가 가능하도록 합니다. 이를 통해 단일 장애에 과잉 반응하지 않으면서도, 실제 서비스 전체에 영향을 주는 상황은 놓치지 않고 빠르게 인지할 수 있습니다 Case 3. 서비스맵을 통한 시각화 모니터링 ERMS는 등록된 서비스를 시각화해 한눈에 파악할 수 있는 서비스맵 기능을 제공합니다. Sunburst, Bubble 형태의 차트를 활용하면 전체 서비스 구조와 이벤트 상태를 직관적으로 확인할 수 있습니다. [오버뷰 기능을 통한 시각화 사례] EMS > 설정 > 컴포넌트에서 “ERMS 서비스맵” 컴포넌트를 등록합니다. 이름, 제목, 서비스, 차트 종류(Sunburst/Bubble), 표시 단계 수 등을 설정합니다. 이후 등록된 컴포넌트를 오버뷰 화면에 추가합니다. ERMS 서비스 단위의 이벤트 현황이 시각적으로 표시됩니다. 다른 컴포넌트(성능 지표, 이벤트 이력 등)와 조합하면, 장애 상황과 성능 상태를 통합적으로 모니터링할 수 있습니다. 색상 변화, 계층 구조, 아이콘 조합 등을 통해 복잡한 운영 상황을 직관적으로 해석할 수 있습니다. 이를 통해 운영자는 이벤트 목록이 아닌 서비스 단위의 전체 그림을 기반으로 문제를 인지하고 대응 우선순위를 판단할 수 있습니다. [Sunburst, Bubble 차트종류] (1)오버뷰 구성 시 앞에서 생성한 컴포넌트를 추가하여 ERMS 서비스 단위 기준 이벤트와 다양한 컴포넌트와의 조합을 통해 전체적인 운영상황을 시각화하여 가시적인 모니터링이 가능 합니다. [ERMS 서비스 상태 오버뷰 시각화 구성] Zenius EMS 솔루션의 ERMS 구체적 활용 효과 기존 이벤트 관리 환경에서는 장애 여부를 개별 장비의 심각도만으로 판단했습니다. 이 때문에 중요도가 낮은 장비에서 발생한 이벤트라도 ‘치명’으로 기록되면, 실제 서비스 영향과 무관하게 서비스 전체가 그대로 ‘치명’ 장애로 표시되곤 했습니다. 반대로 여러 장비에서 동시에 문제가 발생해 서비스에 큰 부담을 주는 상황임에도, 단일 이벤트 기준만으로는 이를 제대로 드러내기 어려웠습니다. 결국 서비스 차원에서 실질적인 장애 여부를 구분하기 힘들었고, 운영자는 불필요한 경보와 오판 속에서 효율적인 대응이 어려웠습니다 ERMS를 도입하면 이런 한계를 극복할 수 있습니다. 이벤트 간의 연관 관계를 규칙(Rule)으로 정의하여 단순한 장비 경보가 아니라 서비스 단위의 장애를 판정할 수 있기 때문입니다. 예를 들어, A 장비에서 ‘치명’ 이벤트가 발생하고 동시에 B 장비에서 ‘주의’ 이벤트가 발생한다면, 이를 묶어서 서비스 전체를 ‘긴급’ 상태로 표현할 수 있습니다. 이처럼 서비스 관점에서 장애를 재정의하면 실제 영향이 큰 상황만 선별적으로 드러나고, 불필요한 알람은 크게 줄어듭니다. 운영자는 개별 이벤트에 매달릴 필요 없이 서비스 전체 상태를 기준으로 명확하게 판단할 수 있으며, 그 결과 대응의 정확성과 속도가 모두 향상됩니다. 서비스 품질 관리 또한 한층 안정적으로 이루어집니다. IT 시스템 장애는 이제 단순히 개별 장비 이벤트만으로는 정확히 판단하기 어렵습니다. Zenius EMS 솔루션의 ERMS 모듈은 이벤트를 서비스 단위의 규칙으로 묶어 해석함으로써, 불필요한 알람을 줄이고 실제로 중요한 장애만 명확히 드러냅니다. 서비스 등록과 Rule 설정, 시각화 기능을 통해 운영자는 장애 발생 시점을 더 빠르게 파악하고 우선순위를 명확히 정할 수 있으며, 결과적으로 서비스 안정성과 운영 효율성을 동시에 확보할 수 있습니다. 즉, ERMS는 IT 시스템을 장비 중심의 모니터링에서 서비스 중심의 관리로 전환하게 만드는 핵심 도구라 할 수 있습니다.
2025.09.09
기술이야기
옵저버빌리티 향상을 위한 제니우스 대표 기능들
기술이야기
옵저버빌리티 향상을 위한 제니우스 대표 기능들
이번 블로그에서는 지난 블로그에서 다루었던 옵저버빌리티를 구현하기 위한 오픈 소스들은 어떤 것들이 있는지 간략히 알아보고, 제니우스(Zenius-EMS)에서는 옵저버빌리티 향상을 위해서 어떤 제품들을 제공하고 있는 지 살펴보겠습니다. 옵저버빌리티 구현을 위해 널리 활용되는 대표적인 오픈소스로는 아래 네 가지 정도를 들 수 있습니다. l Prometheus: 메트릭 수집 및 저장을 전문으로 하는 도구입니다. Prometheus는 강력한 쿼리 기능을 가지고 있으며, 다양한 기본 메트릭을 제공하며 데이터 시각화를 위해 Grafana와 같은 도구와 통합될 수 있습니다. 또한 이메일, Slack 및 PagerDuty와 같은 다양한 채널을 통해 알림을 보낼 수 있습니다. l OpenTelemetry: 에이전트 추가 없이 원격으로 클라우드 기반의 애플리케이션이나 인프라에서 측정한 데이터, 트레이스와 로그를 백엔드에 전달하는 기술을 제공합니다. Java, Go, Python 및 .NET을 포함한 다양한 언어를 지원하며 추적 및 로그에 대한 통합 API를 제공합니다. l Jaeger: 분산 서비스 환경에서는 한번의 요청으로 서로 다른 마이크로서비스가 실행될 수 있습니다. Jaeger는 서비스 간 트랜잭션을 추적하는 기능을 가지고 있는 오픈 소스 소프트웨어입니다. 이 기능을 통해 애플리케이션 속도를 저해하는 병목지점을 찾을 수 있으며 동작에 문제가 있는 애플리케이션에서 문제의 시작점을 찾는데 유용합니다. l Grafana: 시계열 메트릭 데이터를 시각화 하는데 필요한 도구를 제공하는 툴킷입니다. 다양한 DB를 연결하여 데이터를 가져와 시각화 할 수 있으며, 그래프를 그릴 수도 있습니다. 시각화한 그래프에서 특정 수치 이상일 때 알람 기능을 제공하며 다양한 플러그인으로 기능확장이 가능합니다. ------------------------------------------------- 오픈 기술을 이용해 Do It Yourself 방식으로 옵저버빌리티를 구현한다면 어떨까요? 직접 옵저버빌리티를 구현하기 위해서는 먼저 필요한 데이터를 수집해야 합니다. 필요한 데이터가 무엇인지, 어떤 방식으로 수집할지 결정하고 Prometheus, OpenTelemetry 같은 도구들을 이용해 설치 및 설정합니다. 이 단계는 시간이 가장 오래 걸리고, 나중에 잘못된 구성이나 누락이 발견되기도 합니다. 다음 단계는 데이터 저장입니다. 이 단계에서 주의할 점은 예전처럼 여러 소스에서 수집한 데이터를 단순하게 저장하는 것이 아니라, 전체적인 관점에서 어떤 이벤트가 일어나는지를 추적이 가능하도록 데이터 간의 연결과 선후 관계를 설정하는 것입니다. 어려운 점은 새로운 클라우드 기술을 도입하거나 기존의 인프라나 애플리케이션에서 변경이 발생할 때마다 데이터를 계속해서 정리를 해야 하는데, 이를 위해 플랫폼을 지속적으로 수정하고 구성을 추가해야 한다는 것입니다. 마지막으로 부정확한 경고들은 제거해야 합니다. 비즈니스 상황과 데이터는 계속해서 변화하기 때문에 이에 맞게 베이스 라인을 지속적으로 확인하고, 임계치를 조정해서 불필요한 알람이나 노이즈 데이터가 생기는 것을 방지해야 합니다. 결론적으로 직접 옵저버빌리티를 구현하는 것은 처음에는 쉬워 보여도 고급 인력과 많은 시간을 확보해야 하며, 별개로 시간이 지남에 따라서 효율성과 확장성이 떨어진다는 점을 감안하면 대부분의 기업은 감당하기 어렵다고 할 수 있습니다. 그렇다면, Zenius(제니우스) EMS는 옵저버빌리티를 어떻게 확보하고 있을까요? 옵저버빌리티 향상을 위한 가장 기본적인 기능은 토폴로지맵 또는 대시보드입니다. 다양한 인프라의 물리적 논리적 연결구조들을 한 눈에 시각적으로 파악할 수 있도록 해야 합니다. Zenius는 각 인프라별 상황을 한 눈에 볼 수 있는 오버뷰와 시스템 전체를 조망할 수 있는 토폴로지맵, 그리고 서비스 별 상황들을 감시할 수 있는 대시보드 등 크게 세가지의 뷰어(Viewer)를 제공합니다. 인프라의 구성 상황에 따라 다층적으로 구성되어 고객들이 인프라에서 일어나는 상황을 즉각 알 수 있도록 해 줍니다. 이러한 뷰어들은 기존 ‘모니터링’의 개념에서 ‘옵저버빌리티’ 개념으로 진화화면서 좀 더 다층적, 다양화되는 형태로 진화하고 있습니다. 또한, Zenius는 기존의 각 인프라별로 단순히 감시를 설정하는 방식이 아닌 다양한 인프라로부터의 로그와 메트릭 정보를 이용해 어떤 상관관계가 있는지 분석하는 ‘복합감시’라는 서비스가 기본적으로 탑재돼 있습니다. 복합감시를 대표 기능에는 ERMS(Event Relation Management System), 스냅샷 그리고 조치 자동화 등을 들 수 있습니다. l ERMS 기능은 로깅, 메트릭 정보와 장비의 상태를 이용해 새로운 감시 기준을 만들어, 의미있는 이벤트를 생성해 사용자에게 개별 장비 수준이 아닌 서비스 관점에서 정확한 상황 정 보를 제공합니다. l 스냅샷은 서비스 동작에서 이벤트가 발생했을 때, 당시 상황을 Rawdata 기반으로 그대로 재현하는 기능으로 SMS, DBMS, APM, NMS 등 모든 인프라를 동시에 볼 수 있습니다. l 조치 자동화는 ERMS를 자동운영시스템과 연동해, 특정 상황에서 자동으로 스크립트를 실행해 제어하는 기능입니다. 트레이싱 기능은 APM에서 제공하는 기능으로, WAS(Web Application Server)에 인입되고 처리되는 모든 트랜잭션들을 실시간으로 모니터링하고 지연되고 있는 상황을 토폴로지 뷰를 통해 가시적으로 분석할 수 있습니다. 사용자는 토폴로지 뷰를 통해 수행 중인 액티브 트랜잭션의 상세정보와 WAS와 연결된 DB, 네트워크 등 여러 노드들 간의 응답속도 및 시간들을 직관적으로 파악할 수 있습니다. 제니우스의 또 다른 옵저버빌리티는 인공지능 기반의 미래 예측 기능으로 미래 상황을 시각적으로 보여줍니다. 인프라 종류에 상관없이 인공신경망 등 다양한 알고리즘을 통해 미래 데이터를 생성하고, 장애발생 가능성을 빠르게 파악해 서비스 다운타임이 없도록 도와줍니다. 또한 이상 탐지 기능은 보안 침해 또는 기타 비정상적인 활동을 나타낼 수 있는 시스템 로그, 메트릭 및 네트워크 트래픽의 비정상적인 패턴을 식별할 수 있습니다. 이상탐지 알고리즘은 시간이 지남에 따라 시스템 동작의 변화에 적응하고 새로운 유형의 위협을 식별하는 방법을 학습할 수 있습니다. 이상과 같이 Zenius(제니우스) EMS는 최고의 옵저버빌리티를 제공하기 위해서 연구개발에 매진하고 있습니다. 옵저버빌리티 향상을 위한 다양한 기능/제품들은 고객의 시스템과 조직 상황에 맞게 선별적으로 사용될 수 있습니다.
2023.04.19
1
