반복영역 건너뛰기
주메뉴 바로가기
본문 바로가기
제품/서비스
EMS Solution
Features
클라우드 관리
AI 인공지능
서버관리
데이터베이스 관리
네트워크 관리
트래픽 관리
설비 IoT 관리
무선 AP 관리
교환기 관리
운영자동화
실시간 관리
백업 관리
APM Solution
애플리케이션 관리
URL 관리
ITSM Solution
서비스데스크
IT 서비스 관리
Big Data Solution
SIEM
Dashboard
대시보드
Consulting Service
컨설팅 서비스
고객
레퍼런스
고객FAQ
문의하기
가격
자료실
카탈로그
사용자매뉴얼
회사소개
비전·미션
연혁
2016~현재
2000~2015
인증서·수상
투자정보
재무정보
전자공고
IR자료
새소식
공고
보도자료
오시는 길
채용
피플
컬처
공고
FAQ
블로그
열기
메인 페이지로 이동
블로그
최신이야기
블로그
최신이야기
사람이야기
회사이야기
기술이야기
다양한이야기
2023년 상반기 협력업체 상생 세미나 성료…”신규 기능 소개, 상생 지속 도모”
[행사] 2023년 상반기 간담회
성지영
2023.06.30
페이스북 공유하기
트위터 공유하기
링크드인 공유하기
블로그 공유하기
서버 모니터링 데이터의 3가지 활용 방법
2023
년 상반기 간담회가
6
월
29
일 브레인즈컴퍼니 본사
8
층 라운지에서 열렸습니다
.
신년회 이후 오랜만에 브레인저들이 한 자리에 모였습니다
.
오후
4
시가 되어 행사가 시작되었습니다
.
먼저 선근님이 간략히 자회사 에이프리카의 실적 전망에 대해 언급하면서 브레인즈컴퍼니와의 시너지 극대화를 위해 모든 동료들이 비즈니스에 더 집중하길 당부했습니다
.
다음으로 각 부서장들이
2023
년 상반기 사업실적 및 하반기 사업 계획을 발표했습니다
.
전략사업본부장인 은숙님을 시작으로 연구개발본부장 자환님
,
경영지원실장 현보님이 상반기의 굵직한 성과들을 정리해 주었습니다
.
먼저 은숙님은 새로운 브레인저들을 위해 전략 사업 본부의 팀들과 업무에 대해 소개해 주었고
,
23
년 상반기의
TOP 5
프로젝트와 하반기 다양한 팀의 공조가 필요한 프로젝트
5
가지를 설명해주었습니다
.
자환님은 차세대 제니우스의 개발 상황 및
SIEM, ITSM
의 상반기 실적을 설명해 주고
,
하반기의 개발 계획과 개발 조직 개편에 대해 안내해 주었습니다
.
현보님은 상반기 자회사 에이프리카의 합류로 많은 일이 새로 생겼으나
,
회사가 성장하는 기쁨도 커지고 있다고 언급해 주었습니다
.
또 상반기의 큰 행사 중 하나였던 창립기념 해외 연수 설문조사의 결과를 설명해 주었습니다
.
부사장인 재걸님은
“
고객이 우리를 신뢰해서 손 잡아준 만큼 우리는 더 큰 책임감을 가져야 한다
”
며
“
하반기에도 동업자 정신으로 서로 똘똘 뭉치자
”
고 상반기 총평을 하며 간담회를 마무리하였습니다
.
이후 근처 고깃집으로 이동해 단체 회식을 가졌습니다
.
고깃집 대관 시간이 지나가도록 오래 이야기를 나누고
,
고기를 먹으며 즐거운 시간을 보냈습니다
.
2023
년 상반기 모두들 수고 많으셨습니다
.
브레인즈컴퍼니 화이팅
!
#브레인즈컴퍼니
#간담회
#세미나
#제니우스
#Zenius
성지영
콘텐츠마케터
브레인즈컴퍼니의 기술과 소식에 대해 이야기합니다.
필진 글 더보기
목록으로
추천 콘텐츠
이전 슬라이드 보기
무더위를 잊게 했던, 달콤 시원한 커피차 사내 이벤트!
무더위를 잊게 했던, 달콤 시원한 커피차 사내 이벤트!
지난 8월 12일(월), 브레인즈컴퍼니 본사 1층이 갑자기 분주해졌습니다. 점심시간 무렵, 무더위를 날려줄 특별한 차량이 모습을 드러냈기 때문인데요. │한 여름날의 서프라이즈, 특별한 커피차 등장 지난 근로자의 날 이벤트에 이어서 브레인즈 그룹의 대표인 선근님께서 구성원들을 위해 직접 커피차를 준비해 주셨습니다. 여름을 맞아 준비된 커피차에서는 다양한 메뉴가 준비되어 있었는데요. 아메리카노, 카페라떼, 바닐라라떼와 같은 기본 커피류는 물론! 리버레몬에이드, 핑크리치에이드, 샤인머스캣에이드와 같은 상큼한 에이드류도 함께 제공되었습니다. 특히 이날 가장 인기를 끌었던 메뉴는 단연, 컵빙수와 컵화채였습니다. 아삭한 제철 과일이 가득 들어간 청량한 화채와 달콤한 아이스크림과 팥이 어우러진 컵빙수는, 무더운 더위인 만큼 구성원들에게 큰 호응을 얻었습니다! 뜨거운 여름은, 달콤한 메뉴의 계절임을 다시금 느끼게 해주는 순간이었습니다. "<근로자의 날 커피차> 이벤트가 있었던 날 입사해서 이번에 두 번째 커피차를 마주하게 되었는데, 다시 봐도 신선한 경험이었어요(웃음). 요즘 날씨가 너무 덥고 습해서 기운이 없었는데, 커피차 이벤트 덕분에 활력을 되찾았습니다. 특히 화채와 빙수가 맛있어서 더위가 싹- 가셨어요. 이렇게 멋진 이벤트를 준비해 주신 선근님께 감사드립니다!" 라는 구성원의 소감도 들어볼 수 있었습니다. │모두가 함께 즐긴 룰렛 이벤트 하지만 여기서 끝이 아니었습니다. 이날의 또 다른 하이라이트! 바로 '꽝 없는 룰렛 이벤트'가 기다리고 있었는데요. 룰렛에 공을 세 번 던져 점수를 합산하는 방식으로 진행된 이 이벤트는 1등에게 5만 원 상품권, 2등에게는 스타벅스 3만 원 권, 3등에게는 1만 원 상품권이 주어졌습니다. 무엇보다 모든 참가자들에게 소정의 상품이 주어지는 훈훈한 룰렛 이벤트였습니다. 참가자들은 자신의 운과 실력에 의지하여, 힘껏 공을 던졌습니다. 혹시라도 공을 맞히지 못하더라도 선근님이 추가 기회를 제공하는 훈훈한 모습도 볼 수 있었습니다. 그렇게 모두가 함께 웃을 수 있는 시간이었습니다. 이날의 행운의 주인공을 소개합니다! "점심 먹고 들어오는 길에 더워서 지쳐있었는데 시원한 커피와 화채, 그리고 상품 이벤트 게임까지! 정말 기분 전환이 되었어요. 룰렛 이벤트에서 커피 쿠폰까지 받게 되어 즐거움이 배가 된 것 같아요(웃음). 무더운 날임에도 이벤트 열어주시고 진행해 주신 분들께 정말 감사드립니다!" "본사에서 나오자마자 커피차 등장에 깜짝 놀랐어요. 룰렛 이벤트도 살짝 승부욕을 발휘해 봤는데, 5만 원권을 획득해서 얼떨떨하기도 하면서 내심 기분이 너무 좋았습니다(웃음). 특히 컵빙수가 퀄리티가 높아서 놀랐어요. 상품권도 타고, 맛있는 음료도 먹고, 컵빙수까지! 시원하고 행복했던 하루였습니다." 라는 또 다른 구성원분들의 생생한 후기도 들어볼 수 있었습니다. │무더위도 잊게 했던 달콤한 하루 무더운 날씨에도 불구하고, 브레인즈컴퍼니 구성원들은 이번 이벤트 덕분에 잠시나마 시원하고 달콤한 시간을 보낼 수 있었습니다. 앞으로도 이런 특별한 이벤트를 통해 구성원 모두가 즐겁게 일할 수 있는 환경을 지속적으로 만들어가겠습니다. 브레인즈컴퍼니의 다음 이야기는 계속 됩니다!
2024.08.14
Java APM 기반 기술에 대한 간략한 설명
Java APM 기반 기술에 대한 간략한 설명
몇 년 전부터 미국 실리콘밸리에서 불어온 스타트업 광풍이 인플레이션과 경기 침체가 동시에 예상되는 최악의 전망 속에서 조금 사그러드는 모습입니다. 그러나 빠른 속도로 퍼지기 시작한 IT 관련 유행들은 아마 꽤 오랜 시간 우리들 근처에 남아 그 영향이 지속되지 않을까 예상해봅니다. 그 중 한 부분을 차지하는 것이 새로운 혹은 인기가 급상승한 Go, Python, R, Julia, Kotlin, Rust, Swift 등의 컴퓨터 언어들입니다. 이렇게 많은 언어들이 새로 등장해 번쩍번쩍하는 장점을 뽐내고 있는 와중에도, 아직 세상의 많은 부분, 특히 ‘엔터프라이즈 IT’라 불리는 영역에서 여전히 가장 많이 사용되는 것은 Java입니다. 절대적이지는 않지만 컴퓨터 언어의 인기 순위 차트인 TIOBE 인덱스에 따르면, 2022년 6월 현재도 Java의 인기는 Python, C의 뒤를 잇는 3위입니다. Java 역시 Java 9부터는 십 수년간 고수하던 백워드 컴패티빌리티 정책을 포기하고 여러가지 반짝거리는 장점을 받아들이면서 버전업을 계속해, 올해 9월에는 Java 19가 나올 예정입니다. 그러나 아직도 우리나라 ‘엔터프라이즈 IT’에서 가장 많이 쓰이는 버전, 그리고 작년까지는 세계에서 가장 많이 쓰이는 버전은 Java 8이었습니다. 이렇게 많은 Java 어플리케이션의 성능을 모니터링하고 관리할 수 있는 솔루션을 통상적으로 APM(Application Performance Management)이라고 합니다. 위에서 서술한 것처럼 다른 컴퓨터 언어들의 인기가 올라가고 사용되는 컴퓨터 언어가 다양해지면서 많은 APM 제품들이 Java외의 다른 컴퓨터 언어로 작성된 어플리케이션도 지원하는 경우가 늘어나고 있으나, 이 글에서는 APM을 Java 어플리케이션의 성능을 모니터링하고 관리할 수 있는 솔루션으로 한정하도록 하겠습니다. 어플리케이션의 성능을 보다 깊이 모니터링하는데 필수적인 것이 Trace[i]입니다. Trace는 어플리케이션이 실행되는 과정에 중요하다고 생각되는 부분에서 중요하다고 생각되는 어플리케이션의 상태를 기록으로 남긴 것입니다. 전통적인 어플리케이션에서는 실행 Thread를 따라가면서 순차적인 Trace가 남게 되고 유행에 맞는 MSA(Micro-Service Architecture) 어플리케이션에서는 서로 연관됐지만 직선적이지는 않은 형태의 Trace가 남게 됩니다. 이러한 Trace를 수집하고 추적하고 분석하는 것이 APM의 주요 기능 중 하나입니다. 그런데, 여기서 문제가 하나 생깁니다. Trace는 누가 남길 것인가 하는 문제입니다. 개발 리소스가 충분하고 여유가 있는 경우, 개발시 성능에 대한 부분에 신경을 써서 개발자들이 Trace를 남기며 이를 분석하고 최적화하는 것이 정례화, 프로세스화 돼있겠지만, 많은 경우 개발 리소스를 보다 중요한 목표 달성을 위해 투입하는 것도 모자랄 지경인 것이 현실입니다. 아무리 분석 툴인 APM이 좋아도, 분석할 거리가 되는 Trace가 없으면 무용지물이 돼 버립니다. 그래서 APM에는 미리 정해진 중요한 시점에 어플리케이션에서 아무 것도 하지 않더라도 자동으로 Trace를 남기도록 하는 기능이 필수적으로 필요합니다. Java 어플리케이션의 경우 이러한 기능은 Java Bytecode Instrumentation이라고 하는 기반 기술을 사용해 구현됩니다. 서론이 매우 길어졌지만, 이 글에서는 Java Bytecode Instrumentation에 대해 조금 상세히 살펴보도록 하겠습니다. Java Bytecode Instrumentation을 명확히 이해하려면, 먼저 Java가 아니라 C, C++, Rust등의 언어들로 작성된 프로그램이 어떤 과정을 거쳐서 실행되는가, 그리고 Java 프로그램은 어떤 과정을 거쳐서 실행되는가를 살펴보는 것이 도움이 됩니다. Java가 세상에 나오기 이전에는 ‘컴퓨터 학원’이나 고등학교 ‘기술’ 과목, 그리고 대학의 ‘컴퓨터 개론’ 등에 반드시 이런 내용이 포함돼 있었지만 요즘은 그렇지도 않은 것 같습니다. 컴퓨터에서 프로그램을 실행시키는 것은 CPU, 즉 Central Processing Unit입니다. 지금 이 글을 작성하고 있는 컴퓨터의 CPU는 Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz입니다. CPU는 메모리의 프로그램이 있는 영역을 읽어 들여, 미리 정해진 값에 따라 정해진 동작을 수행하게 됩니다. 이때 어떤 값이 어떤 동작을 수행하는지 규정해 놓은 것을 Machine Language라고 합니다. Machine Language는 100% 숫자의 나열이므로 이를 좀더 사람이 읽기 쉬운 형태로 1:1 매핑 시킨 것이 Assembly Language입니다. (그렇다고 읽기가 많이 쉬워지지는 않습니다.) 이 글에서는 이 두 단어를 구분없이 혼동해 사용합니다. C, C++, 그리고 나온 지 벌써 10년이나 된 Go, 요즘 인기가 계속 상승하고 있는 Rust 등의 언어로 작성된 프로그램은, 이들 언어로 작성된 소스 코드를 Machine Language로 미리 변환해서[ii] 실행 파일을 만들고 이를 실행하게 됩니다. 이 변환을 수행하는 것을 Compile한다라고 하고 이 변환을 수행하는 프로그램을 Compiler라고 부릅니다. 한편, 소스 코드를 완전히 Machine Language로 변환시킨 실행 파일을 실행하는 것이 아니라 Interpreter라 불리우는 프로그램이 소스 코드를 읽으면서 그 의미에 맞게 동작을 수행시키는 언어들도 있습니다. ‘스크립트 언어’라 불리는 bash, Perl, PHP, Ruby, Python 등이 이에 해당되면, 요즘은 잘 쓰이지 않지만 그 옛날 Bill Gates가 직접 Interpreter를 만들기도 했던 BASIC 등이 이에 해당합니다. 본론으로 돌아가보겠습니다. 그렇다면, Java 프로그램은 어떤 방식으로 실행이 되는가? 기본적으로는 Interpreter 방식이라고 생각해도 이 글의 주제인 Java Bytecode Instrumentation을 이해하는 데는 무리가 없습니다.[iii] 여기에 더해 Java의 실행 방식에는 몇 가지 큰 특징이 있습니다. 첫째로, Java는 소스 파일을 직접 읽어 들이면서 실행하는 것이 아니라 소스 파일을 미리 변환시킨 Java Class File을 읽어 들이면서 실행합니다. 하나의 Java Class File에는 하나의 Java Class 내용이 모두 포함됩니다. 즉, Class의 이름, public/private/internal 여부, 부모 클래스, implement하는 interface 등의 Class에 대한 정보, Class의 각 필드들의 정보, Class의 각 메서드[iv]들의 정보, Class에서 참조하는 심볼과 상수들, 그리고 이 글에서 가장 중요한 Java로 작성된 각 메서드의 내용을 Java Bytecode 혹은 JVM Bytecode라고 하는 중간 형태의 수열로 변환시킨 결과 등이 Java Class File에 들어가게 됩니다. 이 Java Bytecode는 실제 실행 환경인 CPU 및 Machine 아키텍처에 무관합니다. 똑같은 Java 소스 코드를 Windows에서 Compile해 Java Class File로 만들건, Linux에서 Compile해 Java Class File로 만들건 그 내용은 100% 동일하게 되고 이 점은 C, C++, Rust 등 Compiler 방식의 언어와 큰 차이점입니다. Java의 가장 큰 마케팅 캐치프레이즈 “Write Once, Run Anywhere”는 이를 표현한 것입니다. 둘째, Java Bytecode는 일반적인 CPU의 Machine Language와 많은 유사점을 지닙니다.[v] 어찌 보면 Java Bytecode는 실제 존재하지는 않지만 동작하는 가상의 CPU의 Machine Language라고 볼 수 있는 것입니다. 이러한 이유에서 Java Class File을 읽어 들여 실행시키는 프로그램을 JVM이라고 (Java Virtual Machine) 부릅니다. Java 소스 파일을 Java Class File로 변환시키는 프로그램을 Java Compiler라고 부르며, 가장 많이 쓰는 Java Compiler는 JDK(Java Development Kit)에 포함된 javac라고 하는 프로그램입니다.[vi] JVM은 JDK에 포함된 java라고 하는 프로그램을 가장 많이 씁니다. 한편 사용 빈도는 그렇게 높지 않지만, Java Class File을 사람이 알아볼 수 있는 형태로 변환해서 그 내용을 보고 싶은 경우도 있습니다. 이런 일을 하는 프로그램을 Java Bytecode Disassembler[vii]라고 부르며, JDK에는 Java Bytecode Disassembler인 javap가 포함돼 있습니다. 혹은, Eclipse나 Intellij IDEA 같은 IDE에서 Java Class File을 로드하면 사람이 알아볼 수 있는 형태로 변환해 보여줍니다. Java Bytecode의 실제 예를 한번 살펴보도록 하겠습니다. 설명을 간단히 하기 위해, 클래스나 메서드 선언 등은 다 제외하고, 오직 메서드의 내용에만 집중하면, System.out.println(“Hello, World.”); 라는 Java 프로그램은 다음과 같은 Java Bytecode로 변환됩니다. (전통적으로 16진수로 표시합니다.) b2 00 0b 12 09 b6 00 0f b1 이를 javap를 사용해, 혹은 JVM Reference[viii]를 보고 좀더 사람이 보기 쉬운 형태로 표현하면 다음과 같습니다. 0: getstatic #11 // Field java/lang/System.out:Ljava/io/PrintStream; 3: ldc #9 // String Hello World 5: invokevirtual #15 // Method java/io/PrintStream.println: (Ljava/lang/String;)V 8: return JVM Reference의 Chapter 7을 참고하면, Java Bytecode를 javap의 결과에 어떻게 대응되는지를 알 수 있습니다. javap의 결과를 조금 더 살펴봅시다. 먼저 콜론 앞의 숫자는 인스트럭션의 offset으로서 Bytecode 시퀀스의 0번째, 3번째, 5번째, 8번째를 의미합니다. 0번째의 getstatic은 그 다음 숫자에 해당하는 필드를 스택의 맨 위에 저장하도록 합니다. 3번째의 ldc는 “Hello, World”라는 상수값을 스택의 맨 위에 저장하도록 합니다. 5번째의 invokevirtual은 println 메서드를 호출하고, 8번째의 return은 메서드에서 리턴해 호출한 곳으로 실행을 넘깁니다. Java 프로그램은 (정확히는 Java 소스 코드로 작성된 프로그램을 Compile한 결과) 통상적으로 많은 수의 Java Class File로 이뤄집니다. JVM은 이러한 Java Class File을 한꺼번에 읽어 들이는 것이 아니라 실행을 하다가 필요한 순간이 되면 그 때 읽어 들입니다. JVM은 이 로딩 과정에 사용자가 개입할 여지를 남겨 뒀는데, 이것이 Java Bytecode Instrumentation입니다. 이에 대한 개요는 https://docs.oracle.com/javase/8/docs/api/java/lang/instrument/package-summary.html에 설명돼 있습니다. 요약해서 설명하면 다음과 같습니다. (1)사용자는 미리 정해진 규약대로 Java Agent라는 프로그램을 작성하고 이를 JVM 실행시에 옵션으로 명기합니다. (2)JVM은 Java Class File을 읽어 들여서 JVM이 처리하기 좋은 형태로 저장하기 전에, 그 파일 내용을 Java Agent의 ClassFileTransformer 클래스의 transform 메서드[ix]에 전달합니다. (3)JVM은 Java Class File의 원래 내용이 아니라 (2)의 메서드가 반환하는 결과를 저장하고 실행합니다. 이 과정을 Java Bytecode Instrumentation이라고 합니다. 사용자는 Java Bytecode Instrumentation을 구현해, 즉 Java Agent를 잘 작성헤 무엇이든 원하는 바를 달성할 수 있는 것입니다![x] 이러한 Java Bytecode Instrumentation은 APM, 그리고 Aspect-Oriented Programming의 기반 기술이 됩니다. 우리나라에서 Java로 프로그래밍을 한다고 하면 누구나 다 알고 있을 것 같은 Spring Core의 핵심 요소 중의 하나가 Aspect-Oriented Programming입니다. 예를 들어 Spring에서 @Transaction 이라고 annotation된 메서드가 있으면, Spring은 그 메서드의 맨 처음에 transaction을 시작하는 코드, 정상적으로 return하기 직전에는 transaction을 commit하는 코드, 그리고 익셉션에 의해 메서드를 빠져 나가기 직전에는 transaction을 rollback하는 코드를 삽입해 주게 되는데 이를 Java Bytecode Instrumentation을 이용해 구현하는 것입니다. 그럼, Java Agent에 거의 무조건적으로 필요한 기능은 무엇일까요? Java Agent는 Java Class File 내용을 그대로 전달받기 때문에 이를 해석할 수 있어야 무언가를 할 수 있습니다. 불행히도, java 스탠다드 라이브러리에는 Java Bytecode를 직접 다루는 기능은 없습니다.[xi] 그래서 de facto standard로 사용되는 것이 asm이라는 라이브러리입니다. 이 라이브러리는 수많은 java 라이브러리와 어플리케이션에 포함돼 있습니다. 그러나 asm이 훌륭한 라이브러리이긴 하지만, 이를 직접 사용하려면 각 상황에 맞게 코드를 삽입하는 프로그램을 작성해서 사용해야 하므로 자유도가 떨어집니다. 그래서 Zenius APM에서는 asm을 사용하되 삽입될 코드를 설정 파일에서 지정할 수 있는 suji(Simple Universal Java Instrumentor)[xii]라고 이름 붙인 라이브러리를 직접 만들어 사용하고 있습니다. suji를 사용하면 yaml 형식의 설정 파일에서, 어떤 클래스의 어떤 메서드의 어느 부분에 삽입할 것인지에 대한 조건과 삽입될 코드를 yaml의 list 형태로 지정하는 것만으로 (이는 Lisp와 비슷한 방식으로, 이렇게 하면 파싱 과정을 생략하면서 쉽게 코드를 넣을 수 있습니다.) Java Bytecode Instrumentation을 손쉽게 처리할 수 있습니다. 예를 들어, Zenius APM에서 JDBC getConnection을 처리하기 위해서 다음과 같은 부분이 설정 파일에 포함돼 있습니다. JDBC.DataSource.getConnection: IsEnabled: true ClassChecker: [ HasInterface, javax/sql/DataSource ] MethodName: getConnection IsStatic: false IsPublic: true IsDeclared: false ReturnType: Ljava/sql/Connection; Locals: [ Ljava/lang/Object;, Ljava/lang/Object; ] AtEntry: - [ INVOKE, dataSourceGetConnection, l1, [] ] AtExit: - [ INVOKE, poolGetConnectionEnd, l2, [ l1, ^r, true ] ] - [ LOAD, l2 ] - [ CAST, Ljava/sql/Connection; ] - [ STORE, ^r ] AtExceptionExit: - [ INVOKE, endByException, null, [ l1, ^e ] ] 간략하게 설명하면, Class가 만약 javax.sql.DataSource를 implement하고 메서드가 스태틱이 아니고 public이면서 java.sql.Connection을 리턴하는 getConnection이라는 이름을 가진 경우에 메서드 시작 시, 리턴 시, 그리고 익셉션에 의해 메서드를 나갈 때 위의 예제에 규정된 코드를 삽입하라는 의미입니다. 이상으로 Java Bytecode Instrumentation에 대한 간략한 설명을 마칩니다. 다음에는 실제로 APM이 중점적으로 추적하고 분석하는 것은 어떤 것들인가에 대해 설명하겠습니다. -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- [i] Sridharan, Distributed Systems Observability, O’Reilly, 2018의 Chapter 4. The Three Pillars of Observability 참조. 번역본은 없는 듯합니다. [ii] 이 외에 여러가지 과정을 거치지만 이 글의 목적과는 무관하므로 과감하게, 자세한 설명은 생략합니다. [iii] 실제로는 Java 프로그램이 100% 이렇게 interpret되어 실행되는 것은 아닙니다. 특정 메쏘드 혹은 메쏘드의 일부분이 자주 실행돼 interpret하는 것보다 미리 컴퓨터(=CPU)가 바로 실행할 수 있는 형태(=Machine Language)로 변환(=compile)해 놓는 것이 더 낫다고 JVM이 판단하는 경우, 미리 이런 변환 과정을 한번 거쳐 그 결과를 기억해 놓고, 그 기억된 결과를 컴퓨터(=CPU)가 바로 실행합니다. 이렇게 변환하는 과정을 Just-In-Time Compile 혹은 JIT라고 합니다. 또 이 때문에 JVM을 단순한 interpreter로 부를 수는 없는 것입니다. [iv] 국립국어원은 메서드가 맞는 표기라고 합니다. [v] 물론 많은 차이점도 지닙니다. (1) JVM은 register가 존재하지 않고 오로지 stack에만 의존한다. (2) JVM은 Class, Method의 개념을 포함하고 있지만 일반적인 범용 CPU에는 그런 상위 개념은 없습니다. [vi] 보통 IDE를 써서 개발을 하기 때문에, javac를 직접 사용하거나 Java Class File을 직접 다룰 일은 잘 없고, jar 파일이 이 글을 읽는 여러분에게 훨씬 더 익숙할 지도 모릅니다. Jar 파일은 그냥 zip으로 압축된 파일이니 그 압축을 한번 풀어 보길 바란다. 확장자가 class인 수많은 파일을 찾을 수 있을 것입니다. [vii] Assembly는 Assemble의 명사형이며, Assemble의 반대말은 Disassemble입니다. [viii] JVM에 대한 모든 것은 The Java Virtual Machine Specification에 나와 있습니다. 이 중 'Chapter 6. The Java Virtual Machine Instruction Set'를 참고하면 각각의 instruction에 대해 상세히 알 수 있습니다. [ix] https://docs.oracle.com/javase/8/docs/api/java/lang/instrument/ClassFileTransformer.html#transform-java.lang.ClassLoader-java.lang.String-java.lang.Class-java.security.ProtectionDomain-byte:A- [x] 쉽다고는 하지 않았습니다. 또 몇가지 제약 사항은 있습니다. [xi] 참고로 최근에는 asm을 대체할 수 있는 기능을 스탠다드 라이브러리에 넣을 계획이 진행되고 있습니다. https://openjdk.org/jeps/8280389 [xii] 명명이 아이돌 그룹 출신 모 여배우와 관계가 아주 없지는 않음을 조심스럽게 밝혀 둡니다.
2022.08.04
네트워크 모니터링의 4가지 최신 트렌드
네트워크 모니터링의 4가지 최신 트렌드
클라우드와 엣지 컴퓨팅의 확산, 동영상/음악/게임 분야의 스트리밍 서비스의 성장 등으로 인해 네트워크 인프라는 점점 더 복잡해지고 있으며, 데이터 트래픽 또한 폭발적으로 증가하고 있습니다. 또한 DDoS(Distributed Denial of Service)나 스니핑(Sniffing) 공격과 같은 보안 위협도 확산되고 있습니다. 따라서 네트워크 성능을 안정적으로 유지하고 잠재적인 위협에 빠르게 대응하기 위한 네트워크 모니터링의 중요성이 더욱 커지고 있습니다. 한 조사에 따르면 네트워크 모니터링 시장 규모가 올해 29억 1천만 달러에 이른 후, 4년간 연평균 성장률(CARG) 9.7%를 기록하며 2028년에는 42억 1천만 달러까지 확대될 전망입니다. IT 기술과 서비스의 발전에 따라서 네트워크 모니터링은 구체적으로 어떻게 변화하고 있는지 네 가지로 나눠서 살펴보겠습니다. [1] 멀티 클라우드 환경에서의 네트워크 모니터링 벤더 종속성을 피하고 비용을 줄이며, 서비스의 성능을 높이기 위해 멀티 클라우드 전략이 많이 채택되고 있습니다. 하지만 멀티 클라우드를 구성하는 각 클라우드 서비스마다 네트워크 아키텍처와 성능이 다르기 때문에 안정적으로 네트워크를 관리하는 데에는 많은 어려움이 따르는 것도 사실입니다. 이러한 어려움을 극복하고, 멀티 클라우드의 운영 효율을 최대한 높이기 위한 네트워크 모니터링의 최근의 추세를 살펴보겠습니다. 가시성 높은 통합 대시보드를 통한 관리 복잡한 멀티 클라우드 환경에서 네트워크를 효율적으로 관리하기 위한 가시성 높은 통합 대시보드의 활용이 증가하고 있습니다. 통합 대시보드는 여러 클라우드에 걸쳐 발생하는 트래픽 흐름, 대역폭 사용량, 그리고 네트워크 성능 지표를 한 눈에 보기 쉽게 제공합니다. 이를 통해 관리자가 각 클라우드 서비스 간의 네트워크 상태를 실시간으로 쉽게 파악하고 문제에 빠르게 대응할 수 있게 돕고 있습니다. 특히, 통합 대시보드는 네트워크 토폴로지 맵과 성능 히트맵과 같은 세부적인 기능을 통해, 복잡하게 얽힌 클라우드 간의 트래픽 흐름을 직관적으로 분석할 수 있도록 지원하고 있습니다. 이를 통해 멀티 클라우드의 각 경로에서 발생할 수 있는 트래픽 불균형이나 병목 현상을 신속하게 감지하고 조정할 수 있습니다. 이와 더불어서 관리자가 자신이 중점적으로 모니터링해야 하는 지표들을 쉽게 확인할 수 있도록, 통합 대시보드의 관리자별 맞춤 설정 기능도 강화되고 있습니다. 이를 통해 관리자는 복잡한 멀티 클라우드 환경에서도 하나의 화면에서 리전별 트래픽, 네트워크 지연시간, 패킷 손실율 등 본인이 원하는 부분에 초점을 맞춰서 효율적으로 네트워크를 모니터링 할 수 있습니다. AI와 머신러닝을 통한 자동화된 분석 및 대응 AI와 머신러닝 기술이 적용된 네트워크 모니터링 시스템도 멀티 클라우드 운영 효율을 높이는데 크게 기여하고 있습니다. 우선 멀티 클라우드 환경의 네트워크는 멀티 클라우드 환경은 다양한 변수로 인해 네트워크 문제가 예측 불가능한 경우가 많습니다. 따라서 AI와 머신러닝 기술은 클라우드 간의 네트워크 상관관계, 트래픽 패턴, 대역폭 사용량, 성능 지표를 등을 학습하여 성능 저하나 장애의 잠재적 원인을 탐지하고 빠르게 알리고 있습니다. 또한 AI를 통해 실시간 트래픽 경로 분석하여 병목 현상이 발생하거나 리소스가 과도하게 사용될 경우 동적으로 VLAN 설정을 변경하거나, 트래픽을 다른 클라우드 인스턴스로 우회시키는 등의 자동화된 대응도 강화되고 있습니다. 이와 함께 네트워크 트래픽의 실시간 변화에 맞춰 QoS(서비스 품질) 정책을 자동으로 조정하여 중요한 애플리케이션에 우선순위를 부여하고, 비정상적인 트래픽을 즉시 차단하거나 제한하는 등의 대응도 자동으로 수행할 수 있습니다. 이 같은 자동화된 조치는 네트워크의 가용성을 높이고, 관리자의 개입 없이도 실시간으로 문제를 해결할 수 있어, 멀티 클라우드 환경에서의 네트워크 성능과 안정성을 높이고 있습니다. 시스템의 확장성 및 유연성 강화 멀티 클라우드 환경에서는 클라우드 리소스가 추가되거나 기존 리소스가 제거되면서, 네트워크의 구성과 요구사항이 빠르게 변동됩니다. 따라서 높은 유연성을 바탕으로 빠르게 변화하는 네트워크 환경에 신속하게 대응하는 것이 네트워크 모니터링 시스템의 중요한 요소로 자리잡았습니다. 구체적으로, 네트워크 모니터링 시스템을 통해 멀티 클라우드 인프라 내에서 새롭게 배포되는 서버나 애플리케이션을 자동으로 감지하고 이를 실시간으로 모니터링할 수 있는 것이 중요해지고 있습니다. 또한, 동적인 멀티 클라우드 환경에서 관리자가 특정 클라우드 서비스나 리소스에 맞춤형 모니터링 설정을 유연하게 적용할 수 있는 기능이 중요해지고 있습니다. 예를 들어, 새로운 클라우드 환경의 네트워크를 모니터링할 때, 해당 환경에 맞춘 모니터링 템플릿을 유연하게 구성하고 배포할 수 있는 기능이 점점 더 중요해지고 있습니다. 이러한 유연한 모니터링 시스템은 멀티 클라우드 인프라의 복잡성을 효과적으로 관리하고 운영 효율성을 높이는 데 중요한 역할을 하고 있습니다. 규정 준수 및 거버넌스 모니터링 멀티 클라우드 환경에서는 다양한 국가와 지역의 규제를 준수해야 합니다. 따라서 네트워크 모니터링 시스템은 네트워크 트래픽, 접근 로그, 보안 이벤트 등을 실시간으로 모니터링하여 잠재적인 규정 위반을 탐지하고 사전에 인지할 수 있도록 지원하고 있습니다. 특히 규정 준수(Compliance) 모니터링은 멀티 클라우드 환경에서 필수적입니다. 예를 들어, 한 클라우드가 유럽에 위치하고 있어 GDPR(유럽 일반 데이터 보호 규정)을 준수해야 하고, 다른 클라우드는 미국의 규제에 따라야 할 때, 네트워크 모니터링 시스템을 통해 각 클라우드에서 발생하는 네트워크 트래픽, 보안 이벤트와 접근 로그를 추적하고, 잠재적인 규정 위반을 사전에 탐지할 수 있도록 지원하고 있습니다. 또한, 거버넌스 모니터링 측면에서는 클라우드 간의 데이터 관리와 접근 통제 정책이 일관되게 적용되도록 지원합니다. 멀티 클라우드 환경에서는 다양한 클라우드 제공자 간에 민감한 데이터가 이동할 수 있기 때문에, 데이터 접근 권한을 관리하고 비인가된 접근 시도를 실시간으로 감시하는 기능이 필수적입니다. 이를 통해 기업은 데이터 유출 위험을 줄이고, 여러 규제와 거버넌스 요구 사항을 준수할 수 있습니다. [2] SDN(소프트웨어 정의 네트워킹) 모니터링 SDN(Software-Defined Networking)은 네트워크를 더 쉽게 관리할 수 있도록 설계된 기술입니다. 전통적인 네트워크는 스위치나 라우터 같은 네트워크 하드웨어 장치가 데이터의 전달 경로와 방식을 스스로 결정했습니다. 하지만 각 장비가 독립적으로 작동하다 보니 네트워크 설정을 변경하는 데 시간이 많이 걸렸고, 특히 대규모 네트워크를 통합적으로 관리하는 데 어려움이 있었습니다. 반면, SDN에서는 소프트웨어 기반의 중앙 컨트롤러(제어 평면, Control Plane)가 데이터의 전달 경로와 방식을 통합하여 결정하고 하드웨어 장치들은 이 결정에 따라 데이터를 전송하는 역할만 수행합니다. 따라서 네트워크 구성을 변경하거나 최적화하기가 쉽고, 대규모 네트워크도 효율적으로 관리할 수 있는 장점이 있습니다. 하지만 동시에 중앙 컨트롤러에 장애가 발생하거나 해킹을 당할 경우 네트워크 전체가 마비될 수 있는 위험이 있으며, 실시간으로 네트워크 상태를 모니터링하고 분석하는 것이 어려운 단점도 존재합니다. 따라서 네트워크 모니터링 시스템은 SDN의 단점을 보완하고 장점을 강화하는 방향으로 발전하고 있습니다. 실시간 데이터 수집 및 분석 실시간 데이터 분석은 네트워크 환경이 계속해서 변화하는 SDN의 특성상 매우 중요합니다. 특히 SDN에서는 스위치, 라우터, 케이블 등 네트워크 하드웨어 장치들이 정상적으로 작동하고 연결된 상태를 나타내는 '물리적 상태'와, 중앙 컨트롤러가 설정한 네트워크 경로와 적용된 정책을 의미하는 '논리적 상태'를 모두 실시간으로 정확하게 모니터링해야 합니다. 네트워크 모니터링 시스템은 이러한 물리적 상태와 논리적 상태를 추적하기 위해, 네트워크 지연 시간, 트래픽 흐름, 패킷 손실, 대역폭 사용량, 링크 상태와 같은 다양한 성능 지표를 실시간으로 수집하고 분석하는 기능을 강화하고 있습니다. 이러한 분석을 통해 네트워크 관리자가 잠재적인 문제나 성능 저하를 조기에 감지하여, 심각한 문제가 발생하기 전에 조치할 수 있도록 돕고 있습니다. 빠르고 자동화된 대응 지원 네트워크 모니터링 시스템은 네트워크 주요 데이터에 대한 수집과 분석에서 그치지 않고, SDN의 컨트롤러와 연계하여 빠르고 자동화된 대응을 지원하고 있습니다. 예를 들어, 특정 시간대에 트래픽이 과도하게 증가하면, 모니터링 시스템이 이를 실시간으로 탐지하고 SDN 컨트롤러를 통해 특정 트래픽을 다른 경로로 자동 분산시킵니다. 링크 장애가 발생하면 모니터링 시스템은 즉시 대체 경로를 설정하여 트래픽이 끊기지 않도록 조치하며, 문제가 해결되면 다시 원래의 경로로 트래픽을 재배치하는 자동 복구 기능을 수행합니다. 이처럼 네트워크 모니터링 시스템과 SDN 컨트롤러와의 연계를 통해 네트워크 운영자의 개입 없이도 스스로 문제를 해결하는 능력이 더욱 진화할 것으로 기대되고 있습니다. 보안이 강화된 모니터링 앞서 살펴본대로 SDN은 네트워크 제어를 중앙집중식으로 처리하는 구조적 특성을 가지고 있기 때문에, 중앙 컨트롤러의 보안이 매우 중요합니다. 따라서 SDN 환경에서 네트워크 모니터링 시스템은 다양한 잠재적인 보안 위협을 사전에 감지하고, 신속하게 대응할 수 있는 강화된 보안 기능을 필수적으로 갖춰가고 있습니다. 예를 들어 네트워크 상에서 발생하는 다양한 이벤트를 실시간으로 감시하고 분석하여, 비정상적인 트래픽 흐름, 의심스러운 로그인 시도, 네트워크 장치 간의 비정상적인 통신 행위 등에 대한 탐지가 가능합니다. 또한 보안을 강화하기 위해서 네트워크 모니터링 시스템과 SIEM(보안 정보 및 이벤트 관리 시스템), IPS(침입 방지 시스템), IDS(침입 탐지 시스템)의 통합이나 연계도 활발하게 이루어지고 있습니다. 분산형 SDN 컨트롤러 모니터링 SDN 환경에서 중앙 컨트롤러 하나에 의존하는 방식의 리스크를 줄이기 위해, 많은 네트워크 운영자들이 분산형 SDN 컨트롤러 아키텍처를 채택하고 있습니다. 분산형 컨트롤러는 각기 독립적으로 운영되면서도 상호 간에 정보와 상태를 동기화하여 안정적인 네트워크 운영이 가능합니다. 따라서 최근 네트워크 모니터링 시스템은 각 컨트롤러의 상태와 성능을 실시간으로 추적하고, 컨트롤러 간 협력 상태를 감시하여 과부하나 장애 발생 시 즉시 다른 컨트롤러로 트래픽을 자동 분산하거나 대체 컨트롤러를 할당하는 기능을 지원하고 있습니다. 또한, 분산된 컨트롤러 간의 상태 동기화 여부를 실시간으로 확인하여, 동기화 문제로 인한 비효율적인 경로 설정이나 보안 취약점을 방지하고, 문제 발생 시 즉각적인 경고 및 자동 수정 기능을 제공합니다. 장애 복구와 복원 기능 또한 필수적으로 강화되어, 장애 발생 시 대체 컨트롤러가 즉각적으로 운영을 이어받고, 문제가 해결된 후에는 트래픽을 원래 컨트롤러로 복원하는 기능도 제공하고 있습니다. [3] 엣지컴퓨팅 환경의 네트워크 모니터링 엣지 컴퓨팅(Edge Computing)은 데이터를 중앙의 대형 데이터센터나 클라우드 서버에서 처리하는 기존 방식과 달리, 데이터를 생성하는 디바이스나 그와 가까운 위치에서 처리하는 기술입니다. 예를 들어 스마트폰, IoT 기기, 자율주행차, 또는 공장 내의 다양한 장비들이 데이터를 스스로 처리하고, 필요한 경우에만 중앙 서버나 클라우드로 데이터를 전송하는 방식입니다. 네트워크 대역폭을 절약할 수 있고, 빠른 서비스 제공이 가능해서 다양한 분야에서 활용이 증가하고 있습니다. 엣지 디바이스들이 데이터를 처리하는 위치가 분산되어 있고, 시스템이 유연하게 확장될 수 있기 때문에, 이러한 환경에 맞춰 각 디바이스와 네트워크의 상태를 실시간으로 모니터링할 수 있는 엣지컴퓨팅 맞춤형 네트워크 모니터링이 필요합니다. 엣지 노드별 모니터링 엣지 컴퓨팅 환경에서는 엣지 노드에서 발생하는 데이터를 실시간으로 정확하게 감지하고 관리해야 합니다. 따라서 네트워크 모니터링 시스템은 각 엣지 노드에 경량화된 에이전트를 배치하거나 에이전트리스 모니터링 방식 등을 활용하여 모니터링을 진행합니다. 이를 통해 엣지 노드의 주요 상태(네트워크 대역폭 소비, 지연 시간 등)를 정확히 분석하고, 비정상적인 상태를 감지하면 중앙 서버에 즉시 알림을 보내고 있습니다. 이때 엣지 노드에서 생성되는 모든 데이터를 중앙 서버로 전송하는 것은 네트워크 대역폭에 큰 부담을 줄 수 있습니다. 따라서 네트워크 모니터링 시스템은 데이터 샘플링을 통해 필수적인 데이터를 효율적으로 선택하고, 데이터 필터링을 통해 불필요한 데이터를 제거하고 전체 네트워크의 부하를 줄이면서 성능을 최적화할 수 있도록 돕고 있습니다. AI/ML 기반의 자동화된 대응 엣지 컴퓨팅의 특성상 문제 발생 시 네트워크 운영자가 모든 노드에 직접 접근해 수동으로 대응하는 것이 현실적으로 어렵습니다. 따라서 운영자의 개입 없이도 엣지 디바이스가 문제를 자율적으로 감지하고 해결할 수 있는 자동화된 대응 시스템이 중요합니다. 네트워크 모니터링 시스템에도 자동화된 대응 기능이 강화되고 있습니다. 자동화된 대응 시스템은 네트워크 모니터링과 관리의 자동화를 통해 분산된 엣지 노드에서 발생하는 문제를 실시간으로 감지하고, 즉각적인 대응을 가능하게 합니다. 특히 AI 및 ML 기술이 이러한 자동화된 대응 시스템의 핵심 기술로 작용하고 있습니다. 예를 들어 정상적인 트래픽 흐름과 비정상적인 트래픽 흐름을 구분하기 위해 각 노드의 트래픽 데이터를 분석하여, 평상시 패턴과 다른 변화를 신속히 감지하고, 이때 이상 징후가 발견되면 트래픽 차단, 리소스 재분배, 또는 네트워크 경로 변경 등의 대응 조치를 자동으로 실행함으로써 네트워크 전체의 안정성을 높이고 있습니다. 확장에 대한 원활한 지원 5G 네트워크의 확산과 IoT 디바이스의 확산등으로 엣지 노드의 수가 폭발적으로 증가하면서 각 노드에서 생성되는 데이터의 양도 기하급수적으로 늘어나고 있습니다. 이러한 환경에서 네트워크 모니터링 시스템은 더 많은 노드를 빠르고 효율적으로 처리할 수 있는 능력을 가져야 하며, 노드 간 상호 연결성을 포함해 분산된 네트워크 전반에 걸쳐 일관된 성능을 유지해야 합니다. 이를 위해 네트워크 모니터링 시스템은 새로운 엣지 노드가 네트워크에 추가될 때마다 별도의 수작업 설정 없이 자동으로 노드를 인식하고, 모니터링을 즉시 시작할 수 있도록 기능이 강화되고 있습니다. 또한 자동 스케일링 기능을 통해 엣지 노드가 증가하면 모니터링 시스템의 리소스를 동적으로 확장하여, 성능 저하 없이 모든 노드를 관리하고 모니터링할 수 있도록 지원하고 있습니다. [4] 네트워크 보안 강화 네트워크 모니터링 분야에서 '보안'은 항상 중요한 주제였지만, 최근 IT 기술의 발전과 빈번한 보안사고 등으로 인해 그 중요성이 더 커지고 있습니다. 네트워크 보안 강화와 관련한 주요 이슈들을 살펴보겠습니다. 제로 트러스트(Zero Trust) 보안 모델의 확산 "절대 신뢰하지 말고, 항상 검증하라"는 원칙에 기반한 제로 트러스트 보안 모델은 내부와 외부를 구분하지 않고, 모든 사용자와 장치의 접근을 철저히 검증하는 접근법입니다. 클라우드 서비스의 확산으로 인해 기업 네트워크의 경계가 모호해지면서 더욱 중요해지고 있습니다. 제로 트러스트 모델을 올바르게 구현하기 위해서는 네트워크의 모든 트래픽을 실시간으로 모니터링하고 비정상적인 활동을 자동으로 탐지하고 즉각적으로 대응할 수 있는 시스템이 필요합니다. 이는 기존 보안 시스템이 단순히 알려진 위협을 차단하는 것에 그쳤다면, 제로 트러스트 모델에서는 잠재적인 위협까지도 감지하고 대응할 수 있어야 한다는 것을 의미합니다. 이를 위해, 최근 네트워크 모니터링 시스템은 AI 기술을 활용하여 자동으로 이상 징후를 탐지하고, 보안 위협에 신속하게 대응하는 능력을 강화하고 있습니다. 예를 들어, AI 기반 모니터링 시스템은 평소와 다른 사용자 행동 패턴을 감지하고, 이를 바탕으로 잠재적인 보안 위협을 조기에 차단하고 있습니다. SASE(Secure Access Service Edge)의 부상 SASE는 네트워크와 보안 기능을 통합하여 클라우드 환경에서 제공하는 혁신적인 보안 모델입니다. VPN, 방화벽, 침입 탐지 시스템, 데이터 손실 방지 등을 하나의 통합 솔루션으로 제공하며, 특히 외부에서 중앙 데이터센터로의 안전한 접근을 보장하는 데 최적화되어 있습니다. SASE는 전통적인 네트워크 보안 솔루션이 클라우드 환경에서 가지는 한계를 극복하고, 어디서든 동일한 보안 수준을 유지할 수 있게 하는 장점이 있습니다. SASE의 핵심은 네트워킹과 보안 기능을 통합하여, 기업이 네트워크와 보안을 하나의 솔루션으로 관리할 수 있도록 하는 것입니다. SASE를 도입하면 방화벽, 클라우드 접근 보안 브로커(CASB), 보안 웹 게이트웨이(SWG) 등 다양한 보안 기능을 단일 플랫폼에서 통합 관리할 수 있어, IT 팀이 더 효율적이고 일관된 보안 정책을 실행할 수 있습니다. 또한, SASE는 네트워크 모니터링 시스템을 진화시켜, 다양한 보안 기능(예: 방화벽, CASB, 보안 웹 게이트웨이 등)을 실시간으로 모니터링하고 관리할 수 있게 합니다. 이를 통해 네트워크 가시성을 높이고, 비정상적인 활동에 대한 즉각적인 대응이 가능해지며, 궁극적으로 조직의 보안을 강화하고 있습니다. XDR(Extended Detection and Response) 도입 XDR은 전통적인 EDR(Endpoint Detection and Response)을 확장하여, 네트워크, 엔드포인트, 서버, 클라우드 환경 등에서 발생하는 보안 위협을 통합적으로 탐지하고 대응하는 기술입니다. XDR은 다양한 보안 도구와 데이터를 통합하여 상관관계를 분석함으로써, 보안 운영 팀이 위협을 보다 쉽게 이해하고 신속하게 대응할 수 있도록 지원하기 때문에 많은 주목을 받고 있습니다. XDR을 활용하려면 상당한 초기 비용이 들고 관리에 어려움이 있기 때문에 많은 기업들이 XDR 전문 관리 솔루션을 도입하고 있습니다. 이에 따라 네트워크 모니터링 시스템도 단순히 네트워크 트래픽을 모니터링하는 것에서 나아가, XDR 전문 관리 솔루션과의 긴밀한 협력을 통해 통합된 보안 운영과 모니터링을 서비스로 제공하는 방향으로 발전하고 있습니다. 예를 들어, 기업은 네트워크 모니터링 시스템을 통해 다양한 보안 데이터를 실시간으로 수집하고 분석하며, 이를 XDR 솔루션과 통합하여 종합적인 보안 상태를 한눈에 파악할 수 있습니다. 이로 인해 보안 위협에 대한 대응 속도를 높이고, 더욱 정교한 보안 전략을 구현할 수 있게 됩니다. 멀티 클라우드와 SDN, 엣지 컴퓨팅 환경에서 네트워크 모니터링은 가시성, 유연성, 그리고 자동화된 대응 능력을 갖춘 시스템으로 진화하고 있습니다. 특히 AI와 머신러닝 기술을 활용한 자동화된 분석은 네트워크 성능 저하나 장애를 사전에 예측하고 대응하는 데 중요한 역할을 합니다. 기술의 발전에 맞추어 발전하는 네트워크 모니터링 시스템의 사용을 통해 기업은 더욱 복잡해지는 네트워크 환경에서 잠재적 위협을 신속히 탐지하고 대응할 수 있습니다.
2024.09.23
머신러닝 기반 메트릭 데이터 이상탐지
머신러닝 기반 메트릭 데이터 이상탐지
개요 이상탐지(Anomaly Detection)는 시계열 데이터에서 과거 또는 비슷한 시점의 다른 데이터의 보편적인 패턴에서 벗어나거나, 벗어나려는 징후가 있는 드문 패턴이나 사실, 대상 개체를 찾아내는 데이터 분석의 한 분야입니다. 시계열이 아닌 것 중에 이상한 것을 찾는 것은 대부분 아웃라이어 탐지에서 다루고 있으나, 아웃라이어 탐지와 이상탐지를 구분하지 않고 넓은 의미에서 이상탐지로 취급합니다. 기존에는 이상탐지를 위해 통계학 기술을 많이 사용해 왔으나, 최근에는 머신러닝 기술을 이상탐지에 적용하는 사례가 늘어가고 있습니다. 당사의 ITIM 제품인 Zenius EMS는 과거 성능 패턴에 대해서 통계 기반의 상∙하한 동적임계치를 구한 뒤, 임계치를 벗어날 가능성이 있는 성능치에 대한 장애 발생가능성을 선제적으로 통보해주는 Proactive(사전장애예측-이상탐지) 기능이 이미 구현돼 있습니다. 필자는 최근에 주목받고 있는 AI 기술을 접목해 단일 성능치가 아닌 메트릭 데이터 셋에 대한 이상탐지 기능을 구현하기 위한 연구를 진행했고 그 결과에 대해 기술하고자 합니다. 이상탐지와 머신러닝 머신러닝으로 이상탐지를 구현하는 학습법은 ▲지도학습 ▲비지도학습 ▲반지도학습으로 구분할 수 있습니다. 지도학습 기반으로 머신러닝을 구현하기 위해서는 기존에 수집된 데이터 중 정상적인 데이터 셋과 이상한 것으로 판별된 데이터 셋을 적절히 섞어서 학습데이터 셋을 만들어야 합니다. 그러나 실제 수집되는 데이터에서 이상 사례로 판별된 학습 데이터를 확보화는 것은 상당히 어렵습니다. 소량의 정답데이터를 이용해서 비슷한 것을 찾아 내거나 학습데이터를 확장시키는 반지도학습을 고려할 수도 있지만, 이 경우도 고객사에 제품을 납품한 이후 일정 시간동안 이상사례에 대한 학습 데이터를 수집해야 하고, 좋은 모델을 만드는데 시간이 너무 오래 소요됩니다. 따라서, 고객사에 제품 납품 후 머신러닝을 빠르게 적용할 수 있도록 비지도학습을 통해 이상탐지를 구현할 수 있는 방법을 중점적으로 고려하게 됐습니다. 비지도학습 이상탐지 ITIM 제품인 Zenius EMS가 수집하는 메트릭 데이터는 대부분 정상 데이터이므로 수집된 데이터 중 일부 비정상 데이터(감시설정에 의해 이벤트가 발생된 데이터)를 자동으로 제거해서 비지도학습을 수행했습니다. 학습에 사용되는 데이터는 모두 정상 데이터이므로 PCA(Principal Component Analysis)를 이용해 차원을 축소하고 복원하는 과정을 통해 비정상 데이터를 검출할 수도 있으나 이번 연구에서는 Neural Network의 Autoencoder 기반의 머신러닝 기법을 사용했습니다. Autoencoder는 입력을 Latent Variable로 압축하는 Encoding과, 이를 다시 원본에 가깝게 복원해내는 Decoding 과정으로 진행되며 이를 통해 데이터의 중요한 정보들만 압축적으로 학습할 수 있습니다. <그림 설명: Autoencoder 개요> 위 그림은 Autoencoder의 기본적인 원리를 나타내고 있습니다. 정상 데이터셋을 통해 학습된 Autoencoder에 정상 샘플을 입력하게 되면 Decoder를 통해 나온 출력이 정상 샘플과 유사하게 잘 복원되지만 비정상적인 샘플을 입력하게 되면, 입력과 출력 값의 차이가 도드라지게 발생하게 되므로 비정상 샘플을 검출할 수 있습니다. 다만, Autoencoder의 Code Size(Latent Variable의 Dimension) 같은 Hyper-Parameter에 따라 전반적인 복원 성능이 좌우되기 때문에 판정 정확도가 지도학습에 비해 다소 불안정하다는 단점이 존재합니다. 또, Autoencoder의 입력과 출력의 차이를 어떻게 정의할 것인지, 어떤 Loss Function을 사용해서 Autoencoder를 학습시킬지 등 여러가지 요인에 따라 성능이 크게 달라질 수 있습니다. 이를 보완하기 위해 ICLE 2018 Conference에서 발표된 Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection을 이용했습니다. (https://iclr.cc/Conferences/2018/Schedule?showEvent=126) DAGMM DAGMM은 축소된 차원과 복원 오차에 대한 특성을 유지하여 입력 값의 중요 정보를 저차원상에서도 보존합니다. DAGMM에서는 차원 축소를 위한 Compression Network에 Autoencoder를 사용해 저차원상의 자료와 축소된 저차원상에서 original data 공간으로의 복원 에러에 대한 특성 정보를 계산할 수 있습니다. DAGMM은 학습된 저차원 공간에서 GMM(Gaussian Mixture Model)을 활용해 복잡한 구조를 가진 입력 자료에 대한 밀도 함수 추정을 수행합니다. 차원 축소와 밀도 함수 추정을 동시에 최적화하기 위해, DAGMM은 저차원 입력을 계산한 뒤, 혼합 밀도 함수를 추정하는 Estimation Network를 사용하고, 입력 자료를 저차원으로 축소시킨 뒤 에너지/가능도 평가 가능하게 해 GMM의 모수를 직접 추정합니다. <그림 설명: DAGMM 개요> DAGMM은 위 그림과 같이 두개의 주요 요소인 Compression Network와 Estimation Network로 구성돼 있습니다. Compression Network는 Deep Autoencoder를 사용해 입력 자료의 차원을 축소하고, Estimation Network는 차원이 축소된 자료를 입력 값으로 해, GMM의 가능도/에너지를 예측합니다. DAGMM에 대한 자세한 내용을 원하시는 경우, ICLR 2018 Conference 홈페이지의 논문 및 자료를 참조해 주십시오. DAGMM 기반 이상탐지 ITIM 제품인 Zenius EMS의 이상탐지를 위해 입력 데이터 셋은 메트릭 데이터로 구성합니다. 연관관계가 있다고 판단되는 메트릭 데이터 중 CPU Usage, Memory Usage, Disk Busy Rate, Network In bps 값을 4차원 데이터셋으로 구성한 후, DAGMM의 Compression Network를 통해 차원 축소를 진행하고 Estimation Network를 통해 가능도 및 에너지 예측을 진행했습니다. 입력 데이터셋은 실제 장비의 메트릭 데이터 중 최근 1000개의 데이터를 사용해 구성했으며, 모델의 정확성을 확인하기 위해 2개의 이상치 데이터를 혼합했습니다. 입력 데이터셋으로 사용된 4차원 데이터를 도식화하기 위해 3차원 Scatter 차트를 사용해서 데이터를 출력하면 아래와 같습니다. <그림 설명: 입력 데이터셋(1)> 위의 그림으로 CPU Usage, Memory Usage, Disk Busy Rate의 관계를 확인할 수 있으며, 이상치 데이터는 붉은 점으로 표시됐습니다. <그림 설명: 입력 데이터셋(2)> 위의 그림으로 CPU Usage, Memory Usage, Network Input bps의 관계를 확인할 수 있으며, 이상치 데이터는 역시 붉은 점으로 표시됐습니다. 입력 데이터셋에 대해 DAGMM epoch 횟수를 1000번으로 학습하여 모델을 생성할 경우 아래와 같은 Energy 밀도와 값을 얻을 수 있습니다. <그림 설명: DAGMM Energy 밀도(1)> <그림 설명: DAGMM Energy 밀도(2)> 생성될 모델에 대해 Energy 값의 99%를 초과할 경우를 이상치 데이터 셋으로 정의할 경우 아래와 같이 입력 데이터셋에서 이상치 데이터로 입력한 값들에 대해 정확하게 이상 징후를 탐지합니다. 이상과 같이 ITIM 제품인 Zenius EMS의 메트릭 데이터에 대한 이상 징후 탐지를 수행하는 방법에 대한 개괄적인 내용을 설명했으며, 이 모델은 당사의 Zenius EMS 시스템의 실시간 이상징후 탐지에 적용할 예정입니다.
2022.08.04
다음 슬라이드 보기