반복영역 건너뛰기
주메뉴 바로가기
본문 바로가기
제품/서비스
EMS Solution
Features
클라우드 관리
AI 인공지능
서버관리
데이터베이스 관리
네트워크 관리
트래픽 관리
설비 IoT 관리
무선 AP 관리
교환기 관리
운영자동화
실시간 관리
백업 관리
APM Solution
애플리케이션 관리
URL 관리
ITSM Solution
서비스데스크
IT 서비스 관리
Big Data Solution
SIEM
Dashboard
대시보드
Consulting Service
컨설팅 서비스
고객
레퍼런스
고객FAQ
문의하기
가격
자료실
카탈로그
사용자매뉴얼
회사소개
비전·미션
연혁
2016~현재
2000~2015
인증서·수상
투자정보
재무정보
전자공고
IR자료
새소식
공고
보도자료
오시는 길
채용
피플
컬처
공고
FAQ
블로그
열기
메인 페이지로 이동
블로그
최신이야기
블로그
최신이야기
사람이야기
회사이야기
기술이야기
다양한이야기
SMS를 통한 서버관리는 꼭 이렇게 해야만 한다?!
네트워크 정보 수집 프로토콜의 모든 것 (SNMP, RMON, ICMP, Syslog)
임형섭
2024.03.04
페이스북 공유하기
트위터 공유하기
링크드인 공유하기
블로그 공유하기
무선 AP를 WNMS를 통해 올바르게 관리하는 방법
지난 포스팅을 통해
NMS의 기본 개념
과
NMS의 구성요소와 역할
에 대해서 살펴보았는데요. 오늘은
네트워크 정보 수집을 위한 다양한 프로토콜
에 대해서 자세히 알아보겠습니다.
네트워크 프로토콜(Network Protocol)은 네트워크에 연결된 장비 간의 메시지 흐름을 통제하고 관리하는 기본적인 절차와 규칙을 정한 규약입니다.
웹 브라우저, 파일 전송, 이메일 송수신, 미디어 스트리밍 등과 같은 모든 온라인 활동을 가능하게 하기 때문에 네트워크 정보 전달의 핵심요소라고 할 수 있죠.
이번 시간에는 주요
네트워크 프로토콜인 ICMP, SNMP
를 중점적으로 알아보겠습니다.
ㅣICMP는 무엇이고 어떻게 동작하는가?
ICMP(Internet Control Message Protocol)는 주로 네트워크의 경로상의 문제나, 호스트(단말)의 문제 등을 파악할 때 사용하는 프로토콜인데요. 대표적인 서비스가 ping입니다. 구체적인 동작원리를 살펴보면 다음과 같습니다.
오류 보고
◾ 네트워크에서 데이터를 보낼 때 오류가 발생하면, 오류를 발생시킨 장비(예: 라우터, 스위치)는 오류 정보를 담아 ICMP 메시지를 처음 보낸 사람에게 전송합니다. 이를 통해 무엇이 잘못됐는지 정확히 파악하고 문제를 해결할 수 있습니다.
◾ 예를 들어 한 컴퓨터에서 인터넷을 통해 데이터를 보내는데, 그 데이터가 목적지에 도달하지 못하면 ICMP가 '이 주소로는 데이터를 배달할 수 없어!'라고 알려주는 역할을 하죠. 이렇게 사용자나 네트워크 관리자가 문제를 알리고 대응할 수 있게 도와주는 게 ICMP의 주요 역할입니다.
[그림] ICMP 동작 방식
진단 및 테스트
◾ 네트워크의 연결 상태나 성능을 테스트하기 위해 ICMP 에코 요청과 에코 응답 메시지를 사용합니다. 이를 통해 네트워크의 지연시간(latency)이나 패킷 손실(packet loss) 등을 측정할 수 있습니다. '핑(ping, Packet INternet Groper)'을 대표적인 예로 들 수 있습니다.
◾ 쉽게 표현하면 '너 지금 연결 잘 되어 있니?'라고 물었을 경우 대상 장비가 '응, 잘 되어 있어!'라고 대답하면 연결이 잘 되어 있는 것이고, 대답이 없거나 늦는 것과 같은 문제를 식별하는 것이죠.
ICMP도 좋은 도구이지만, 네트워크의 복잡성이 빠르게 증가하고 호스트 수가 증가하면서 ICMP만으로는 네트워크 관리가 어려워지는 문제가 발생했는데요. 이를 개선하기 위해서 탄생한 것이 바로 SNMP입니다.
우선 SNMP의 히스토리부터 살펴보겠습니다.
ㅣSNMP 히스토리: 각 버전별 개념과 차이점은?
SNMP(Simple Network Management Protocol)는 1988년에 아래의 세 가지 니즈에 부합하기 위해 등장했습니다.
◾ ICMP보다 많은 기능의 탑재
◾ 네트워크 문제를 직관적이고 쉽게 해결할 수 있어야 함
◾ 표준화된 프로토콜의 사용
이후 몇 가지 버전을 거쳐서 현재는 네트워크 장비를 모니터링하기 위한 프로토콜로 자리를 잡아서 대부분의 NMS 상에서 이용되고 있습니다.
잠깐 SNMP의 처리단계를 살펴보면, SNMP는 Get/Set/Trap의 단순 명령 구조로 구성되는데요, 메시지 타입별 역할은 아래와 같이 정리할 수 있습니다.
위와 같은 처리단계를 가지고 있는 SNMP는 보안 기능 강화 및 기능 개선을 위해서 초기 v1 버전에서 v3 버전까지 업그레이드됐습니다.
각 버전은 보안, 성능, 유연성 등의 측면에서 발전되었으며 현재는 SNMPv2가 가장 많이 사용되고 있죠. SNMP 버전 별 특징에 대해서 자세히 알아보겠습니다.
SNMP v1
가장 초기에 만들어진 프로토콜로 기본적인 정보만을 주고받아서 네트워크 장비들의 상태를 확인하고, 간단한 명령 정도만 내릴 수 있습니다. 보안에 많이 약한 편이고, 정보를 주고받을 때 특별한 암호화나 보호 방법을 사용하지 않기에 정보가 노출될 위험이 있습니다.
SNMP v2
SNMPv1의 단점을 해결하기 위해 개발된 버전입니다. 보안 기능과 네트워크 과부하, 관리 효율성 등에 대한 기능이 향상되었습니다.
MIB(Management Information Base) 구조를 개선하여, 새로운 데이터 타입과 객체 식별자(프로그래밍에서 특정 객체를 식별하는 데 사용되는 값이나 이름)을 도입했습니다. 이로써 더 많은 종류의 데이터를 효과적으로 다룰 수 있게 되었지만, v1과 호환이 안되는 문제가 있어 상용화에는 실패했습니다.
SNMP v2c (Community-Based Security)
SNMPv2c는 '커뮤니티 기반' 방식을 사용하며 'Community String' (공동체 문자열)을 이용합니다. Community String은 정보를 주고받기 위해 인증 과정에서 비밀번호를 사용하는 것으로, 학교에서 특정 비밀번호를 알고 있는 사람들만 특정 정보를 볼 수 있게 하는 것과 비슷합니다.
하지만 비밀번호가 복잡하지 않은 편이라, 조금 더 높은 보안을 필요로 하는 경우에는 적합하지 않을 수 있습니다. 현재 가장 많이 사용되고 있는 버전입니다.
SNMP v3
보안과 관리 기능을 대폭 강화한 버전입니다. SNMPv3는 정보를 주고받을 때 강력한 인증과 암호화를 사용하여, 네트워크 상의 중요한 정보를 안전하게 지킬 수 있습니다.
또한 복잡한 네트워크 환경에서 사용자가 많을 경우에도, 각 사용자의 접근 권한을 관리할 수 있는 기능이 있습니다. 하지만 이전 버전들보다 더 복잡한 보안 모델과 설정 등의 이유로 널리 사용되고 있지는 않습니다.
[그림] SNMP 버전과 수를 한눈에 볼 수 있는 제니우스 EMS 화면
참고로 SNMP에는 위와 같이 다양한 버전이 있기 때문에 모든 NMS는 제니우스처럼 어떤 버전으로 수집했는지와 수를 파악할 수 있어야 합니다.
이제 SNMP에 대해서 조금 더 자세하게 살펴보겠습니다.
ㅣSNMP 자세히 보기: MIB의 개념과 구조
MIB(Management Information Base)는 관리 정보 기반이라고 불립니다. SNMP를 통해 관리되어야 할 정보나 자원들을 모아둔 것으로, Manager와 Agent 간 정보를 주고받는 정보의 집합체입니다.
MIB에는 SNMP를 통해 주고받는 정보가 어떤 의미를 가지고 어떻게 사용될 수 있는지에 대한 정의가 포함되어 있습니다. 또한 각각의 정보는 '객체'라고 불리며, 이 객체들은 계층적으로 구성되어 있기에 관리하고자 하는 정보를 쉽게 찾을 수 있게 도와주죠.
대표적으로 CPU 사용량, 메모리 사용량, 포트의 up/down 같은 상태 정보 등이 MIB에 포함됩니다. 마치 항해사가 바다를 항해하기 위해 지도를 사용하는 것처럼, MIB를 통해 네트워크의 상태를 정확히 파악하고 필요한 조치를 취할 수 있습니다.
MIB의 구조를 자세히 살펴보면 우선 큰 나무를 뒤집어 놓았다고 생각한다면 이해하기 쉽습니다. 큰 나무의 밑동(Root) → 각각의 가지(Branches) → 잎사귀(Leavers)로 나누어져 내려오는 형태인데요, 부분별로 자세히 살펴보겠습니다.
◾
밑동(Root):
모든 MIB 트리의 시작점으로, 'iso(1)', 'org(3)', 'dod(6)', 'internet(1)' 등으로 구성되어 있습니다. 여기서 'internet'은 네트워크 장비와 관련된 표준 MIB를 나타냅니다.
◾
가지(Branches):
밑동에서 나온 큰 가지들은 네트워크 장비의 다양한 부분을 나타냅니다. 예를 들어 'mgmt(2)' 가지는 일반적인 관리 정보, 'private(4)' 가지는 각 제조업체의 고유 정보 등을 의미합니다.
◾
잎사귀(Leaves):
가장 작은 단위의 정보를 나타내는 부분으로 특정 장비의 상태, 성능 지표, 설정값 등 구체적인 데이터가 저장됩니다.
MIB에서는 네트워크 장비의 정보가 여러 '분류'로 나누어져 있는데, '네트워크 인터페이스'라는 분류 아래에는 네트워크 카드의 상태, 속도, 전송된 데이터의 양과 같은 정보들이 담겨 있습니다.
MIB는 복잡해 보일 수 있지만, 네트워크 장비와 관련된 정보를 체계적으로 관리하고 접근할 수 있도록 설계되어 있습니다. 이 구조 덕분에 네트워크 관리자는 네트워크의 건강 상태를 쉽게 체크하고 필요한 조정을 할 수 있습니다.
다음으로는 MIB 내의 각 객체를 고유하게 식별하는 OID에 대해서 알아보겠습니다.
ㅣSNMP 자세히 보기: OID 확인 방법과 수집항목
OID(Object Identifier)는 MIB 내에 포함되어 있는 각 개별 정도에 대한 ID 값입니다. 아래 그림에서 볼 수 있듯이, 트리의 하단 값이 OID인데 MIB의 각 개별 정보에 대한 ID를 의미합니다.
[그림] OID Tree 구조
대형 도서관에서 원하는 책을 찾을 때 책의 번호를 확인하여 빠르고 정확하게 찾는 것처럼, 특정 오브젝트의 ID(Num)을 부여한 게 OID입니다. OID는 포함하고 있는 각 정보를 숫자로 표현합니다.
◾
Enterprise OID:
네트워크 업계에서 공통으로 사용하는 OID
◾
Private OID:
각 네트워크 벤더사에서 사용하는 독자적인 OID
예를 들어 Juniper Networks라는 네트워크 스위치 벤더에서 사용하고 있는 OID 값을 [1.3.5.6.1.9 ]라는 전용 OID 값을 사용한다고 가정하면, Juniper Networks 라우터의 경우 뒤에 라우터 제품별 OID '11'이 더 붙은 [1.3.5.6.1.9.11 ] 형태의 OID로 구성됩니다.
[그림] 제니우스 예시 화면
지금까지 네트워크 모니터링에 필요한 ICMP, SNMP 그리고 MIB, OID에 대해 살펴봤습니다. 참고로 제니우스(Zenius)-NMS에서는 OID 사전을 제공하고 있으며, 이를 통하여 관리하고 싶은 항목의 MIB 항목 및 OID 정보를 쉽게 찾을 수 있습니다.
이제 SNMP의 주요 개념 중 하나인 SNMP Trap에 대해서 알아보겠습니다.
ㅣSNMP Trap의 개념 그리고 특징은?
Manager(관리자)는 Server(Agent)로 메시지 요청(Polling)을 하게 되고, Server(Agent)는 응답(Notifying)을 하는 방식으로 진행됩니다.
그런데 Server가 비정상적인 이벤트를 감지하면 Manager의 Polling을 기다리지 않고 바로 Manager에게 메시지를 보내는데요, 이 긴급 메시지를 Trap(트랩)이라고 합니다. 우리가 날씨에 대해서 찾아보지 않아도 폭설이 예상될 때 폭설을 경고하는 자동 알림 시스템과 비슷한 개념입니다.
[그림] SNMP 프로토콜 동작 방식
SNMP Trap은 일반적으로 높은 CPU 사용량이나 디스크 공간 부족과 같이 해결해야 할 문제를 나타냅니다. 중앙 모니터링 시스템으로 전송되어 분석 및 조치를 취할 수 있죠. 이를 통해 Manager는 큰 문제가 발생하기 전에 잠재적인 문제를 신속하게 식별하고 해결할 수 있습니다.
SNMP Trap의 방식과 기능을 네 가지로 나누어 살펴보겠습니다.
(1) 비동기적 알림
SNMP Trap는 주기적인 폴링이 아닌, 이벤트 기반의 알림을 통해 즉각적으로 대응할 수 있도록 비동기적인 방법을 제공합니다.
(2) 실시간 알림
SNMP Trap은 이벤트가 발생하는 즉시 알림을 제공하여, 실시간으로 네트워크 상태 및 장치 상태를 모니터링해서 문제 발생 시 즉각적인 대응과 조치를 가능하게 합니다.
(3) 이벤트 기반 모니터링
SNMP Trap은 장치나 응용 프로그램에서 특정 이벤트가 발생했을 때만 알림을 보내기 때문에, 불필요한 트래픽을 발생시키지 않습니다. 따라서 자원을 효율적으로 사용하면서 중요한 상태 변경을 식별합니다.
(4) 자동화된 대응
SNMP Trap을 사용하면 이벤트 발생 시, 자동으로 대응 조치를 취할 수 있는 자동화 시스템을 구축할 수 있습니다. 이를 통해 관리자의 개입 없이 특정 이벤트에 대한 대응을 효과적으로 수행할 수 있습니다.
[그림] Zenius Syslog 감시 설정 등록 페이지(위), Zenius Syslog 이벤트 페이지(아래)
이와 같은 SNMP Trap을 통해 빠르게 이상을 탐지하는 것이 중요한데요. 제니우스(Zenius)-Syslog와 Trap에서는 Syslog, Trap에 각각 특정 이벤트 조건을 설정하여 이벤트를 감지하고, 장애를 통보할 수 있는 기능을 제공하고 있습니다.
이제 마지막으로 SNMP 못지않게 네트워크 관리에 중요한 역할을 하는 Syslog, RMON에 대해서 알아보겠습니다.
ㅣ Syslog, RMON의 개념과 동작원리는?
Syslog
Syslog는 컴퓨터 시스템, 네트워크 장비, 보안 장비 등에서 일어나는 모든 상황과 변화를 서버에 기록하는 프로토콜입니다. 관리 대상인 장비에서 일어나는 모든 상황을 메모리에 기록하죠. 로그/오류 관리가 주 목적이고 Unix와 Linux에서 많이 사용됩니다.
대부분의 라우터와 스위치들은 Syslog 프로토콜을 이용하여 Log들을 Syslog 서버로 보내고, 수백수천 대의 장비에 일일이 접속하여 로그를 볼 수 없기 때문에 '중앙 집중식'으로 관리합니다.
작업 방식은 주로 Client-Push 모델로 이러우지고 있고, 장비에서 일어나는 모든 상황 변화를 Layer4 프로토콜이 메모리에 기록하며, Syslog 서버는 UDP 포트 514에서 메세지를 수신합니다.
Syslog 수집항목은 시스템 운영/네트워크/보안/애플리케이션 등과 관련된 로그를 수집 및 분석하고, 각 항목별로 오류와 트랜잭션 등에 대한 내용을 확인합니다.
출처ⓒ viettelco.net
RMON
RMON(Remote Network Monitoring)은 네트워크 장비나 서버에서 발생하는 트래픽과 문제들을 원격에서 감시하기 위해 만들어진 프로토콜로, SNMP보다 확장된 개념이라고 할 수 있습니다.
네트워크 관리자는 RMON을 통해, 네트워크의 성능을 측정하고 문제가 발생했을 때 신속하게 해결할 수 있습니다. 회사에서 인터넷이 느려지거나 연결이 되지 않을 때 RMON을 사용하면 원인을 빠르게 찾아내어 문제를 해결할 수 있죠.
RMON과 SNMP의 연관성을 우선 아래 이미지를 통해 살펴보겠습니다.
출처ⓒ dpstele.com/blog/what-is-rmon.php
좀 더 자세히 살펴보면
◾ RMON은 SNMP 위에서 작동하며, SNMP 보다 더 광범위한 데이터를 수집/분석할 수 있는 기능을 제공합니다.
◾ SNMP가 네트워크의 '기본적인 통신'을 담당한다면, RMON은 그 위에서 보다 '세밀한 관찰과 분석'을 가능하게 합니다.
◾ RMON은 SNMP의 특정 데이터를 사용하여 네트워크 트래픽 패턴이나, 성능 문제, 네트워크 내의 비정상적인 활동 등을 실시간으로 감시하고 기록할 수 있게 해줍니다.
◾ RMON에서 Probe라는 수행 장비를 사용하며, 네트워크 트래픽 및 통계 수집 그리고 성능 모니터링을 위해 활용합니다.
결과적으로 RMON의 기능을 통해 네트워크의 문제를 더 빨리 발견하고, 효율적으로 대응할 수 있죠.
마지막으로 SNMP, RMON, ICMP, Syslog의 주요 내용들을 아래 표를 통해 한눈에 살펴보겠습니다.
。。。。。。。。。。。。
지금까지 네트워크 정보 수집을 위한 다양한 프로토콜의 종류와 특징에 대해서 알아보았습니다. 효과적인 네트워크 관리를 위해서 혁신적인 기술들이 많이 개발되고 있는데요, 이를 활용해서 성공적으로 네트워크를 운영하시기를 바라겠습니다!
#네트워크 프로토콜
#SNMP
#RMON
#ICMP
#Syslog
임형섭
프리세일즈팀
안정적이고 효과적인 비즈니스 운영을 위한 고객 맞춤형 IT 인프라 모니터링 시스템을 제안합니다.
필진 글 더보기
목록으로
추천 콘텐츠
이전 슬라이드 보기
통합로그관리가 필요한 3가지 이유
통합로그관리가 필요한 3가지 이유
로그는 IT 인프라에서 발생하는 모든 상황들을 기록한 데이터입니다. 쉽게 말해 사용자가 어떤 루트로 사이트에 접속했고, 접속한 시점부터 어떤 행동을 취했는지가 모두 기록으로 남게 되는데, 이 기록들이 로그입니다. 로그는 IT 환경에서 가장 많이 발생하지만, 데이터 처리 기술이 발달하지 않았던 시기에는 처리 비용에 비해 가치가 낮은 데이터로 여겨졌습니다. 하지만 최근들어 IT 서비스와 인프라가 다양해지고 디지털 트랜스포메이션이 가속화되면서, 로그의 양이 기하급수적으로 증가하고 사물인터넷(IoT), 빅데이터 등과 같은 신기술이 발전하면서 그 효용성 또한 날로 증가하고 있습니다. 그렇다면, 이 로그는 실제로 어떻게 활용될까요? 개발 영역에서는 버그 혹은 크래시율 수집 및 상시 트래킹, 이슈 발생 후 롤백 및 대응, 특정 기능에 대한 사용성 진단에 활용됩니다. 마케팅 분야는 채널별 ROI 진단 및 비용 최적화, 배너/프로모션/이벤트 효과 측정, 유저 세그멘테이션 및 타게팅에 사용합니다. 기획 및 디자인 영역은 기능 개선을 위한 A/B 테스트, 유저 Journey 경로 분석을 통한 UX/UI 최적화 등에서 쓰이고 있습니다. 이처럼 여러 영역에서 다양하게 쓰이는 로그를 관리하지 않고 방치해두면 어떤 일이 발생할까요? 통합로그관리가 필요한 이유에 대해 알아보겠습니다. ----------------------------------------------- I. 보안 대응체계 구축 저장만 하고 관리되지 않은 로그는 IT 시스템의 장애나 문제 발생 시 그 원인을 찾아내기가 어렵습니다. 또, 로그 데이터의 중요 정보가 외부로 유출될 위험도 커집니다. 끊임없이 발생하는 보안 사고에 대비하기 위해 통합로그관리는 반드시 필요합니다. 관리된 로그는 장애나 사고 발생 시에 그 원인을 파악하고 빠른 대처를 위한 근거 데이터로 사용할 수 있으며, 보안 체계를 마련하는 데에도 활용가능 합니다. 기업들은 로그관리 제품을 사용해 사이버 침해위협을 예방 및 감시하고, 정기적인 로그분석을 통해 강력한 보안대응체계를 구축하고 있습니다. 통합로그관리 솔루션은 보안장비(Firewall, IDC, IPS 등)의 로그와 해킹, 악성코드 등 보안/침해 관련 로그를 지속적으로 분석해 예방 체계를 구축합니다. 또, 대용량 로그의 상관분석을 통해 보안위협을 탐지하고 이상징후를 모니터링하는 등 강력한 보안 대응체계를 구축할 수 있습니다. II. 컴플라이언스 준수 로그는 보안 사고가 발생했을 때 가장 기본적인 증거 및 모니터링 자료로 활용됩니다. 이에 따라 정부에서는 데이터 관리에 대해 각종 법률을 규정하고 있어, 공공기관을 비롯한 개인정보를 다루는 온라인 사업자 및 기업 등은 해당 법규를 준수해야 합니다. 안전한 데이터 이용을 위해 2018년에 발의된 '데이터 3법' 개정안은 2020년 1월 9일 국회 본회의를 통과했습니다. 데이터 3법은 개인정보 보호법, 정보통신망 이용촉진 및 정보보호 등에 관한 법률, 신용정보의 이용 및 보호에 관한 법률 등 3가지 법률을 통칭합니다. 로그 관리 관련 규제의 주요 내용은 다음과 같습니다. i. 개인정보보호를 위해 접근 권한 부여, 변경 또는 말소 기록을 3년 이상 보관해야 합니다. ii. 개인정보 취급자는 개인정보처리시스템의 접속기록을 월 1회 이상 점검해야 하고, 그 활동의 증거를 남기기 위해 시스템에 접속했다는 기록을 1년 이상 보관해야 합니다. iii. 정보통신서비스 제공자는 접근 권한 내역을 5년간 보관하고, 접속 기록의 위·변조 방지를 위해 반드시 백업 보관해야 합니다. III. 빅데이터 처리 플랫폼 IT 인프라 확대 및 기타 비정형 로그 유입에 따라 대용량 로그에 대한 관리가 요구되고 있습니다. 특히 수집된 로그를 실시간으로 분석∙판단해 IT 서비스의 안정적 운영을 도모해야 하는 수요가 증대되고 있는데요. 오늘날의 데이터는 기존 데이터에 비해 양이 매우 방대해 기존 방법이나 도구로는 관리가 어렵습니다. 따라서 빅데이터 기술을 기반으로 하는 대용량 통합 로그관리 솔루션은 이제 IT 운영을 위한 필수 솔루션으로 자리잡았습니다. ----------------------------------------------- 이처럼 기업은 보안위협 및 이상징후 대응/컴플라이언스 준수/대용량 로그 관리를 위해 통합로그관리 솔루션을 필수로 갖춰야합니다. 브레인즈컴퍼니의 통합로그관리 솔루션 '제니우스(Zenius) Logmanager'는 이기종 장비에서 발생되는 정형∙비정형 로그 데이터의 수집/분석/관리 등을 위한 빅데이터 플랫폼입니다. 제니우스 로그매니저가 어떻게 구성돼 있는지 살펴보겠습니다. 제니우스 로그매니저는 정형/반정형 또는 비정형 로그에 대한 실시간 수집 및 신속한 분석 기능을 제공하며, 이러한 정보들을 다양한 차트와 대시보드를 통해 직관적으로 가시화합니다. 특히 로그매니저는 독보적인 인덱싱 및 검색 속도를 제공하며 확장성, 편의성, 효율성, 호환성 등의 특장점을 보유한 제품입니다. 로그 이벤트 발생 시 즉각적인 알람을 통해 빠른 문제 해결과 높은 가용성을 확보하도록 지원합니다.
2022.11.10
[통합로그관리] Filebeat에서 안정적으로 하드웨어 자원 사용하기
[통합로그관리] Filebeat에서 안정적으로 하드웨어 자원 사용하기
Filebeat는 Elastic Stack에서 사용하는 경량(light-weight) 데이터 수집기로 logstash 대비 상대적으로 리소스(CPU와 RAM)를 상당히 적게 소모한다는 장점이 있습니다. 또, Filebeat는 간단한 필터 기능도 제공합니다. 하지만 말 그대로 간단한 필터 기능이라 한번에 대용량의 파일을 관리해야 하는 경우 호스트 서버에 부담이 갈 정도로 많은 리소스를 사용할 수 있습니다. 따라서 브레인즈컴퍼니가 운영하는 통합로그관리 에이전트는 호스트의 서버 환경에 따라 filebeat 에이전트의 설정 파일을 수정해서 안정성을 제공하고 있습니다. 본 내용은 Filebeat 리소스 점유율이 높을 때 트러블슈팅 관련 설정 수정사항입니다. 수정에 필요한 기본 파일 위치 linux : /etc/filebeat/filebeat.yml docker: /usr/share/filebeat/filebeat.yml filebeat 프로세스 메모리 확인하는 방법 top -d 1 | egrep "PID|filebeat" 수정에 앞서 filebeat의 메인 컴포넌트인 harvester의 개념을 간략하게 설명하겠습니다. 하나의 harvester는 하나의 파일을 읽어드립니다. harvester가 실행 중인 경우 파일을 한 줄씩 읽습니다. 각 파일 당 하나의 harvester가 실행됩니다. 상단의 이미지를 보면 filebeat의 컴포넌트인 input과 harvester가 보입니다. 또한 filebeat이 harvester를 관리하며 어느 파일을 읽을지 관리하는걸 알 수 있습니다. harvester가 실행 중인 경우 파일 설명자(File Descriptor) 열린 상태로 유지됩니다. 이는 파일이 삭제되거나 파일명이 변경된다 하더라도 파일을 계속 읽게 해줍니다. 하지만 파일 설명자는 harvester가 닫힐 때까지 디스크 공간을 예약합니다. 1. filebeat.inputs: 2. - type: filestream 3. id: my-filestream-id 4. paths: 5. - /var/log/system.log 6. - /var/log/wifi.log 7. - type: filestream 8. id: apache-filestream-id 9. paths: 10. - "/var/log/apache2/*" 11. fields: 12. apache: true 13. fields_under_root: true <filebeat에서 제공하는 input example> 1. scan_frequency 파일비트가 설정된 filebeat_inputs의 path에 있는 파일들의 갱신 여부를 체크하는 주기입니다. 너무 길게 설정하면 한번에 많은 파일들을 수집하게 됩니다. 반대로 너무 짧게 설정하면 스캔을 너무 잦게 해서 CPU점유율이 올라갑니다. 적당한 조절이 필요합니다. 기본값은 10초입니다. Scan_frequeny가 동작하는 방식은 아래와 같습니다. harvester 읽기 종료 또는 파일 삭제 → scan_frequency 만큼 대기 → 파일 갱신 확인 → 파일 갱신 시 새 harvester 시작 2. backoff Backoff 옵션은 파일비트가 얼마나 더 적극적으로 크롤링 하는지 지정합니다. 기본값은 1인데 1일 경우 새 줄이 추가될 경우 1초마다 확인한다는 의미입니다. Backoff가 동작하는 방식은 아래와 같습니다. harvester 읽기 종료 또는 파일 삭제 → scan_frequency만큼 대기 → 파일 갱신 확인 → 파일 갱신 시 새 harvester 시작 → 파일 갱신 시 Backoff 시간 마다 다시 확인 3. max_procs 파일비트에서 동시에 사용 가능한 최대의 cpu코어의 숫자를 설정합니다. 예를 들어32 CPU코어 시스템에서 max_procs를 1로 설정한다면 cpu사용률은 3.2%(1/32)를 넘지 않습니다. max_procs 설정돼 있으면 harvester가 아무리 많이 생성돼도 cpu의 코어 수만큼 CPU를 점유합니다. 4. harvester_limit harvester의 수가 OS가 감당할 수 있는 파일 핸들러 개수를 초과할 때 사용합니다. 한 input마다 설정되므로 inputs이 5개 선언돼 있으면 해당 input 컴퍼넌트의 harvester 개수 최대치는 5개입니다. 기본값은 0인데, 0일 경우 harvester가 무제한으로 생성 가능합니다. 리소스 관리 최적화에도 유용한데 예를 들어, input1이 input2보다 파일 개수가 3배 많고 중요성이 높을 때 3배 높은 값을 설정하는 것이 좋습니다. 5. close_eof harvester에 의해 파일이 수집되고 있을 때, EOF(End of File)에 도달하는 즉시 파일을 닫습니다. 파일이 계속 갱신된다면 데이터가 유실될 수 있는 여지가 있습니다. [참조] https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-log.html
2022.11.17
[행사] CEO가 쏜다!
[행사] CEO가 쏜다!
“브레인즈컴퍼니의 가장 큰 자산은 브레인저” 브레인즈컴퍼니 CEO 선근님의 경영 철학 중 하나입니다. 선근님은 직원이 없으면 브레인즈컴퍼니도 존재할 수 없다는 생각을 바탕으로, 브레인저들이 더욱 만족하며 행복한 회사생활을 할 수 있도록 항상 고민합니다. 이번 ‘CEO가 쏜다’ 역시 그 일환으로 진행되는 행사 중 하나입니다. 앞서 소개해드렸던 ‘BB데이’와 ‘브행시’가 타 부서 간 소통을 위한 단체 행사라면, ‘CEO가 쏜다’는 소규모로 조금 더 친밀한 관계를 형성해 나가기 위한 행사입니다. 성수역 카페거리에 위치한 이점을 활용해, 선근님과 브레인저들이 2주에 한 번씩 점심시간에 맛집 탐방을 하고 있습니다. 첫 ‘CEO가 쏜다’는 주니어로만 구성됐던 ‘행복한 회사 만들기 TF, YB(Young Brainz)’ 1기와 진행했습니다. 이탈리안 음식점 ‘보이어’에서 점심 코스를 먹고, 드라마 빈센조 촬영지로 유명한 카페‘할아버지 공장’에서 디저트를 먹고 마무리했습니다. 이 외에도, 프리미엄 돼지고기 전문점 ‘메종 성수돈’을 비롯해 브런치 전문점 ‘메이플탑’, 베트남 음식 전문점 ‘꽌코이’ 등 다양한 맛집 투어를 해왔습니다. 최근에는 퓨전 음식 전문점 ‘이오로비스트로’를 방문했습니다. 식당에 들어서자마자 점심 회식 중이던 인프라코어팀을 만났습니다. 그냥 보고 지나칠 수 없었던 선근님! 자리에 앉기도 전에 인프라코어팀 회식부터 결제했어요. 이 기회에 선근님 자랑을 살짝 해보자면, 훈훈한 외모에 동갑인 유재석 뺨치는 입담과 더불어, 식사 때 브레인저가 메뉴 선택에 눈치보지 않도록 본인은 마지막에 주문하는 센스까지 겸비하고 있습니다. 또, 브레인저와 편하게 수다 떠는 것도 좋아해 고민이 있는 직원들은 선근님에게 상담을 받기도 해요. 일할 때는 철두철미하고 이성적인 모습을 보여주지만, 평소에는 취미로 기타 연주 및 노래를 즐기는 등 감성 충만한 면도 있습니다. 항상 브레인저와 소통하려는 선근님의 노력 덕분에 ‘2022년 상반기 회사 만족도 조사’에서 CEO 지지율이 약 90%로 나타났습니다. 또, 브레인저 절반 이상이 수평적인 문화와 자유로운 분위기, 복지와 성장 등을 위한 노력을 브레인즈의 장점으로 꼽았습니다! 이처럼 브레인저들은 CEO와 함께 행복한 회사를 만들어 가고 있습니다. 직장인들이 하루 중 가장 많은 시간을 보내는 곳, 그곳으로 향하는 발걸음이 무겁지 않도록 브레인즈컴퍼니는 오늘도 노력하고 발전해 나가고 있습니다. 행복하게 회사 생활을 하고 싶은 분들이 있다면, 주저하지 말고 합류하세요!
2022.11.18
업계 1위 회사에서 개발 경험을 쌓고 싶다면?
업계 1위 회사에서 개발 경험을 쌓고 싶다면?
브레인즈컴퍼니는 IT 인프라 통합관리 소프트웨어 업계에서 20년 넘게 선두 자리를 지켜오고 있습니다. 20년 역사 중 절반인 10년 가량을 브레인즈에서 함께 성장해 온 개발자들이 있는데요. 업계 1위 제품을 개발하고 있다는 자부심으로 근무 중인 백엔드 개발자, 신호진님&프런트엔드 개발자 김범호님의 이야기를 들어보겠습니다. ----------------------------------------------------------------- Q. 안녕하세요, 자기소개 부탁드릴게요. 호진님: 안녕하세요. 2014년에 입사해 개발1그룹 인프라코어팀에서 근무 중인 신호진입니다. 첫 직장이 브레인즈컴퍼니라, 이제 8년차에 접어든 백엔드 개발자입니다. 범호님: 저는 2012년에 입사해서 10년이 흘렀네요. 개발2그룹 인프라웹팀에서 근무 중인 프런트엔드 개발자 김범호입니다. Q. 각자 맡고 있는 업무에 대해 설명해 주세요. 호진님: 브레인즈컴퍼니의 지능형 IT 인프라 통합관리 소프트웨어인 ZENIUS EMS(제니우스 이엠에스)의 통보 매니저, MRTG 매니저, 서버 Agent를 담당하고 있어요. 통보 매니저는 장애 발생 시 메일, 문자, App 등으로 통보해 사용자가 인지할 수 있도록 하고요. MRTG매니저는 다양한 IT 인프라에 대해 모니터링 분석 데이터를 제공해요. 서버 Agent는 장애 감시, OS 별 성능항목 초 단위 모니터링, 프로세스 모니터링을 제공합니다. 범호님: 호진님 팀에서 실시간 모니터링 작업을 통해 데이터를 수집하면, 그 수집된 데이터를 보고서나 차트, 오버뷰 등으로 사용자가 한눈에 볼 수 있도록 기획/설계/개발하는 업무를 하고 있습니다. Q. 이번 기회를 빌려 Zenius(제니우스)에 대해 홍보해 보자면? 범호님: 긴 말이 필요 없을 것 같아요. 관제 시스템으로서 갖출 수 있는 건 다 갖추고 있어요. 그러니까 업계 1위겠죠? 호진님: Zenius(제니우스)는 다양한 IT 인프라를 관리하는 제품이지만, 복잡하지 않고 사용자가 이용하기 쉽게 직관적으로 잘 만들어진 제품이에요. 국내에서 가장 인기있는 통합관제 솔루션입니다. Q. Zenius(제니우스) 제품을 개발할 때 주로 어떠한 언어를 사용하고 계시나요? 호진님: 주로 C, C++ 언어를 사용하고 있습니다. 범호님: 저는 주로 Java를 사용해요. 현재 팀 이전에는 ITSM팀에서 근무했는데, 그때는 Kotlin을 사용했어요. Q. 두 분은 프런트엔드/백엔드 커리어를 선택한 계기가 있나요? 호진님: 저는 컴퓨터공학을 전공했고, 프로젝트 때마다 담당하던 부분이 백엔드였어요. 그러다 보니 자연스럽게 백엔드 개발자가 됐어요. 그리고 C, C++ 언어를 배우면서 이 분야가 전망이 좋다는 점도 직무를 선택하는데 영향을 미친 것 같아요. 범호님: 저도 호진님과 비슷해요. 전공이기도 했고, 개발 업무가 성격에 잘 맞았어요. Q. 두 분 모두 개발 일을 하신 지 10년 정도가 흘렀네요. 개발 환경이 10년 전과 비교했을 땐 어떻게 달라졌나요? 호진님: 예전에는 개발자라 하면 야근도 많았고 연봉도 그렇게 높지 않았죠. 지금은 개발자 품귀 현상이 나타날 정도로 인기있는 직종이 되다 보니, 연봉도 높아지고 야근도 없는 편이에요. 얼마 전에 연봉이 천만원 인상되면서 매우 만족하며 다니고 있습니다. (웃음) 범호님: 10년 전만 해도 개발자는 3D 업종이라는 말이 있을 만큼 힘든 직업이었던 것 같아요. 예전에는 “적성에 맞는 일을 꼭 해야겠다”라는 인식이 있었다면, 요즘은 개발자가 좋은 이미지로 비치다 보니 사람들이 쉽게 접할 수 있게 되면서 적성보다는 “개발 일을 한 번 해 봐도 괜찮지 않을까”라는 인식으로 바뀐 것 같아요. Q. 이제 팀에 대해 이야기 나눠볼게요. 각자 팀 분위기는 어떤가요? 범호님: 저희는 자유로운 분위기인 것 같아요. 혼자 밥 먹고 싶으면 혼자만의 시간을 갖기도 하고, 다른 사람과 어울리고 싶으면 함께하기도 하고요. 각자 취향을 존중해 주고 있습니다. 호진님: 인프라코어팀은 그 어떤 팀보다 밝은 팀이에요. 저희 팀은 10명 가량으로 구성돼 있는데, 그중 절반 이상이 10~15년 이상의 근속자분들이자 베테랑 개발자예요. 모두 겸손하고 유머러스해서 입사 초부터 잘 해주시다 보니 적응하기도 쉬웠어요. 평소 서로 인사도 잘 하고 이야기도 자주 나누고요. 다른 팀들이 저희 팀을 무서워(?) 하는 것 같은데, 실상은 전혀 그렇지 않거든요. 특히 그룹장인 상호님은 겉으로는 차가워 보이지만, 속은 누구보다 따뜻해서 이야기 나눠보면 그 매력을 느낄 수 있을 거예요. (웃음) Q. 장기 근속자가 많다는 것이 배울 점이 많아 좋기도 하지만, 세대 차이가 발생할 수도 있을 것 같은데요. 그 간극을 좁히기 위해 어떤 노력을 하시나요? 호진님: 시니어 개발자들과 주니어 개발자들이 서로의 차이를 극복하기 위해 대화를 정말 많이 합니다. 그러다 보면, 서로 생각하지 못한 부분을 채워줄 수 있더라고요. 그리고 저희 팀은 함께 밥도 자주 먹고 강제성 없이 원하는 사람들끼리 술도 마시면서 동료애를 쌓아가고 있어요. 범호님: 코드 리뷰를 통해 서로 피드백을 주고받고 있어요. 연차가 낮은 동료가 먼저 신기술을 접하고 오면 제가 배우려고 할 때도 있고요. 또, 저희 팀도 대화를 많이 해요. 설득하는 과정이 필요할 때마다 대화를 통해 의사소통을 해 나가요. 서로 존중해주는 과정이라고 생각해요. 내 의견이 맞다고 생각하다가도 상대 의견이 타당한 내용이라면 믿어주고 서로 응원하면서 일하고 있습니다. Q. 동료들은 본인들을 어떤 사람이라고 이야기할 것 같은가요? 호진님: 아주 쑥스러운 질문이네요. (웃음) 음... 괜찮은 사람이라고 할 것 같습니다. (웃음) 앞으로 “같이 일하면 즐겁고, 어떤 일이든 믿고 맡길 수 있는 사람!”이라는 평가를 들을 수 있도록 더 노력해야죠. 범호님: 믿을 수 있는 사람. 그래서 의지할 수 있고 항상 같이 일하기 좋은 사람이고 싶습니다. (웃음) Q. 그럼 반대로 어떤 동료와 함께 일하고 싶은가요? 호진님: 예의 있고 끈기 있는 동료요. 예의는 직장 생활의 기본이라고 생각해요. 업무 관련해서는 개발과정에서 막히는 부분이 있을 때 오래 앉아있으면 해결책이 나오기 때문에 끈기가 정말 중요해요. 여기에 하나 더 덧붙이자면, 책임감 있는 동료들과 일하고 싶어요. 데드라인은 정말 중요하니까요. 범호님: 바보 같은 질문을 스스럼없이 하는 동료. 터무니없는 질문을 시작으로 되게 괜찮은 아이디어가 나오기도 하거든요. 그래서 때와 장소에 따라 질문을 하는 용기가 필요해요. 상대 이야기를 듣다가 모르는 부분에 대해서는 질문을 해야 업무를 하는데 문제가 없거든요. 보통 질문을 하지 않는 사람들은 이해를 하지 못했는데도 불구하고, 마치 다 알고 있는 것처럼 근엄하게 있다가 넘어가는 경우들이 많아요. 그렇다 보면 업무를 진행하는데 문제가 발생하죠. 그래서 아무 말없이 듣기만 하기보다는 질문할 수 있는 용기를 가진 동료가 좋습니다. Q. 차후에 합류하게 될 개발자들에게 브레인즈에 대해 꼭 알려주고 싶은 것은? 범호님: 저는 장기근속자다 보니, 그동안 회사가 바뀌는 과정을 봐왔는데요. 브레인즈컴퍼니는 지난 10년간 꾸준히 성장해오고 있어요. 그래서 새로운 개발자들이 합류한다면, 10년 후에는 더 큰 회사로 성장해 있을 것이라고 확신해요. 특히 브레인즈컴퍼니는 인재에 많이 투자를 하고 있습니다. 웬만한 교육은 지원을 해주고 있기 때문에, 이렇게 노력을 들이는 회사에서 본인 스스로 노력하고 발전하고자 하는 의지만 있다면 좋은 방향으로 성장할 수 있습니다. 호진님: 브레인즈컴퍼니는 직원을 많이 생각하는 회사예요. 복지가 좋고, 사람들도 좋아요. 이렇게 말하면 잘 와 닿지 않을 것 같은데, 입사하셔서 직접 느껴 보시기 바랍니다! Q. 마지막 질문입니다. 나에게 브레인즈컴퍼니란? 범호님: 동반자. 저는 그동안 운이 좋은 케이스였던 것 같아요. 프로젝트를 하기 위해 외부로 나갔다가 다시 돌아오기도 했고, 팀도 옮겨 봤고요. 그 와중에 회사가 리모델링도 하고 인력이 충원되면서 커졌고요. 또, 기존 제품을 아예 새로 만들어 보기도 했죠. 안주할 새도 없이 여러 변화를 겪으며 회사와 함께 성장해왔기 때문에 동반자 같은 존재가 됐습니다. 호진님: 성장할 수 있는 기회를 주는 곳. 또, 밥 굶지 않고 살아갈 수 있도록 아낌없이 지원해주는 곳이기도 하고요. (웃음)
2022.11.22
다음 슬라이드 보기