기술이야기 | 브레인즈컴퍼니

주메뉴 바로가기 본문 바로가기

메인 페이지로 이동
블로그
기술이야기

블로그

기술이야기

기술이야기 엣지 컴퓨팅을 위한 CNCF 프로젝트, KubeEdge 활용법 기술이야기 엣지 컴퓨팅을 위한 CNCF 프로젝트, KubeEdge 활용법 최근 몇 년 간 IT 분야는 급속한 발전을 거듭하고 있습니다. 특히 2010년대 중반부터 데이터를 온라인에 저장하는 기존 방식을 넘어서, 보다 진보된 컴퓨팅 기술이 등장하며 클라우드 컴퓨팅이 중요한 역할을 하게 되었습니다. 아마존 웹 서비스(AWS), 마이크로소프트(Microsoft), 구글(Google) 등의 대형 기업들이 클라우드 서비스를 주도해 나갔죠. 하지만 점점 IT 산업이 커지고 사물인터넷(IoT) 기술이 발전하면서 IT 장비에서 생성되는 데이터양이 기하급수적으로 많아졌습니다. IDC의 2018년 자료에 따르면, 2025년에는 전 세계에서 생성되는 데이터가 175ZB(*제타바이트1)에 도달할 예정이라고 합니다. 이처럼 수많은 데이터가 생성되고 중앙 서버에 저장/연산이 될 경우, 서버에 부하가 증가하는 문제가 발생하게 됩니다. *1. 1 ZB = 1021 bytes = 1,000,000,000,000,000,000,000 bytes 이를 해결하기 위해 2020년부터 중앙 서버에만 저장하지 않고, 클라우드 하위개념인 '클라우드렛'을 통해 데이터를 분산 처리하는 새로운 기술이 등장했는데요. 그 기술이 바로 엣지 컴퓨팅(Edge Computing)입니다. │엣지 컴퓨팅(Edge Computing)이란? 엣지 컴퓨팅은 데이터를 중앙 집중형 데이터 센터나 클라우드 대신, 데이터가 생성되는 가장 가까운 곳에서 처리하는 기술입니다. 쉽게 말해 중앙 서버가 아닌 데이터가 발생하는 '엣지(가장자리)'에서 직접 처리하는 것을 의미하죠. 엣지 컴퓨팅의 목적은 데이터 처리 응답 지연을 없애고, 실시간 성능을 개선하는 것입니다. 따라서 엣지 컴퓨팅의 가장 큰 특징이 '분산 처리 기능'이기도 합니다. 즉 가까운 곳에서 데이터를 처리하여, 부하를 분산하고, 통신 지역을 최소화하는 것이 엣지 컴퓨팅의 주목적입니다. │Edge Computing 필요성 그렇다면 엣지 컴퓨팅은 왜 점점 중요해지고 있을까요? 앞에서 언급했던 것처럼, IoT 시대가 도래하면서 다양한 디바이스에서 처리하는 데이터의 양이 폭발적으로 증가하고 있습니다. 이에 따라 요구되는 처리 속도와 응답 속도도 높아지고 있죠. 방대한 양의 데이터를 처리하기 위해서는 대규모 데이터 센터가 필요하지만, 각 위치에 데이터 센터를 두는 것보다 한 곳에서 중앙 집중식으로 처리하는 것이 더 효율적입니다. 이것이 클라우드 컴퓨팅이 대중화된 이유 중 하나입니다. 그러나 인터넷을 통해 클라우드로 데이터를 전송하고 처리한 후 반환할 때, 약간의 시간 지연이 발생합니다. 물론 로봇과 산업 장비의 센서 기술은 나날이 발전하고 있어, 어느 순간에도 상황을 정확하게 파악할 수 있게 되었습니다. 하지만 데이터 처리와 반응 사이에 시간 지연이 발생하면 정교한 *센싱 기술2 은 아직 어려운 편이죠. *2. 센싱 기술: 다양한 센서를 활용해 물리적 환경으로부터 데이터를 감지하고 수집하는 기술 이처럼 정밀하고 복잡한 동작을 수행하는 디바이스에는 고정밀 IoT가 필요한데요. 이를 위해서는 최대한 실시간에 가깝게 정보와 데이터를 주고받아야 하는데, 엣지 컴퓨팅가 이를 가능하게 합니다. 따라서 엣지 컴퓨팅은 IoT가 다음 단계로 나아가기 위해 필요한 기술로 주목받고 있죠. │Edge Computing 장점 엣지 컴퓨팅의 구체적인 이점은 무엇일까요? 엣지 컴퓨팅을 활용하면 얻을 수 있는 이점을 살펴보겠습니다. • 네트워크 트래픽 감소: 엣지 컴퓨팅은 데이터를 중앙 클라우드 서버로 보내지 않고 엣지(사용자 근처 단말기)에서 직접 처리하기 때문에, 네트워크 트래픽이 큰 폭으로 감소합니다. • 빠른 데이터 처리 응답시간: 데이터를 단말기에서 바로 처리하므로, 데이터 처리 응답 시간이 매우 빠릅니다. 실시간 응답이 중요한 애플리케이션에서는 큰 이점이죠. • 향상된 보안성: 개인정보 등 중요한 데이터를 중앙 데이터 센터로 전송하지 않아도 되므로 보안성이 높아집니다. 데이터가 로컬에서 처리되기 때문에 데이터 유출 위험이 줄어듭니다. • 장애 포인트 감소: 서버에 장애가 발생할 경우, 전체 서비스로 장애가 확대되는 클라우드 컴퓨팅과 달리 엣지 컴퓨팅은 개별 엣지의 장애가 다른 엣지로 전파되지 않게 합니다. 따라서 전체 시스템의 안정성이 향상되고 장애 포인트가 감소됩니다. │Edge Computing 활용 분야 엣지 컴퓨팅 활용분야는 다양하지만, 대표적인 엣지 컴퓨팅 적용사례로 스마트팩토리가 있습니다. 스마트 팩토리는 IoT, AI를 활용해 공정을 자동화하고 최적화하는 공장을 의미하는데요. 스마트팩토리에서는 제품 생산 과정에서 발생하는 모든 데이터를 중앙 클라우드 서버에 저장하면, 서버에 부하가 걸리기 쉽습니다. 이를 해결하기 위해 단순히 매일 반복되는 프로세스는 근처 엣지서버에 저장하고 데이터 연산 작업을 진행하죠. 반면 복잡하고 자주 처리되지 않는 데이터는 중앙 클라우드 서버에 저장합니다. 이렇게 하면 AI가 기기를 운영할 때 실시간 데이터 처리가 가능하여 지연 시간을 줄이고 효율성을 높일 수 있습니다. 여기서 엣지 서버는 지사 개념으로, 중앙 클라우드 서버는 본사 개념으로 이해할 수 있습니다. 엣지 컴퓨팅 활용 분야는 계속해서 확대되고 있습니다. 스마트팩토리 외에도 에너지 스트리밍, 게임, 헬스케어, 농업, 데이터센터, 자율주행, 스마트 시티 등 대규모 산업분야에 많이 사용되고 있습니다. │Edge Computing 도전 과제 하지만 엣지 컴퓨팅 기술에는 여러 도전과제가 있는데요, 대표적으로 애플리케이션 배포관리가 있습니다. 다양한 엣지 환경에서 애플리케이션을 배포하고 관리하는 것은, 생각만 해도 복잡한 프로세스이기 때문이죠. 이때 애플리케이션 버전 관리를 일관되게 하고 다양한 엣지 장치와 위치에서 호환성을 유지하려면, 효율적인 오케스트레이션 배포 시스템이 필요합니다. 이러한 과제를 해결하기 위해 여러 솔루션들이 연구되고 있는데요. 그중 하나가 쿠버네티스(Kubernetes, K8s)입니다. 쿠버네티스는 컨테이너화된 애플리케이션을 자동 배포하고, 확장하며, 관리하기 위한 오픈 소스 플랫폼입니다. 이때 쿠버네티스 기술에 + Edge를 접목한 것이 바로 KubeEdge입니다. 좀 더 자세히 알아볼까요? │KubeEdge란? KubeEdge는 쿠버네티스를 확장하여 엣지 컴퓨팅 환경을 지원하는 오픈 소스 플랫폼입니다. 엣지 컴퓨팅의 잠재력을 최대한 활용할 수 있는 플랫폼이죠. KubeEdge는 클라우드 컴퓨팅과 엣지 컴퓨팅의 경계를 허물기 위해 설계되었는데요. CNCF 재단에서 엣지 컴퓨팅 커뮤니티 구성원에 의해 개발되었고, 2018년 11월 상하이 KubeCon에서 처음 발표되었습니다. 쿠버네티스 기반으로 설계된 KubeEdge는, 2019년 3월에 첫 릴리즈 이후로 점차 안정화되고 있습니다. │KubeEdge 주요 기능 KubeEdge는 쿠버네티스를 사용해 클라우드와 엣지 리소스를 일관되게 관리할 수 있습니다. 또한 클라우드에서 운영하던 애플리케이션과 서비스를 동일한 방식으로 다룰 수 있죠. 이 밖에도 KubeEdge 주요 기능은 다음과 같습니다. • 엣지 클러스터 관리: KubeEdge는 엣지 환경에서도 쿠버네티스 클러스터를 효율적으로 관리할 수 있습니다. • 데이터 처리: 엣지에서 생성된 데이터를 로컬에서 처리하여, 네트워크 대역폭을 절약하고 응답 시간을 단축합니다. • 애플리케이션 오케스트레이션: 클라우드와 유사한 방식으로 엣지 애플리케이션을 배포하고 관리할 수 있습니다. • 보안: 엣지와 클라우드 간의 안전한 통신을 보장하여, 데이터 보안을 강화합니다. │KubeEdge 주요특징 KubeEdge 기능이 좀 더 원활하게 작업을 할 수 있도록 도와주는 주요 특징이 있는데요. 자세히 살펴보겠습니다. • 분산 아키텍처: KubeEdge는 클라우드와 엣지를 각각 포함하는 분산된 환경을 지원합니다. 클라우드에는 Kube-apiserver가 있으며, 엣지에는 실제 IoT 디바이스가 있습니다. 이를 통해 중앙 집중식 관리와 로컬 처리를 모두 가능하게 합니다. • 쿠버네티스 API 호환성: KubeEdge는 쿠버네티스 API와 호환됩니다. 이를 통해 기존에 쿠버네티스에 익숙한 사용자는 엣지 컴퓨팅 환경을 쉽게 관리할 수 있죠. • 리소스 제약 환경 지원: 엣지 디바이스는 일반적으로 제한된 컴퓨팅 자원을 가지고 있습니다. KubeEdge는 이러한 환경을 고려하여 설계되었기 때문에, 리소스가 제한된 환경에서도 효율적으로 작동합니다. • 오프라인 작동 지원: 엣지 노드는 네트워크에 연결되어 있지 않더라도, 일정 부분을 독립적으로 작동할 수 있습니다. 이는 인터넷 연결이 불안정한 환경에서 매우 유용합니다. • 경량화된 엣지 컴포넌트: KubeEdge는 엣지 측에 'EdgeCore'라는 경량화된 컴포넌트를 사용합니다. EdgeCore는 IoT 디바이스와의 통신/관리를 담당합니다. • 효율적인 통신: 클라우드와 엣지 사이의 통신은 *MQTT3와 같은 프로토콜을 사용하여 효율적으로 이루어집니다. 이는 데이터의 신속한 전송과 처리를 가능하게 합니다. *3. MQTT: Message Queuing Telementry Transport의 약자로 경량 메시지 전송 프로토콜 │KubeEdge 구성도 KubeEdge 구성도를 살펴보면 크게 Cloud, Edge, Device로 나누어져 있는데요. 각각 구성요소에 대한 설명은 아래와 같습니다. • Edged: Edge에서 컨테이너화된 애플리케이션을 관리합니다. 이는 엣지 디바이스에서 애플리케이션을 배포하고 실행하는 역할을 합니다. • EdgeHub: Edge에 위치한 통신 인터페이스 모듈로, 엣지 컴퓨팅을 위해 클라우드 서비스와 상호 작용하는 *웹 소켓4 클라이언트입니다. 클라우드와 실시간 데이터 통신을 담당합니다. • CloudHub: 클라우드에서의 통신 인터페이스 모듈입니다. 클라우드 측의 변경 사항을 감시하고, EdgeHub에 메시지를 캐싱하고 보내는 역할을 담당하는 웹 소켓 서버입니다. • Edge Controller: Edge 노드를 관리하는 모듈입니다. 이 모듈은 데이터를 특정 엣지 노드로 전달될 수 있도록, 엣지 노드와 포드 *메타데이터5를 관리합니다. 즉 Edge Controller는 쿠버네티스 컨트롤러 역할을 확장하여, 엣지 컴퓨팅 환경에서도 효율적인 노드 관리와 데이터 흐름을 가능하게 합니다. • EventBus: MQTT를 사용하여 내부 엣지 통신을 처리하는 모듈입니다. 이는 MQTT 서버와 상호 작용하여 다른 구성 요소에 게시와 구독 기능을 제공하는 MQTT 클라이언트 역할을 합니다. • Device Twin: 장치 메타 데이터를 처리하는 장치용 소프트웨어 미러입니다. 이 모듈은 장치 상태를 처리하고 이를 클라우드에 동기화하는 데 도움을 줍니다. 또한 경량 데이터베이스(SQLite)에 연결되어, 애플리케이션에 대한 쿼리 인터페이스도 제공합니다. • MetaManager: Edge 노드에서 메타데이터를 관리하는 모듈입니다. 이는 Edged와 EdgeHub 사이의 메세지 프로세서로, 경량 데이터베이스(SQLite)와의 메타데이터를 저장/검색하는 역할을 담당합니다. *4. 웹 소켓: 웹 브라우저와 서버 간의 실시간 양방향 통신을 가능하게 하는 프로토콜 *5. 포드 메타데이터: 파일 원본 데이터 외에 추가적인 속성이나 정보를 포함하는 메타데이터 이러한 각 구성 요소는 엣지와 클라우드 간의 원활한 통신, 애플리케이션 배포, 데이터 관리 등을 담당하여 엣지 컴퓨팅의 성능과 효율성을 극대화합니다. 이를 통해 실시간 데이터 처리와 안정적인 시스템 운영이 가능하죠. │엣지 컴퓨팅과 KubeEdge 미래 전망 그렇다면 엣지컴퓨팅과 KubeEdge 미래 전망은 어떨까요? 엣지 컴퓨팅과 KubeEdge의 결합은 데이터 생성 지점에서 즉시 처리를 가능하게 하여 지연 시간을 줄이고, 클라우드 네이티브 애플리케이션을 엣지 환경에서도 원활하게 실행할 수 있도록 지원합니다. 따라서 이러한 기술의 결합은 5g와 함께 자율주행차, 스마트 시티 등 다양한 분야에서 혁신을 이끌며, 향후 지속적인 성장이 예상됩니다. IDC에 따르면, 전 세계 엣지 컴퓨팅 지출은 2023년 2080억 달러에서 2026년까지 연평균 13.1%씩 성장하여 3170억 달러에 이를 것으로 예상됩니다. 이러한 성장은 디지털 전환 이니셔티브의 중요한 요소로 엣지 컴퓨팅의 역할이 확대되면서 더욱 가속화될 예정입니다. 국내에서도 엣지 컴퓨팅과 관련한 기술 발전과 시장 확장이 활발히 이루어지고 있습니다. 정부가 민간사업에게 5G 주파수를 할당하면서 이음 5G(5G 특화망) 서비스가 시작되었고, 이를 통해 자율 주행 로봇 등의 엣지 컴퓨팅 관련 서비스가 확대되고 있습니다. 결론적으로 엣지 컴퓨팅과 KubeEdge의 결합은, 미래의 디지털 트랜스 포메이션을 가속화할 핵심 기술로 자리 잡을 것으로 전망하고 있습니다. 이들의 발전은 다양한 산업 분야에서 새로운 비즈니스 모델과 기회를 창출하여, 우리의 생활 방식을 더욱 안전하고 편리하게 만들어 줄 것입니다. 📚참고 자료 • MichaelShirer, "New IDC Spending Guide Forecasts Edge Computing Investments Will Reach $232 Billion in 2024", IDC • GordonHaff, "Edge computing: 4 trends for 2023", enterprisersproject • ShirleyStark, "Future Of Edge Computing: Top 6 Trends 2023", justtotaltech • TonyFyler, "Edge computing trends in 2023", techhq • Bluefriday, "KubeEdge concept", tistory • Mansoor Ahmed, "Kubernetes Native Edge Computing Framework, KubeEdge", linkedin • "TDK의 고급 HDD 헤드 기술은 사회의 디지털 변혁을 가속화합니다", shunlongwei • 양대규기자, 엣지에서 AI와 시각적 처리가 증가하는 이유, aitimes 2024.07.26
기술이야기 디자인 시스템이 필요한 이유와 핵심요소는? 기술이야기 디자인 시스템이 필요한 이유와 핵심요소는? “우리나라 금융 유니콘 기업이 개발과정에서 1,000시간을 아낀 비결” “애플과 구글이 제품을 기획하고 개발할 때 가장 중요하게 생각하는 것” 디자인 시스템은 무엇일까? 위에 있는 두 문장의 답은 바로 ‘디자인 시스템’이에요. 고객이 하나의 브랜드를 접하는 순간부터 끝까지 지속적으로 동일한 경험을 하게 해주는 디자인 시스템의 중요도는, 점점 더 커지고 있죠. 디자인 시스템은 시맨틱 컬러, 컴포넌트 디자인, 디자인 토큰 등을 구축하여 제품 전반에서 사용자가 일괄적인 시각적 경험을 할 수 있도록 도와주고 있어요. 제품을 더 빠르고 효율적으로 만들어주기도 해요. 그리하여 이번 시간에는 1) 디자인 시스템은 구체적으로 무엇이고 2) 브레인즈컴퍼니는 어떤 노력을 하고 있는지 살펴볼게요! 디자인 시스템의 요소1 : 시맨틱 컬러 ▲Zenius ITSM 버튼에 적용된 컬러 시스템 디자인 시스템의 중요 요소 중 하나인 '시맨틱 컬러'는, 사용 방법에 따라 색상 이름을 지정하는 방법이에요. 브레인즈컴퍼니의 제니우스(Zenius)도 시맨틱 컬러를 사용하고 있는데요. Primary, Secondary, Tertiary, Ghost, Gray, Severity Color 등으로 구성되어 있어요. 여기서 Primary 컬러는 UI 전체의 주요 구성 요소에 대한 역할을 해줘요. 가장 중요한 액션에 사용하며, 화면에서 가장 강력한 클릭 유도 문안인 CTA(call to action)을 강조하기 위해 사용하기도 하죠. ▲Zenius ITSM Primary 컬러의 변천사 Zenius ITSM은 BI 컬러를 보완한 Primary 색상을 사용 중이며, Secondary와 Tertiary는 이와 어울리는 색상을 지정해 사용하고 있어요. 브레인즈컴퍼니의 컬러는 선명한 파란색이지만, 제품 화면에 사용하기에는 채도가 너무 높아 두 번의 GUI 테스트를 거쳐 위와 같이 보완한 색상이 나왔어요. Secondary와 Tertiaty 사용 시 화면 구성의 위계질서에 따라 색상을 설정하여 중요도(중요, 보조, 부가)를 표현하기도 해요. [잠깐의 TMI🤭] 브레인즈컴퍼니 브랜드 색상인 Blue는 한국에서 가장 선호도가 높은 색상이며, 신뢰·젊음·성실·책임감 등의 이미지를 지닌 색상이에요. ▲컬러 팔레트 디자인 시스템의 요소2 : 심각도 컬러 ▲심각도 컬러 팔레트 '심각도 컬러'는 Zenius에서 사용하는 시맨틱 컬러의 일종이에요. Zenius에서 발생한 이벤트를 알려주는 색상으로 총 6단계의 색상을 구축하여서 사용하고 있답니다. 정상, 무해, 주의, 위험, 긴급, 치명의 6단계이며 위와 같은 컬러를 사용하고 있어요. 디자인 시스템의 요소3 : 디자인 토큰 '디자인 토큰'은 디자인 시스템의 시각적 디자인 요소이며, 디자인 관련 변수를 저장하는 데 사용하는 기본 요소에요. 기존에는 피그마(Figma)에서 컬러나 폰트 등을 Style로만 지정할 수 있었어요. 같은 색상을 여러 개의 항목에 적용할 경우, 토큰 별로 사용할 수 없는 점이 굉장히 불편했죠. 하지만 Figma의 Variable 기능이 업데이트된 후, 토큰을 만들 수 있게 되었어요! 브레인즈컴퍼니의 메인 제품 Zenius는 총 세 개의 테마를 사용 중이라, 디자인 토큰 시스템을 테스트하고 있답니다. ▲컬러 토큰 시스템 위와 같이 속성이 다른 두 개의 디자인에 동일하게 Neutral-500 컬러를 사용했는데요, 토큰별로 색상을 적용할 수 있는 시스템이라, 같은 색상을 지닌 다른 속성이어도 개별로 컬러 관리가 가능한 장점이 있어요. 개발자와의 협업에도 굉장히 좋은 시스템이랍니다! 。。。。。。。。。。。。 제니우스(Zenius) 제품이 태어난 지 오래된 만큼, 제품 디자이너가 여러 번 바뀌었어요. 컬러 시스템에 대한 가이드도 중간중간 변경되었죠. 브레인즈컴퍼니 디자인팀은 컬러 시스템을 다시 재정비하기 위해, 여러 가지 테스트 과정을 거치고 있어요. 아직은 구축 단계에 있어 디자인 팀 내의 규칙이나, 개발자들과 네이밍 규칙 등 협의해야 할 일이 적진 않아요. 그래도 구축이 완료된다면 정말 소통하기 편해질 거 같아요! 이제 곧 완성될 '디자인 시스템'을 통해 한층 더 성숙해질 Zenius! 많은 기대 부탁드려요😊 2023.12.12
기술이야기 카프카를 통한 로그 관리 방법 기술이야기 카프카를 통한 로그 관리 방법 안녕하세요! 저는 개발4그룹에서 제니우스(Zenius) SIEM의 로그 관리 기능 개발을 담당하고 있는 김채욱 입니다. 제가 하고 있는 일은 실시간으로 대용량 로그 데이터를 수집하여 분석 후, 사용자에게 가치 있는 정보를 시각화하여 보여주는 일입니다. 이번 글에서 다룰 내용은 1) 그동안 로그(Log)에 대해 조사한 것과 2) 최근에 CCDAK 카프카 자격증을 딴 기념으로, 카프카(Kafka)를 이용하여 어떻게 로그 관리를 하는지에 대해 이야기해 보겠습니다. PART1. 로그 1. 로그의 표면적 형태 로그(Log)는 기본적으로 시스템의 일련된 동작이나 사건의 기록입니다. 시스템의 일기장과도 같죠. 로그를 통해 특정 시간에 시스템에서 ‘어떤 일’이 일어났는지 파악할 수도 있습니다. 이렇게 로그는 시간에 따른 시스템의 동작을 기록하고, 정보는 순차적으로 저장됩니다. 이처럼 로그의 핵심 개념은 ‘시간’입니다. 순차적으로 발생된 로그를 통해 시스템의 동작을 이해하며, 일종의 생활기록부 역할을 하죠. 시스템 내에서 어떤 행동이 발생하였고, 어떤 문제가 일어났으며, 유저와의 어떤 교류가 일어났는지 모두 알 수 있습니다. 만약 시간의 개념이 없다면 어떻게 될까요? 발생한 모든 일들이 뒤섞이며, 로그 해석을 하는데 어려움이 생기겠죠. 이처럼 로그를 통해 시스템은 과거의 변화를 추적합니다. 똑같은 상황이 주어지면 항상 같은 결과를 내놓는 ‘결정론적’인 동작을 보장할 수 있죠. 로그의 중요성, 이제 조금 이해가 되실까요? 2. 로그와 카프카의 관계 자, 그렇다면! 로그(Log)와 카프카(Kafka)는 어떤 관계일까요? 우선 카프카는 분산 스트리밍 플랫폼으로서, 실시간으로 대용량의 데이터를 처리하고 전송하는데 탁월한 성능을 자랑합니다. 그 중심에는 바로 ‘로그’라는 개념이 있는데요. 좀 더 자세히 짚고 넘어가 보겠습니다. 3. 카프카에서의 로그 시스템 카프카에서의 로그 시스템은, 단순히 시스템의 에러나 이벤트를 기록하는 것만이 아닙니다. 연속된 데이터 레코드들의 스트림을 의미하며, 이를 ‘토픽(Topic)’이라는 카테고리로 구분하죠. 각 토픽은 다시 *파티션(Partition)으로 나누어, 단일 혹은 여러 서버에 분산 저장됩니다. 이렇게 분산 저장되는 로그 데이터는, 높은 내구성과 가용성을 보장합니다. *파티션(Partition): 하드디스크를 논리적으로 나눈 구역 4. 카프카가 로그를 사용하는 이유 로그의 순차적인 특성은 카프카의 ‘핵심 아키텍처’와 깊게 연결되어 있습니다. 로그를 사용하면, 데이터의 순서를 보장할 수 있어 대용량의 데이터 스트림을 효율적으로 처리할 수 있기 때문이죠. 데이터를 ‘영구적’으로 저장할 수 있어, 데이터 손실 위험 또한 크게 줄어듭니다. 로그를 사용하는 또 다른 이유는 ‘장애 복구’입니다. 서버가 장애로 인해 중단되었다가 다시 시작되면, 저장된 로그를 이용하여 이전 상태로 복구할 수 있게 되죠. 이는 ‘카프카가 높은 가용성’을 보장하는 데 중요한 요소입니다. ∴ 로그 요약 로그는 단순한 시스템 메시지를 넘어 ‘데이터 스트림’의 핵심 요소로 활용됩니다. 카프카와 같은 현대의 데이터 처리 시스템은 로그의 이러한 특성을 극대화하여, 대용량의 실시간 데이터 스트림을 효율적으로 처리할 수 있는 거죠. 로그의 중요성을 다시 한번 깨닫게 되는 순간이네요! PART2. 카프카 로그에 이어 에 대해 설명하겠습니다. 들어가기에 앞서 가볍게 ‘구조’부터 알아가 볼까요? 1. 카프카 구조 · 브로커(Broker) 브로커는 *클러스터(Cluster) 안에 구성된 여러 서버 중 각 서버를 의미합니다. 이러한 브로커들은, 레코드 형태인 메시지 데이터의 저장과 검색 및 컨슈머에게 전달하고 관리합니다. *클러스터(Cluster): 여러 대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합 데이터 분배와 중복성도 촉진합니다. 브로커에 문제가 발생하면, 데이터가 여러 브로커에 데이터가 복제되어 데이터 손실이 되지 않죠. · 프로듀서(Producer) 프로듀서는 토픽에 레코드를 전송 또는 생성하는 *엔터티(Entity)입니다. 카프카 생태계에서 ‘데이터의 진입점’ 역할도 함께 하고 있죠. 레코드가 전송될 토픽 및 파티션도 결정할 수 있습니다. *엔터티(Entity): 업무에 필요한 정보를 저장하고 관리하는 집합적인 것 · 컨슈머(Consumer) 컨슈머는 토픽에서 레코드를 읽습니다. 하나 이상의 토픽을 구독하고, 브로커로부터 레코드를 소비합니다. 데이터의 출구점을 나타내기도 하며, 프로듀서에 의해 전송된 메시지를 최종적으로 읽히고 처리되도록 합니다. · 토픽(Topic) 토픽은 프로듀서로부터 전송된 레코드 카테고리입니다. 각 토픽은 파티션으로 나뉘며, 이 파티션은 브로커 간에 복제됩니다. 카프카로 들어오는 데이터를 조직화하고, 분류하는 방법을 제공하기도 합니다. 파티션으로 나눔으로써 카프카는 ‘수평 확장성과 장애 허용성’을 보장합니다. · 주키퍼(ZooKeeper) 주키퍼는 브로커를 관리하고 조정하는 데 도움을 주는 ‘중앙 관리소’입니다. 클러스터 노드의 상태, 토픽 *메타데이터(Metadata) 등의 상태를 추적합니다. *메타데이터(Metadata): 데이터에 관한 구조화된 데이터로, 다른 데이터를 설명해 주는 데이터 카프카는 분산 조정을 위해 주키퍼에 의존합니다. 주키퍼는 브로커에 문제가 발생하면, 다른 브로커에 알리고 클러스터 전체에 일관된 데이터를 보장하죠. ∴ 카프카 구조 요약 요약한다면 카프카는 1) 복잡하지만 견고한 아키텍처 2) 대규모 스트림 데이터를 실시간으로 처리하는 데 있어 안정적이고 장애 허용성이 있음 3) 고도로 확장 가능한 플랫폼을 제공으로 정리할 수 있습니다. 이처럼 카프카가 큰 데이터 환경에서 ‘어떻게’ 정보 흐름을 관리하고 최적화하는지 5가지의 구조를 통해 살펴보았습니다. 이제 카프카에 대해 조금 더 명확한 그림이 그려지지 않나요? 2. 컨슈머 그룹과 성능을 위한 탐색 카프카의 가장 주목할 만한 특징 중 하나는 ‘컨슈머 그룹의 구현’입니다. 이는 카프카의 확장성과 성능 잠재력을 이해하는 데 중심적인 개념이죠. 컨슈머 그룹 이해하기 카프카의 핵심은 ‘메시지를 생산하고 소비’ 하는 것입니다. 그런데 수백만, 심지어 수십억의 메시지가 흐르고 있을 때 어떻게 효율적으로 소비될까요? 여기서 컨슈머 그룹(Consumer Group)이 등장합니다. 컨슈머 그룹은, 하나 또는 그 이상의 컨슈머로 구성되어 하나 또는 여러 토픽에서 메시지를 소비하는데 협력합니다. 그렇다면 왜 효율적인지 알아보겠습니다. · 로드 밸런싱: 하나의 컨슈머가 모든 메시지를 처리하는 대신, 그룹이 부하를 분산할 수 있습니다. 토픽의 각 파티션은 그룹 내에서 정확히 하나의 컨슈머에 의해 소비됩니다. 이는 메시지가 더 빠르고 효율적으로 처리된다는 것을 보장합니다. · 장애 허용성: 컨슈머에 문제가 발생하면, 그룹 내의 다른 컨슈머가 그 파티션을 인수하여 메시지 처리에 차질이 없도록 합니다. · 유연성: 데이터 흐름이 변함에 따라 그룹에서 컨슈머를 쉽게 추가하거나 제거합니다. 이에 따라 증가하거나 감소하는 부하를 처리할 수 있습니다. 여기까지는 최적의 성능을 위한 ‘카프카 튜닝 컨슈머 그룹의 기본 사항’을 다루었으니, 이와 관련된 ‘성능 튜닝 전략’에 대해 알아볼까요? 성능 튜닝 전략 · 파티션 전략: 토픽의 파티션 수는, 얼마나 많은 컨슈머가 활성화되어 메시지를 소비할 수 있는지 영향을 줍니다. 더 많은 파티션은 더 많은 컨슈머가 병렬로 작동할 수 있음을 의미하는 거죠. 그러나 너무 많은 파티션은 *오버헤드를 야기할 수 있습니다. *오버헤드: 어떤 처리를 하기 위해 간접적인 처리 시간 · 컨슈머 구성: *fetch.min.bytes 및 *fetch.max.wait.ms와 같은 매개변수를 조정합니다. 그다음 한 번에 얼마나 많은 데이터를 컨슈머가 가져오는지 제어합니다. 이러한 최적화를 통해 브로커에게 요청하는 횟수를 줄이고, 처리량을 높입니다. *fetch.min.bytes: 한 번에 가져올 수 있는 최소 데이터 사이즈 *fetch.max.wait.ms: 데이터가 최소 크기가 될 때까지 기다릴 시간 · 메시지 배치: 프로듀서는 메시지를 함께 배치하여 처리량을 높일 수 있게 구성됩니다. *batch.size 및 *linger.ms와 같은 매개변수를 조정하여, 대기 시간과 처리량 사이의 균형을 찾을 수 있게 되죠. *batch.size: 한 번에 모델이 학습하는 데이터 샘플의 개수 *linger.ms: 전송 대기 시간 · 압축: 카프카는 메시지 압축을 지원하여 전송 및 저장되는 데이터의 양을 줄입니다. 이로 인해 전송 속도가 빨라지고 전체 성능이 향상될 수 있습니다. · 로그 정리 정책: 카프카 토픽은, 설정된 기간 또는 크기 동안 메시지를 유지할 수 있습니다. 보존 정책을 조정하면, 브로커가 저장 공간이 부족해지는 점과 성능이 저하되는 점을 방지할 수 있습니다. 3. 컨슈머 그룹과 성능을 위한 실제 코드 예시 다음 그림과 같은 코드를 보며 조금 더 자세히 살펴보겠습니다. NodeJS 코드 중 일부를 발췌했습니다. 카프카 설치 시에 사용되는 설정 파일 *server.properties에서 파티션의 개수를 CPU 코어 수와 같게 설정하는 코드입니다. 이에 대한 장점들을 쭉 살펴볼까요? *server.properties: 마인크래프트 서버 옵션을 설정할 수 있는 파일 CPU 코어 수에 파티션 수를 맞추었을 때의 장점 · 최적화된 리소스 활용: 카프카에서는 각 파티션이 읽기와 쓰기를 위한 자체 *I/O(입출력) 스레드를 종종 운영합니다. 사용 가능한 CPU 코어 수와 파티션 수를 일치시키면, 각 코어가 특정 파티션의 I/O 작업을 처리합니다. 이 동시성은 리소스에서 최대의 성능을 추출하는 데 도움 됩니다. · 최대 병렬 처리: 카프카의 설계 철학은 ‘병렬 데이터 처리’를 중심으로 합니다. 코어 수와 파티션 수 사이의 일치는, 동시에 처리되어 처리량을 높일 수 있습니다. · 간소화된 용량 계획: 이 접근 방식은, 리소스 계획에 대한 명확한 기준을 제공합니다. 성능 병목이 발생하면 CPU에 *바인딩(Binding)되어 있는지 명확하게 알 수 있습니다. 인프라를 정확하게 조정할 수도 있게 되죠. *바인딩(Binding): 두 프로그래밍 언어를 이어주는 래퍼 라이브러리 · 오버헤드 감소: 병렬 처리와 오버헤드 사이의 균형은 미묘합니다. 파티션 증가는 병렬 처리를 촉진할 수 있습니다. 하지만 더 많은 주키퍼 부하, 브로커 시작 시간 연장, 리더 선거 빈도 증가와 같은 오버헤드도 가져올 수도 있습니다. 파티션을 CPU 코어에 맞추는 것은 균형을 이룰 수 있게 합니다. 다음은 프로세스 수를 CPU 코어 수만큼 생성하여, 토픽의 파티션 개수와 일치시킨 코드에 대한 장점입니다. 파티션 수와 컨슈머 프로세스 수 일치의 장점 · 최적의 병렬 처리: 카프카 파티션의 각각은 동시에 처리될 수 있습니다. 컨슈머 수가 파티션 수와 일치하면, 각 컨슈머는 특정 파티션에서 메시지를 독립적으로 소비할 수 있게 되죠. 따라서 병렬 처리가 향상됩니다. · 리소스 효율성: 파티션 수와 컨슈머 수가 일치하면, 각 컨슈머가 처리하는 데이터의 양이 균등하게 분배됩니다. 이로 인해 전체 시스템의 리소스 사용이 균형을 이루게 되죠. · 탄력성과 확장성: 트래픽이 증가하면, 추가적인 컨슈머를 컨슈머 그룹에 추가하여 처리 능력을 증가시킵니다. 동일한 방식으로 트래픽이 감소하면 컨슈머를 줄여 리소스를 절약할 수 있습니다. · 고가용성과 오류 회복: 컨슈머 중 하나가 실패하면, 해당 컨슈머가 처리하던 파티션은 다른 컨슈머에게 자동 재분배됩니다. 이를 통해 시스템 내의 다른 컨슈머가 실패한 컨슈머의 작업을 빠르게 인수하여, 메시지 처리가 중단되지 않습니다. 마지막으로 각 프로세스별 컨슈머를 생성해서 토픽에 구독 후, 소비하는 과정을 나타낸 소스코드입니다. ∴ 컨슈머 그룹 요약 컨슈머 그룹은 높은 처리량과 장애 허용성 있는 메시지 소비를 제공하는 능력이 핵심입니다. 카프카가 어떤 식으로 운영되는지에 대한 상세한 부분을 이해하고 다양한 매개변수를 신중하게 조정한다면, 어떠한 상황에서도 카프카의 최대 성능을 이끌어낼 수 있습니다! ------------------------------------------------------------ ©참고 자료 · Jay Kreps, “I Hearts Logs”, Confluent · 위키피디아, “Logging(computing)” · Confluent, “https://docs.confluent.io/kafka/overview.html” · Neha Narkhede, Gwen Shapira, Todd Palino, “Kafka: The Definitive Guide” ------------------------------------------------------------ 2023.09.19
기술이야기 [통합로그관리] Filebeat에서 안정적으로 하드웨어 자원 사용하기 기술이야기 [통합로그관리] Filebeat에서 안정적으로 하드웨어 자원 사용하기 Filebeat는 Elastic Stack에서 사용하는 경량(light-weight) 데이터 수집기로 logstash 대비 상대적으로 리소스(CPU와 RAM)를 상당히 적게 소모한다는 장점이 있습니다. 또, Filebeat는 간단한 필터 기능도 제공합니다. 하지만 말 그대로 간단한 필터 기능이라 한번에 대용량의 파일을 관리해야 하는 경우 호스트 서버에 부담이 갈 정도로 많은 리소스를 사용할 수 있습니다. 따라서 브레인즈컴퍼니가 운영하는 통합로그관리 에이전트는 호스트의 서버 환경에 따라 filebeat 에이전트의 설정 파일을 수정해서 안정성을 제공하고 있습니다. 본 내용은 Filebeat 리소스 점유율이 높을 때 트러블슈팅 관련 설정 수정사항입니다. 수정에 필요한 기본 파일 위치 linux : /etc/filebeat/filebeat.yml docker: /usr/share/filebeat/filebeat.yml filebeat 프로세스 메모리 확인하는 방법 top -d 1 | egrep "PID|filebeat" 수정에 앞서 filebeat의 메인 컴포넌트인 harvester의 개념을 간략하게 설명하겠습니다. 하나의 harvester는 하나의 파일을 읽어드립니다. harvester가 실행 중인 경우 파일을 한 줄씩 읽습니다. 각 파일 당 하나의 harvester가 실행됩니다. 상단의 이미지를 보면 filebeat의 컴포넌트인 input과 harvester가 보입니다. 또한 filebeat이 harvester를 관리하며 어느 파일을 읽을지 관리하는걸 알 수 있습니다. harvester가 실행 중인 경우 파일 설명자(File Descriptor) 열린 상태로 유지됩니다. 이는 파일이 삭제되거나 파일명이 변경된다 하더라도 파일을 계속 읽게 해줍니다. 하지만 파일 설명자는 harvester가 닫힐 때까지 디스크 공간을 예약합니다. 1. filebeat.inputs: 2. - type: filestream 3. id: my-filestream-id 4. paths: 5. - /var/log/system.log 6. - /var/log/wifi.log 7. - type: filestream 8. id: apache-filestream-id 9. paths: 10. - "/var/log/apache2/*" 11. fields: 12. apache: true 13. fields_under_root: true <filebeat에서 제공하는 input example> 1. scan_frequency 파일비트가 설정된 filebeat_inputs의 path에 있는 파일들의 갱신 여부를 체크하는 주기입니다. 너무 길게 설정하면 한번에 많은 파일들을 수집하게 됩니다. 반대로 너무 짧게 설정하면 스캔을 너무 잦게 해서 CPU점유율이 올라갑니다. 적당한 조절이 필요합니다. 기본값은 10초입니다. Scan_frequeny가 동작하는 방식은 아래와 같습니다. harvester 읽기 종료 또는 파일 삭제 → scan_frequency 만큼 대기 → 파일 갱신 확인 → 파일 갱신 시 새 harvester 시작 2. backoff Backoff 옵션은 파일비트가 얼마나 더 적극적으로 크롤링 하는지 지정합니다. 기본값은 1인데 1일 경우 새 줄이 추가될 경우 1초마다 확인한다는 의미입니다. Backoff가 동작하는 방식은 아래와 같습니다. harvester 읽기 종료 또는 파일 삭제 → scan_frequency만큼 대기 → 파일 갱신 확인 → 파일 갱신 시 새 harvester 시작 → 파일 갱신 시 Backoff 시간 마다 다시 확인 3. max_procs 파일비트에서 동시에 사용 가능한 최대의 cpu코어의 숫자를 설정합니다. 예를 들어32 CPU코어 시스템에서 max_procs를 1로 설정한다면 cpu사용률은 3.2%(1/32)를 넘지 않습니다. max_procs 설정돼 있으면 harvester가 아무리 많이 생성돼도 cpu의 코어 수만큼 CPU를 점유합니다. 4. harvester_limit harvester의 수가 OS가 감당할 수 있는 파일 핸들러 개수를 초과할 때 사용합니다. 한 input마다 설정되므로 inputs이 5개 선언돼 있으면 해당 input 컴퍼넌트의 harvester 개수 최대치는 5개입니다. 기본값은 0인데, 0일 경우 harvester가 무제한으로 생성 가능합니다. 리소스 관리 최적화에도 유용한데 예를 들어, input1이 input2보다 파일 개수가 3배 많고 중요성이 높을 때 3배 높은 값을 설정하는 것이 좋습니다. 5. close_eof harvester에 의해 파일이 수집되고 있을 때, EOF(End of File)에 도달하는 즉시 파일을 닫습니다. 파일이 계속 갱신된다면 데이터가 유실될 수 있는 여지가 있습니다. [참조] https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-log.html 2022.11.17

1