기술이야기 | 브레인즈컴퍼니

주메뉴 바로가기 본문 바로가기

메인 페이지로 이동
블로그
기술이야기

블로그

기술이야기

기술이야기 네트워크 모니터링의 4가지 최신 트렌드 기술이야기 네트워크 모니터링의 4가지 최신 트렌드 클라우드와 엣지 컴퓨팅의 확산, 동영상/음악/게임 분야의 스트리밍 서비스의 성장 등으로 인해 네트워크 인프라는 점점 더 복잡해지고 있으며, 데이터 트래픽 또한 폭발적으로 증가하고 있습니다. 또한 DDoS(Distributed Denial of Service)나 스니핑(Sniffing) 공격과 같은 보안 위협도 확산되고 있습니다. 따라서 네트워크 성능을 안정적으로 유지하고 잠재적인 위협에 빠르게 대응하기 위한 네트워크 모니터링의 중요성이 더욱 커지고 있습니다. 한 조사에 따르면 네트워크 모니터링 시장 규모가 올해 29억 1천만 달러에 이른 후, 4년간 연평균 성장률(CARG) 9.7%를 기록하며 2028년에는 42억 1천만 달러까지 확대될 전망입니다. IT 기술과 서비스의 발전에 따라서 네트워크 모니터링은 구체적으로 어떻게 변화하고 있는지 네 가지로 나눠서 살펴보겠습니다. [1] 멀티 클라우드 환경에서의 네트워크 모니터링 벤더 종속성을 피하고 비용을 줄이며, 서비스의 성능을 높이기 위해 멀티 클라우드 전략이 많이 채택되고 있습니다. 하지만 멀티 클라우드를 구성하는 각 클라우드 서비스마다 네트워크 아키텍처와 성능이 다르기 때문에 안정적으로 네트워크를 관리하는 데에는 많은 어려움이 따르는 것도 사실입니다. 이러한 어려움을 극복하고, 멀티 클라우드의 운영 효율을 최대한 높이기 위한 네트워크 모니터링의 최근의 추세를 살펴보겠습니다. 가시성 높은 통합 대시보드를 통한 관리 복잡한 멀티 클라우드 환경에서 네트워크를 효율적으로 관리하기 위한 가시성 높은 통합 대시보드의 활용이 증가하고 있습니다. 통합 대시보드는 여러 클라우드에 걸쳐 발생하는 트래픽 흐름, 대역폭 사용량, 그리고 네트워크 성능 지표를 한 눈에 보기 쉽게 제공합니다. 이를 통해 관리자가 각 클라우드 서비스 간의 네트워크 상태를 실시간으로 쉽게 파악하고 문제에 빠르게 대응할 수 있게 돕고 있습니다. 특히, 통합 대시보드는 네트워크 토폴로지 맵과 성능 히트맵과 같은 세부적인 기능을 통해, 복잡하게 얽힌 클라우드 간의 트래픽 흐름을 직관적으로 분석할 수 있도록 지원하고 있습니다. 이를 통해 멀티 클라우드의 각 경로에서 발생할 수 있는 트래픽 불균형이나 병목 현상을 신속하게 감지하고 조정할 수 있습니다. 이와 더불어서 관리자가 자신이 중점적으로 모니터링해야 하는 지표들을 쉽게 확인할 수 있도록, 통합 대시보드의 관리자별 맞춤 설정 기능도 강화되고 있습니다. 이를 통해 관리자는 복잡한 멀티 클라우드 환경에서도 하나의 화면에서 리전별 트래픽, 네트워크 지연시간, 패킷 손실율 등 본인이 원하는 부분에 초점을 맞춰서 효율적으로 네트워크를 모니터링 할 수 있습니다. AI와 머신러닝을 통한 자동화된 분석 및 대응 AI와 머신러닝 기술이 적용된 네트워크 모니터링 시스템도 멀티 클라우드 운영 효율을 높이는데 크게 기여하고 있습니다. 우선 멀티 클라우드 환경의 네트워크는 멀티 클라우드 환경은 다양한 변수로 인해 네트워크 문제가 예측 불가능한 경우가 많습니다. 따라서 AI와 머신러닝 기술은 클라우드 간의 네트워크 상관관계, 트래픽 패턴, 대역폭 사용량, 성능 지표를 등을 학습하여 성능 저하나 장애의 잠재적 원인을 탐지하고 빠르게 알리고 있습니다. 또한 AI를 통해 실시간 트래픽 경로 분석하여 병목 현상이 발생하거나 리소스가 과도하게 사용될 경우 동적으로 VLAN 설정을 변경하거나, 트래픽을 다른 클라우드 인스턴스로 우회시키는 등의 자동화된 대응도 강화되고 있습니다. 이와 함께 네트워크 트래픽의 실시간 변화에 맞춰 QoS(서비스 품질) 정책을 자동으로 조정하여 중요한 애플리케이션에 우선순위를 부여하고, 비정상적인 트래픽을 즉시 차단하거나 제한하는 등의 대응도 자동으로 수행할 수 있습니다. 이 같은 자동화된 조치는 네트워크의 가용성을 높이고, 관리자의 개입 없이도 실시간으로 문제를 해결할 수 있어, 멀티 클라우드 환경에서의 네트워크 성능과 안정성을 높이고 있습니다. 시스템의 확장성 및 유연성 강화 멀티 클라우드 환경에서는 클라우드 리소스가 추가되거나 기존 리소스가 제거되면서, 네트워크의 구성과 요구사항이 빠르게 변동됩니다. 따라서 높은 유연성을 바탕으로 빠르게 변화하는 네트워크 환경에 신속하게 대응하는 것이 네트워크 모니터링 시스템의 중요한 요소로 자리잡았습니다. 구체적으로, 네트워크 모니터링 시스템을 통해 멀티 클라우드 인프라 내에서 새롭게 배포되는 서버나 애플리케이션을 자동으로 감지하고 이를 실시간으로 모니터링할 수 있는 것이 중요해지고 있습니다. 또한, 동적인 멀티 클라우드 환경에서 관리자가 특정 클라우드 서비스나 리소스에 맞춤형 모니터링 설정을 유연하게 적용할 수 있는 기능이 중요해지고 있습니다. 예를 들어, 새로운 클라우드 환경의 네트워크를 모니터링할 때, 해당 환경에 맞춘 모니터링 템플릿을 유연하게 구성하고 배포할 수 있는 기능이 점점 더 중요해지고 있습니다. 이러한 유연한 모니터링 시스템은 멀티 클라우드 인프라의 복잡성을 효과적으로 관리하고 운영 효율성을 높이는 데 중요한 역할을 하고 있습니다. 규정 준수 및 거버넌스 모니터링 멀티 클라우드 환경에서는 다양한 국가와 지역의 규제를 준수해야 합니다. 따라서 네트워크 모니터링 시스템은 네트워크 트래픽, 접근 로그, 보안 이벤트 등을 실시간으로 모니터링하여 잠재적인 규정 위반을 탐지하고 사전에 인지할 수 있도록 지원하고 있습니다. 특히 규정 준수(Compliance) 모니터링은 멀티 클라우드 환경에서 필수적입니다. 예를 들어, 한 클라우드가 유럽에 위치하고 있어 GDPR(유럽 일반 데이터 보호 규정)을 준수해야 하고, 다른 클라우드는 미국의 규제에 따라야 할 때, 네트워크 모니터링 시스템을 통해 각 클라우드에서 발생하는 네트워크 트래픽, 보안 이벤트와 접근 로그를 추적하고, 잠재적인 규정 위반을 사전에 탐지할 수 있도록 지원하고 있습니다. 또한, 거버넌스 모니터링 측면에서는 클라우드 간의 데이터 관리와 접근 통제 정책이 일관되게 적용되도록 지원합니다. 멀티 클라우드 환경에서는 다양한 클라우드 제공자 간에 민감한 데이터가 이동할 수 있기 때문에, 데이터 접근 권한을 관리하고 비인가된 접근 시도를 실시간으로 감시하는 기능이 필수적입니다. 이를 통해 기업은 데이터 유출 위험을 줄이고, 여러 규제와 거버넌스 요구 사항을 준수할 수 있습니다. [2] SDN(소프트웨어 정의 네트워킹) 모니터링 SDN(Software-Defined Networking)은 네트워크를 더 쉽게 관리할 수 있도록 설계된 기술입니다. 전통적인 네트워크는 스위치나 라우터 같은 네트워크 하드웨어 장치가 데이터의 전달 경로와 방식을 스스로 결정했습니다. 하지만 각 장비가 독립적으로 작동하다 보니 네트워크 설정을 변경하는 데 시간이 많이 걸렸고, 특히 대규모 네트워크를 통합적으로 관리하는 데 어려움이 있었습니다. 반면, SDN에서는 소프트웨어 기반의 중앙 컨트롤러(제어 평면, Control Plane)가 데이터의 전달 경로와 방식을 통합하여 결정하고 하드웨어 장치들은 이 결정에 따라 데이터를 전송하는 역할만 수행합니다. 따라서 네트워크 구성을 변경하거나 최적화하기가 쉽고, 대규모 네트워크도 효율적으로 관리할 수 있는 장점이 있습니다. 하지만 동시에 중앙 컨트롤러에 장애가 발생하거나 해킹을 당할 경우 네트워크 전체가 마비될 수 있는 위험이 있으며, 실시간으로 네트워크 상태를 모니터링하고 분석하는 것이 어려운 단점도 존재합니다. 따라서 네트워크 모니터링 시스템은 SDN의 단점을 보완하고 장점을 강화하는 방향으로 발전하고 있습니다. 실시간 데이터 수집 및 분석 실시간 데이터 분석은 네트워크 환경이 계속해서 변화하는 SDN의 특성상 매우 중요합니다. 특히 SDN에서는 스위치, 라우터, 케이블 등 네트워크 하드웨어 장치들이 정상적으로 작동하고 연결된 상태를 나타내는 '물리적 상태'와, 중앙 컨트롤러가 설정한 네트워크 경로와 적용된 정책을 의미하는 '논리적 상태'를 모두 실시간으로 정확하게 모니터링해야 합니다. 네트워크 모니터링 시스템은 이러한 물리적 상태와 논리적 상태를 추적하기 위해, 네트워크 지연 시간, 트래픽 흐름, 패킷 손실, 대역폭 사용량, 링크 상태와 같은 다양한 성능 지표를 실시간으로 수집하고 분석하는 기능을 강화하고 있습니다. 이러한 분석을 통해 네트워크 관리자가 잠재적인 문제나 성능 저하를 조기에 감지하여, 심각한 문제가 발생하기 전에 조치할 수 있도록 돕고 있습니다. 빠르고 자동화된 대응 지원 네트워크 모니터링 시스템은 네트워크 주요 데이터에 대한 수집과 분석에서 그치지 않고, SDN의 컨트롤러와 연계하여 빠르고 자동화된 대응을 지원하고 있습니다. 예를 들어, 특정 시간대에 트래픽이 과도하게 증가하면, 모니터링 시스템이 이를 실시간으로 탐지하고 SDN 컨트롤러를 통해 특정 트래픽을 다른 경로로 자동 분산시킵니다. 링크 장애가 발생하면 모니터링 시스템은 즉시 대체 경로를 설정하여 트래픽이 끊기지 않도록 조치하며, 문제가 해결되면 다시 원래의 경로로 트래픽을 재배치하는 자동 복구 기능을 수행합니다. 이처럼 네트워크 모니터링 시스템과 SDN 컨트롤러와의 연계를 통해 네트워크 운영자의 개입 없이도 스스로 문제를 해결하는 능력이 더욱 진화할 것으로 기대되고 있습니다. 보안이 강화된 모니터링 앞서 살펴본대로 SDN은 네트워크 제어를 중앙집중식으로 처리하는 구조적 특성을 가지고 있기 때문에, 중앙 컨트롤러의 보안이 매우 중요합니다. 따라서 SDN 환경에서 네트워크 모니터링 시스템은 다양한 잠재적인 보안 위협을 사전에 감지하고, 신속하게 대응할 수 있는 강화된 보안 기능을 필수적으로 갖춰가고 있습니다. 예를 들어 네트워크 상에서 발생하는 다양한 이벤트를 실시간으로 감시하고 분석하여, 비정상적인 트래픽 흐름, 의심스러운 로그인 시도, 네트워크 장치 간의 비정상적인 통신 행위 등에 대한 탐지가 가능합니다. 또한 보안을 강화하기 위해서 네트워크 모니터링 시스템과 SIEM(보안 정보 및 이벤트 관리 시스템), IPS(침입 방지 시스템), IDS(침입 탐지 시스템)의 통합이나 연계도 활발하게 이루어지고 있습니다. 분산형 SDN 컨트롤러 모니터링 SDN 환경에서 중앙 컨트롤러 하나에 의존하는 방식의 리스크를 줄이기 위해, 많은 네트워크 운영자들이 분산형 SDN 컨트롤러 아키텍처를 채택하고 있습니다. 분산형 컨트롤러는 각기 독립적으로 운영되면서도 상호 간에 정보와 상태를 동기화하여 안정적인 네트워크 운영이 가능합니다. 따라서 최근 네트워크 모니터링 시스템은 각 컨트롤러의 상태와 성능을 실시간으로 추적하고, 컨트롤러 간 협력 상태를 감시하여 과부하나 장애 발생 시 즉시 다른 컨트롤러로 트래픽을 자동 분산하거나 대체 컨트롤러를 할당하는 기능을 지원하고 있습니다. 또한, 분산된 컨트롤러 간의 상태 동기화 여부를 실시간으로 확인하여, 동기화 문제로 인한 비효율적인 경로 설정이나 보안 취약점을 방지하고, 문제 발생 시 즉각적인 경고 및 자동 수정 기능을 제공합니다. 장애 복구와 복원 기능 또한 필수적으로 강화되어, 장애 발생 시 대체 컨트롤러가 즉각적으로 운영을 이어받고, 문제가 해결된 후에는 트래픽을 원래 컨트롤러로 복원하는 기능도 제공하고 있습니다. [3] 엣지컴퓨팅 환경의 네트워크 모니터링 엣지 컴퓨팅(Edge Computing)은 데이터를 중앙의 대형 데이터센터나 클라우드 서버에서 처리하는 기존 방식과 달리, 데이터를 생성하는 디바이스나 그와 가까운 위치에서 처리하는 기술입니다. 예를 들어 스마트폰, IoT 기기, 자율주행차, 또는 공장 내의 다양한 장비들이 데이터를 스스로 처리하고, 필요한 경우에만 중앙 서버나 클라우드로 데이터를 전송하는 방식입니다. 네트워크 대역폭을 절약할 수 있고, 빠른 서비스 제공이 가능해서 다양한 분야에서 활용이 증가하고 있습니다. 엣지 디바이스들이 데이터를 처리하는 위치가 분산되어 있고, 시스템이 유연하게 확장될 수 있기 때문에, 이러한 환경에 맞춰 각 디바이스와 네트워크의 상태를 실시간으로 모니터링할 수 있는 엣지컴퓨팅 맞춤형 네트워크 모니터링이 필요합니다. 엣지 노드별 모니터링 엣지 컴퓨팅 환경에서는 엣지 노드에서 발생하는 데이터를 실시간으로 정확하게 감지하고 관리해야 합니다. 따라서 네트워크 모니터링 시스템은 각 엣지 노드에 경량화된 에이전트를 배치하거나 에이전트리스 모니터링 방식 등을 활용하여 모니터링을 진행합니다. 이를 통해 엣지 노드의 주요 상태(네트워크 대역폭 소비, 지연 시간 등)를 정확히 분석하고, 비정상적인 상태를 감지하면 중앙 서버에 즉시 알림을 보내고 있습니다. 이때 엣지 노드에서 생성되는 모든 데이터를 중앙 서버로 전송하는 것은 네트워크 대역폭에 큰 부담을 줄 수 있습니다. 따라서 네트워크 모니터링 시스템은 데이터 샘플링을 통해 필수적인 데이터를 효율적으로 선택하고, 데이터 필터링을 통해 불필요한 데이터를 제거하고 전체 네트워크의 부하를 줄이면서 성능을 최적화할 수 있도록 돕고 있습니다. AI/ML 기반의 자동화된 대응 엣지 컴퓨팅의 특성상 문제 발생 시 네트워크 운영자가 모든 노드에 직접 접근해 수동으로 대응하는 것이 현실적으로 어렵습니다. 따라서 운영자의 개입 없이도 엣지 디바이스가 문제를 자율적으로 감지하고 해결할 수 있는 자동화된 대응 시스템이 중요합니다. 네트워크 모니터링 시스템에도 자동화된 대응 기능이 강화되고 있습니다. 자동화된 대응 시스템은 네트워크 모니터링과 관리의 자동화를 통해 분산된 엣지 노드에서 발생하는 문제를 실시간으로 감지하고, 즉각적인 대응을 가능하게 합니다. 특히 AI 및 ML 기술이 이러한 자동화된 대응 시스템의 핵심 기술로 작용하고 있습니다. 예를 들어 정상적인 트래픽 흐름과 비정상적인 트래픽 흐름을 구분하기 위해 각 노드의 트래픽 데이터를 분석하여, 평상시 패턴과 다른 변화를 신속히 감지하고, 이때 이상 징후가 발견되면 트래픽 차단, 리소스 재분배, 또는 네트워크 경로 변경 등의 대응 조치를 자동으로 실행함으로써 네트워크 전체의 안정성을 높이고 있습니다. 확장에 대한 원활한 지원 5G 네트워크의 확산과 IoT 디바이스의 확산등으로 엣지 노드의 수가 폭발적으로 증가하면서 각 노드에서 생성되는 데이터의 양도 기하급수적으로 늘어나고 있습니다. 이러한 환경에서 네트워크 모니터링 시스템은 더 많은 노드를 빠르고 효율적으로 처리할 수 있는 능력을 가져야 하며, 노드 간 상호 연결성을 포함해 분산된 네트워크 전반에 걸쳐 일관된 성능을 유지해야 합니다. 이를 위해 네트워크 모니터링 시스템은 새로운 엣지 노드가 네트워크에 추가될 때마다 별도의 수작업 설정 없이 자동으로 노드를 인식하고, 모니터링을 즉시 시작할 수 있도록 기능이 강화되고 있습니다. 또한 자동 스케일링 기능을 통해 엣지 노드가 증가하면 모니터링 시스템의 리소스를 동적으로 확장하여, 성능 저하 없이 모든 노드를 관리하고 모니터링할 수 있도록 지원하고 있습니다. [4] 네트워크 보안 강화 네트워크 모니터링 분야에서 '보안'은 항상 중요한 주제였지만, 최근 IT 기술의 발전과 빈번한 보안사고 등으로 인해 그 중요성이 더 커지고 있습니다. 네트워크 보안 강화와 관련한 주요 이슈들을 살펴보겠습니다. 제로 트러스트(Zero Trust) 보안 모델의 확산 "절대 신뢰하지 말고, 항상 검증하라"는 원칙에 기반한 제로 트러스트 보안 모델은 내부와 외부를 구분하지 않고, 모든 사용자와 장치의 접근을 철저히 검증하는 접근법입니다. 클라우드 서비스의 확산으로 인해 기업 네트워크의 경계가 모호해지면서 더욱 중요해지고 있습니다. 제로 트러스트 모델을 올바르게 구현하기 위해서는 네트워크의 모든 트래픽을 실시간으로 모니터링하고 비정상적인 활동을 자동으로 탐지하고 즉각적으로 대응할 수 있는 시스템이 필요합니다. 이는 기존 보안 시스템이 단순히 알려진 위협을 차단하는 것에 그쳤다면, 제로 트러스트 모델에서는 잠재적인 위협까지도 감지하고 대응할 수 있어야 한다는 것을 의미합니다. 이를 위해, 최근 네트워크 모니터링 시스템은 AI 기술을 활용하여 자동으로 이상 징후를 탐지하고, 보안 위협에 신속하게 대응하는 능력을 강화하고 있습니다. 예를 들어, AI 기반 모니터링 시스템은 평소와 다른 사용자 행동 패턴을 감지하고, 이를 바탕으로 잠재적인 보안 위협을 조기에 차단하고 있습니다. SASE(Secure Access Service Edge)의 부상 SASE는 네트워크와 보안 기능을 통합하여 클라우드 환경에서 제공하는 혁신적인 보안 모델입니다. VPN, 방화벽, 침입 탐지 시스템, 데이터 손실 방지 등을 하나의 통합 솔루션으로 제공하며, 특히 외부에서 중앙 데이터센터로의 안전한 접근을 보장하는 데 최적화되어 있습니다. SASE는 전통적인 네트워크 보안 솔루션이 클라우드 환경에서 가지는 한계를 극복하고, 어디서든 동일한 보안 수준을 유지할 수 있게 하는 장점이 있습니다. SASE의 핵심은 네트워킹과 보안 기능을 통합하여, 기업이 네트워크와 보안을 하나의 솔루션으로 관리할 수 있도록 하는 것입니다. SASE를 도입하면 방화벽, 클라우드 접근 보안 브로커(CASB), 보안 웹 게이트웨이(SWG) 등 다양한 보안 기능을 단일 플랫폼에서 통합 관리할 수 있어, IT 팀이 더 효율적이고 일관된 보안 정책을 실행할 수 있습니다. 또한, SASE는 네트워크 모니터링 시스템을 진화시켜, 다양한 보안 기능(예: 방화벽, CASB, 보안 웹 게이트웨이 등)을 실시간으로 모니터링하고 관리할 수 있게 합니다. 이를 통해 네트워크 가시성을 높이고, 비정상적인 활동에 대한 즉각적인 대응이 가능해지며, 궁극적으로 조직의 보안을 강화하고 있습니다. XDR(Extended Detection and Response) 도입 XDR은 전통적인 EDR(Endpoint Detection and Response)을 확장하여, 네트워크, 엔드포인트, 서버, 클라우드 환경 등에서 발생하는 보안 위협을 통합적으로 탐지하고 대응하는 기술입니다. XDR은 다양한 보안 도구와 데이터를 통합하여 상관관계를 분석함으로써, 보안 운영 팀이 위협을 보다 쉽게 이해하고 신속하게 대응할 수 있도록 지원하기 때문에 많은 주목을 받고 있습니다. XDR을 활용하려면 상당한 초기 비용이 들고 관리에 어려움이 있기 때문에 많은 기업들이 XDR 전문 관리 솔루션을 도입하고 있습니다. 이에 따라 네트워크 모니터링 시스템도 단순히 네트워크 트래픽을 모니터링하는 것에서 나아가, XDR 전문 관리 솔루션과의 긴밀한 협력을 통해 통합된 보안 운영과 모니터링을 서비스로 제공하는 방향으로 발전하고 있습니다. 예를 들어, 기업은 네트워크 모니터링 시스템을 통해 다양한 보안 데이터를 실시간으로 수집하고 분석하며, 이를 XDR 솔루션과 통합하여 종합적인 보안 상태를 한눈에 파악할 수 있습니다. 이로 인해 보안 위협에 대한 대응 속도를 높이고, 더욱 정교한 보안 전략을 구현할 수 있게 됩니다. 멀티 클라우드와 SDN, 엣지 컴퓨팅 환경에서 네트워크 모니터링은 가시성, 유연성, 그리고 자동화된 대응 능력을 갖춘 시스템으로 진화하고 있습니다. 특히 AI와 머신러닝 기술을 활용한 자동화된 분석은 네트워크 성능 저하나 장애를 사전에 예측하고 대응하는 데 중요한 역할을 합니다. 기술의 발전에 맞추어 발전하는 네트워크 모니터링 시스템의 사용을 통해 기업은 더욱 복잡해지는 네트워크 환경에서 잠재적 위협을 신속히 탐지하고 대응할 수 있습니다. 2024.09.23
기술이야기 엣지 컴퓨팅을 위한 CNCF 프로젝트, KubeEdge 활용법 기술이야기 엣지 컴퓨팅을 위한 CNCF 프로젝트, KubeEdge 활용법 최근 몇 년 간 IT 분야는 급속한 발전을 거듭하고 있습니다. 특히 2010년대 중반부터 데이터를 온라인에 저장하는 기존 방식을 넘어서, 보다 진보된 컴퓨팅 기술이 등장하며 클라우드 컴퓨팅이 중요한 역할을 하게 되었습니다. 아마존 웹 서비스(AWS), 마이크로소프트(Microsoft), 구글(Google) 등의 대형 기업들이 클라우드 서비스를 주도해 나갔죠. 하지만 점점 IT 산업이 커지고 사물인터넷(IoT) 기술이 발전하면서 IT 장비에서 생성되는 데이터양이 기하급수적으로 많아졌습니다. IDC의 2018년 자료에 따르면, 2025년에는 전 세계에서 생성되는 데이터가 175ZB(*제타바이트1)에 도달할 예정이라고 합니다. 이처럼 수많은 데이터가 생성되고 중앙 서버에 저장/연산이 될 경우, 서버에 부하가 증가하는 문제가 발생하게 됩니다. *1. 1 ZB = 1021 bytes = 1,000,000,000,000,000,000,000 bytes 이를 해결하기 위해 2020년부터 중앙 서버에만 저장하지 않고, 클라우드 하위개념인 '클라우드렛'을 통해 데이터를 분산 처리하는 새로운 기술이 등장했는데요. 그 기술이 바로 엣지 컴퓨팅(Edge Computing)입니다. │엣지 컴퓨팅(Edge Computing)이란? 엣지 컴퓨팅은 데이터를 중앙 집중형 데이터 센터나 클라우드 대신, 데이터가 생성되는 가장 가까운 곳에서 처리하는 기술입니다. 쉽게 말해 중앙 서버가 아닌 데이터가 발생하는 '엣지(가장자리)'에서 직접 처리하는 것을 의미하죠. 엣지 컴퓨팅의 목적은 데이터 처리 응답 지연을 없애고, 실시간 성능을 개선하는 것입니다. 따라서 엣지 컴퓨팅의 가장 큰 특징이 '분산 처리 기능'이기도 합니다. 즉 가까운 곳에서 데이터를 처리하여, 부하를 분산하고, 통신 지역을 최소화하는 것이 엣지 컴퓨팅의 주목적입니다. │Edge Computing 필요성 그렇다면 엣지 컴퓨팅은 왜 점점 중요해지고 있을까요? 앞에서 언급했던 것처럼, IoT 시대가 도래하면서 다양한 디바이스에서 처리하는 데이터의 양이 폭발적으로 증가하고 있습니다. 이에 따라 요구되는 처리 속도와 응답 속도도 높아지고 있죠. 방대한 양의 데이터를 처리하기 위해서는 대규모 데이터 센터가 필요하지만, 각 위치에 데이터 센터를 두는 것보다 한 곳에서 중앙 집중식으로 처리하는 것이 더 효율적입니다. 이것이 클라우드 컴퓨팅이 대중화된 이유 중 하나입니다. 그러나 인터넷을 통해 클라우드로 데이터를 전송하고 처리한 후 반환할 때, 약간의 시간 지연이 발생합니다. 물론 로봇과 산업 장비의 센서 기술은 나날이 발전하고 있어, 어느 순간에도 상황을 정확하게 파악할 수 있게 되었습니다. 하지만 데이터 처리와 반응 사이에 시간 지연이 발생하면 정교한 *센싱 기술2 은 아직 어려운 편이죠. *2. 센싱 기술: 다양한 센서를 활용해 물리적 환경으로부터 데이터를 감지하고 수집하는 기술 이처럼 정밀하고 복잡한 동작을 수행하는 디바이스에는 고정밀 IoT가 필요한데요. 이를 위해서는 최대한 실시간에 가깝게 정보와 데이터를 주고받아야 하는데, 엣지 컴퓨팅가 이를 가능하게 합니다. 따라서 엣지 컴퓨팅은 IoT가 다음 단계로 나아가기 위해 필요한 기술로 주목받고 있죠. │Edge Computing 장점 엣지 컴퓨팅의 구체적인 이점은 무엇일까요? 엣지 컴퓨팅을 활용하면 얻을 수 있는 이점을 살펴보겠습니다. • 네트워크 트래픽 감소: 엣지 컴퓨팅은 데이터를 중앙 클라우드 서버로 보내지 않고 엣지(사용자 근처 단말기)에서 직접 처리하기 때문에, 네트워크 트래픽이 큰 폭으로 감소합니다. • 빠른 데이터 처리 응답시간: 데이터를 단말기에서 바로 처리하므로, 데이터 처리 응답 시간이 매우 빠릅니다. 실시간 응답이 중요한 애플리케이션에서는 큰 이점이죠. • 향상된 보안성: 개인정보 등 중요한 데이터를 중앙 데이터 센터로 전송하지 않아도 되므로 보안성이 높아집니다. 데이터가 로컬에서 처리되기 때문에 데이터 유출 위험이 줄어듭니다. • 장애 포인트 감소: 서버에 장애가 발생할 경우, 전체 서비스로 장애가 확대되는 클라우드 컴퓨팅과 달리 엣지 컴퓨팅은 개별 엣지의 장애가 다른 엣지로 전파되지 않게 합니다. 따라서 전체 시스템의 안정성이 향상되고 장애 포인트가 감소됩니다. │Edge Computing 활용 분야 엣지 컴퓨팅 활용분야는 다양하지만, 대표적인 엣지 컴퓨팅 적용사례로 스마트팩토리가 있습니다. 스마트 팩토리는 IoT, AI를 활용해 공정을 자동화하고 최적화하는 공장을 의미하는데요. 스마트팩토리에서는 제품 생산 과정에서 발생하는 모든 데이터를 중앙 클라우드 서버에 저장하면, 서버에 부하가 걸리기 쉽습니다. 이를 해결하기 위해 단순히 매일 반복되는 프로세스는 근처 엣지서버에 저장하고 데이터 연산 작업을 진행하죠. 반면 복잡하고 자주 처리되지 않는 데이터는 중앙 클라우드 서버에 저장합니다. 이렇게 하면 AI가 기기를 운영할 때 실시간 데이터 처리가 가능하여 지연 시간을 줄이고 효율성을 높일 수 있습니다. 여기서 엣지 서버는 지사 개념으로, 중앙 클라우드 서버는 본사 개념으로 이해할 수 있습니다. 엣지 컴퓨팅 활용 분야는 계속해서 확대되고 있습니다. 스마트팩토리 외에도 에너지 스트리밍, 게임, 헬스케어, 농업, 데이터센터, 자율주행, 스마트 시티 등 대규모 산업분야에 많이 사용되고 있습니다. │Edge Computing 도전 과제 하지만 엣지 컴퓨팅 기술에는 여러 도전과제가 있는데요, 대표적으로 애플리케이션 배포관리가 있습니다. 다양한 엣지 환경에서 애플리케이션을 배포하고 관리하는 것은, 생각만 해도 복잡한 프로세스이기 때문이죠. 이때 애플리케이션 버전 관리를 일관되게 하고 다양한 엣지 장치와 위치에서 호환성을 유지하려면, 효율적인 오케스트레이션 배포 시스템이 필요합니다. 이러한 과제를 해결하기 위해 여러 솔루션들이 연구되고 있는데요. 그중 하나가 쿠버네티스(Kubernetes, K8s)입니다. 쿠버네티스는 컨테이너화된 애플리케이션을 자동 배포하고, 확장하며, 관리하기 위한 오픈 소스 플랫폼입니다. 이때 쿠버네티스 기술에 + Edge를 접목한 것이 바로 KubeEdge입니다. 좀 더 자세히 알아볼까요? │KubeEdge란? KubeEdge는 쿠버네티스를 확장하여 엣지 컴퓨팅 환경을 지원하는 오픈 소스 플랫폼입니다. 엣지 컴퓨팅의 잠재력을 최대한 활용할 수 있는 플랫폼이죠. KubeEdge는 클라우드 컴퓨팅과 엣지 컴퓨팅의 경계를 허물기 위해 설계되었는데요. CNCF 재단에서 엣지 컴퓨팅 커뮤니티 구성원에 의해 개발되었고, 2018년 11월 상하이 KubeCon에서 처음 발표되었습니다. 쿠버네티스 기반으로 설계된 KubeEdge는, 2019년 3월에 첫 릴리즈 이후로 점차 안정화되고 있습니다. │KubeEdge 주요 기능 KubeEdge는 쿠버네티스를 사용해 클라우드와 엣지 리소스를 일관되게 관리할 수 있습니다. 또한 클라우드에서 운영하던 애플리케이션과 서비스를 동일한 방식으로 다룰 수 있죠. 이 밖에도 KubeEdge 주요 기능은 다음과 같습니다. • 엣지 클러스터 관리: KubeEdge는 엣지 환경에서도 쿠버네티스 클러스터를 효율적으로 관리할 수 있습니다. • 데이터 처리: 엣지에서 생성된 데이터를 로컬에서 처리하여, 네트워크 대역폭을 절약하고 응답 시간을 단축합니다. • 애플리케이션 오케스트레이션: 클라우드와 유사한 방식으로 엣지 애플리케이션을 배포하고 관리할 수 있습니다. • 보안: 엣지와 클라우드 간의 안전한 통신을 보장하여, 데이터 보안을 강화합니다. │KubeEdge 주요특징 KubeEdge 기능이 좀 더 원활하게 작업을 할 수 있도록 도와주는 주요 특징이 있는데요. 자세히 살펴보겠습니다. • 분산 아키텍처: KubeEdge는 클라우드와 엣지를 각각 포함하는 분산된 환경을 지원합니다. 클라우드에는 Kube-apiserver가 있으며, 엣지에는 실제 IoT 디바이스가 있습니다. 이를 통해 중앙 집중식 관리와 로컬 처리를 모두 가능하게 합니다. • 쿠버네티스 API 호환성: KubeEdge는 쿠버네티스 API와 호환됩니다. 이를 통해 기존에 쿠버네티스에 익숙한 사용자는 엣지 컴퓨팅 환경을 쉽게 관리할 수 있죠. • 리소스 제약 환경 지원: 엣지 디바이스는 일반적으로 제한된 컴퓨팅 자원을 가지고 있습니다. KubeEdge는 이러한 환경을 고려하여 설계되었기 때문에, 리소스가 제한된 환경에서도 효율적으로 작동합니다. • 오프라인 작동 지원: 엣지 노드는 네트워크에 연결되어 있지 않더라도, 일정 부분을 독립적으로 작동할 수 있습니다. 이는 인터넷 연결이 불안정한 환경에서 매우 유용합니다. • 경량화된 엣지 컴포넌트: KubeEdge는 엣지 측에 'EdgeCore'라는 경량화된 컴포넌트를 사용합니다. EdgeCore는 IoT 디바이스와의 통신/관리를 담당합니다. • 효율적인 통신: 클라우드와 엣지 사이의 통신은 *MQTT3와 같은 프로토콜을 사용하여 효율적으로 이루어집니다. 이는 데이터의 신속한 전송과 처리를 가능하게 합니다. *3. MQTT: Message Queuing Telementry Transport의 약자로 경량 메시지 전송 프로토콜 │KubeEdge 구성도 KubeEdge 구성도를 살펴보면 크게 Cloud, Edge, Device로 나누어져 있는데요. 각각 구성요소에 대한 설명은 아래와 같습니다. • Edged: Edge에서 컨테이너화된 애플리케이션을 관리합니다. 이는 엣지 디바이스에서 애플리케이션을 배포하고 실행하는 역할을 합니다. • EdgeHub: Edge에 위치한 통신 인터페이스 모듈로, 엣지 컴퓨팅을 위해 클라우드 서비스와 상호 작용하는 *웹 소켓4 클라이언트입니다. 클라우드와 실시간 데이터 통신을 담당합니다. • CloudHub: 클라우드에서의 통신 인터페이스 모듈입니다. 클라우드 측의 변경 사항을 감시하고, EdgeHub에 메시지를 캐싱하고 보내는 역할을 담당하는 웹 소켓 서버입니다. • Edge Controller: Edge 노드를 관리하는 모듈입니다. 이 모듈은 데이터를 특정 엣지 노드로 전달될 수 있도록, 엣지 노드와 포드 *메타데이터5를 관리합니다. 즉 Edge Controller는 쿠버네티스 컨트롤러 역할을 확장하여, 엣지 컴퓨팅 환경에서도 효율적인 노드 관리와 데이터 흐름을 가능하게 합니다. • EventBus: MQTT를 사용하여 내부 엣지 통신을 처리하는 모듈입니다. 이는 MQTT 서버와 상호 작용하여 다른 구성 요소에 게시와 구독 기능을 제공하는 MQTT 클라이언트 역할을 합니다. • Device Twin: 장치 메타 데이터를 처리하는 장치용 소프트웨어 미러입니다. 이 모듈은 장치 상태를 처리하고 이를 클라우드에 동기화하는 데 도움을 줍니다. 또한 경량 데이터베이스(SQLite)에 연결되어, 애플리케이션에 대한 쿼리 인터페이스도 제공합니다. • MetaManager: Edge 노드에서 메타데이터를 관리하는 모듈입니다. 이는 Edged와 EdgeHub 사이의 메세지 프로세서로, 경량 데이터베이스(SQLite)와의 메타데이터를 저장/검색하는 역할을 담당합니다. *4. 웹 소켓: 웹 브라우저와 서버 간의 실시간 양방향 통신을 가능하게 하는 프로토콜 *5. 포드 메타데이터: 파일 원본 데이터 외에 추가적인 속성이나 정보를 포함하는 메타데이터 이러한 각 구성 요소는 엣지와 클라우드 간의 원활한 통신, 애플리케이션 배포, 데이터 관리 등을 담당하여 엣지 컴퓨팅의 성능과 효율성을 극대화합니다. 이를 통해 실시간 데이터 처리와 안정적인 시스템 운영이 가능하죠. │엣지 컴퓨팅과 KubeEdge 미래 전망 그렇다면 엣지컴퓨팅과 KubeEdge 미래 전망은 어떨까요? 엣지 컴퓨팅과 KubeEdge의 결합은 데이터 생성 지점에서 즉시 처리를 가능하게 하여 지연 시간을 줄이고, 클라우드 네이티브 애플리케이션을 엣지 환경에서도 원활하게 실행할 수 있도록 지원합니다. 따라서 이러한 기술의 결합은 5g와 함께 자율주행차, 스마트 시티 등 다양한 분야에서 혁신을 이끌며, 향후 지속적인 성장이 예상됩니다. IDC에 따르면, 전 세계 엣지 컴퓨팅 지출은 2023년 2080억 달러에서 2026년까지 연평균 13.1%씩 성장하여 3170억 달러에 이를 것으로 예상됩니다. 이러한 성장은 디지털 전환 이니셔티브의 중요한 요소로 엣지 컴퓨팅의 역할이 확대되면서 더욱 가속화될 예정입니다. 국내에서도 엣지 컴퓨팅과 관련한 기술 발전과 시장 확장이 활발히 이루어지고 있습니다. 정부가 민간사업에게 5G 주파수를 할당하면서 이음 5G(5G 특화망) 서비스가 시작되었고, 이를 통해 자율 주행 로봇 등의 엣지 컴퓨팅 관련 서비스가 확대되고 있습니다. 결론적으로 엣지 컴퓨팅과 KubeEdge의 결합은, 미래의 디지털 트랜스 포메이션을 가속화할 핵심 기술로 자리 잡을 것으로 전망하고 있습니다. 이들의 발전은 다양한 산업 분야에서 새로운 비즈니스 모델과 기회를 창출하여, 우리의 생활 방식을 더욱 안전하고 편리하게 만들어 줄 것입니다. 📚참고 자료 • MichaelShirer, "New IDC Spending Guide Forecasts Edge Computing Investments Will Reach $232 Billion in 2024", IDC • GordonHaff, "Edge computing: 4 trends for 2023", enterprisersproject • ShirleyStark, "Future Of Edge Computing: Top 6 Trends 2023", justtotaltech • TonyFyler, "Edge computing trends in 2023", techhq • Bluefriday, "KubeEdge concept", tistory • Mansoor Ahmed, "Kubernetes Native Edge Computing Framework, KubeEdge", linkedin • "TDK의 고급 HDD 헤드 기술은 사회의 디지털 변혁을 가속화합니다", shunlongwei • 양대규기자, 엣지에서 AI와 시각적 처리가 증가하는 이유, aitimes 2024.07.26

1