[디지털경제뉴스 박시현 기자] 레드햇과 일본 NTT가 엔비디아 및 후지쯔와 협력해 엣지에서 실시간 생성형 AI 데이터 분석을 향상하고 확장할 수 있는 솔루션을 공동 개발했다고 밝혔다.
이 솔루션은 차세대 통신 표준 협의체 아이온(IOWN)의 글로벌 포럼에서 개발한 기술을 사용해 쿠버네티스 기반 하이브리드 클라우드 애플리케이션 플랫폼인 레드햇 오픈시프트 상에 구축됐으며, 실제 실행 가능성 및 사용 사례에 대해 ‘아이온 글로벌 포럼의 개념 증명’을 획득했다.
AI 센싱 기술과 네트워킹 혁신이 가속화되고 특히 데이터 소스가 빠르게 확장됨에 따라, 네트워크 엣지에서 데이터를 평가하고 분류하는데 있어 AI 분석 활용의 중요성이 더욱 커지고 있다. 그러나 AI 분석을 대규모로 사용하는 것은 속도가 느리고 복잡할 수 있으며, 새로운 AI 모델과 추가적인 하드웨어로 인한 관리 비용과 소프트웨어 유지 비용이 증가할 수 있다.
레드햇과 NTT의 이번 솔루션은 아이온 APN(All-Photonics Network)과 아이온 DCI(Data-Centric Infrastructure) 내의 데이터 파이프라인 가속 기술로 구성돼 있다. NTT의 AI용 가속 데이터 파이프라인은 APN을 통한 RDMA(Remote Direct Memory Access) 방식을 채택해 엣지에서 대량의 센서 데이터를 효율적으로 수집하고 처리한다.
레드햇 오픈시프트의 컨테이너 오케스트레이션 기술은 지리적으로 분산돼 있는 원격 데이터센터들에 걸쳐 있는 가속 데이터 파이프라인 내에서 워크로드를 보다 유연하게 운영할 수 있도록 지원한다. 레드햇과 NTT는 이번 솔루션이 엣지에서 이뤄지는 실시간 AI 분석을 위한 저지연성과 낮은 전력 소비량을 확보할 수 있음을 입증했다.
양사는 일본 요코스카시를 센서 설치 거점으로, 무사시노시를 원격 데이터센터로 해 두 곳 모두 APN으로 연결된 상태에서 실시간 AI 분석 플랫폼을 평가했다. 그 결과, 많은 수의 카메라를 포함한 경우에도 AI 분석을 위한 센서 데이터를 집계하는 데 필요한 지연 시간이 종래의 AI 추론 워크로드 대비 60% 줄었다. 또한, 엣지의 각 카메라 별 AI 분석에 필요한 전력 소비량이 기존 기술보다 40% 절감될 수 있음이 입증됐다.
이 실시간 AI 분석 플랫폼을 사용하면 CPU의 병목 현상 없이 더 많은 수의 카메라를 수용할 수 있도록 GPU를 확장할 수 있다. 시범 계산에 따르면 1,000대의 카메라를 수용할 수 있는 규모라고 가정하면 전력 소비량을 60%까지 줄일 수 있을 것으로 예상된다. 이 개념 증명에는 AI 추론을 위한 엔비디아 A100 텐서 코어 GPU와 엔비디아 커넥트X-6 NIC가 사용됐다.
이 솔루션을 통해 조직은 △대량의 데이터 수집과 관련된 오버헤드 감소 △대도시 지역과 원격 데이터센터 간에 공유할 수 있는 데이터 수집 향상과 이를 통한 더 빠른 AI 분석 △태양열, 풍력 등 각 원격지의 가용 잠재적 재생 에너지를 활용할 수 있는 능력 △센서 디바이스 역할을 하는 비디오 카메라로 지역 관리 보안 강화 등의 이점을 누릴 수 있다.
