[디지털경제뉴스 박시현 기자] 클라우드플레어가 서버리스 AI 추론 플랫폼인 ‘워커스 AI’와 AI 애플리케이션 구축 도구에 신규 기능을 도입, 개발자가 AI 애플리케이션을 손쉽게 구축할 수 있도록 지원한다고 밝혔다.
워커스 AI는 전 세계 어디에서나 사용자와 가까운 곳에서 AI 추론을 실행하고 글로벌 AI 애플리케이션을 구축할 수 있는 플랫폼이다. 이번 신규 기능 도입으로 워커스 AI에 구축된 애플리케이션은 추론 속도 향상, 대형 모델에 대한 지원, 성능 분석 등의 혜택을 누릴 수 있게 된다.
대형언어모델(LLM)의 규모가 점점 작아지고 성능은 향상됨에 따라, 네트워크 속도가 고객의 채택과 원활한 AI 상호 작용에 장애물이 될 것으로 예상된다. 클라우드플레어의 글로벌 분산 네트워크는 네트워크 지연 시간을 최소화해, 일반적으로 데이터센터에 집중돼 있는 자원으로 구성된 다른 네트워크와 차별화된다.
클라우드플레어의 워커스 AI는 현재 전 세계 180여 개의 도시에 GPU를 배치, 전 세계 엔드유저에게 짧은 대기 시간을 제공하도록 설계됐다. 워커스 AI는 이러한 GPU 네트워크를 통해 모든 AI 플랫폼 중 가장 넓은 글로벌 범위를 갖추고 있으며, 사용자와 최대한 가까운 지역에서 AI 추론을 실행하고 고객 데이터를 보관할 수 있도록 지원한다.
클라우드플레어가 손쉬운 AI 애플리케이션 구축을 위해 새롭게 도입한 기능은 다음과 같다.
▪성능 업그레이드 및 대형 모델에 대한 지원: 클라우드플레어는 더 강력한 워커스 AI용 GPU를 도입해 글로벌 네트워크를 강화하여 AI 추론 성능을 업그레이드하고, ‘라마 3.1 70B’와 같이 훨씬 큰 모델 뿐만 아니라 ‘라마 3.2’ 모델의 1B, 3B, 11B에서도 추론을 실행할 수 있도록 지원한다. 워커스 AI에 구축된 AI 애플리케이션은 지원하는 모델 규모를 늘리고 대응 시간을 줄이며 컨텍스트 윈도우를 확장해 복잡한 작업을 효율적으로 처리한다.
▪지속적인 로그를 통한 AI 사용량 모니터링 및 최적화 개선: 개발자는 오픈 베타에서 사용 가능한 ‘AI 게이트웨이’의 새로운 영구 로그 기능으로 인해 사용자의 프롬프트와 모델 응답을 장기간 저장하고 애플리케이션의 성능을 더 잘 분석하고 이해할 수 있다. 또한, 영구 로그를 통해 비용과 요청 기간 등 사용자 경험에서 자세한 인사이트를 확보해 애플리케이션을 개선할 수 있다. 실제로, 작년 출시 이후 AI 게이트웨이는 20억 건 이상의 요청을 수행했다.
▪더 빠르고 경제적인 쿼리: 벡터 데이터베이스는 모델이 이전 입력을 더 쉽게 기억할 수 있도록 하여 머신러닝을 검색, 추천 및 텍스트 생성 사용 사례에 활용할 수 있도록 한다. 클라우드플레어의 벡터 데이터베이스인 ‘벡터라이즈’는 정식 출시됐으며, 2024년 8월부터는 각각 최대 500만 개의 벡터 인덱스를 지원하고 있다. 쿼리 대기 시간 중앙값은 549밀리초에서 31밀리초로 감소했다. 이러한 개선 사항은 AI 애플리케이션이 적은 데이터 처리로 관련 정보를 빠르게 찾도록 도와주며 AI 애플리케이션의 비용 또한 절감한다.
