[디지털경제뉴스 박시현 기자] 데이터브릭스가 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 출시했다.
DBRX는 비용 효율적으로 자체 맞춤형 LLM을 구축, 교육 및 서비스할 수 있도록 해주며, 소수의 폐쇄형 모델에 의존하지 않도록 지원한다.
데이터브릭스에 따르면 DBRX는 최신 업계 벤치마크에서 오픈소스 모델을 능가하고, 대부분의 벤치마크에서 GPT-3.5를 뛰어넘는 수준으로, 독점 모델을 오픈소스 모델로 대체하는 추세를 가속화한다. 뿐만 아니라, DBRX는 전문가 혼합 아키텍처를 사용하기 때문에 초당 토큰 전송 속도가 매우 빠르며 비용 효율적이다. 이러한 점에서 DBRX는 오픈소스 LLM의 새로운 기준을 제시하며, 기업이 자체 데이터를 기반으로 맞춤형 추론 기능을 구축할 수 있는 플랫폼을 제공한다.
DBRX는 언어 이해, 프로그래밍, 수학 및 논리와 같은 표준 업계 벤치마크에서 기존 오픈소스 LLM보다 뛰어난 성능을 제공한다.
데이터브릭스는 효율성을 위해 메가블록스 오픈소스 프로젝트에 기반한 전문가 혼합(MoE) 아키텍처로 DBRX를 최적화했다. 이로 인해 DBRX는 다른 주요 LLM 대비 최대 2배 높은 컴퓨팅 효율성 등을 갖췄다. DBRX는 주어진 시간에 360억 개의 매개변수만 사용하지만 모델 자체는 1,320억 개 파라미터이다.
DBRX는 데이터브릭스 모자이크 AI의 통합 툴링과 결합되어, 고객이 데이터와 지적 재산에 대한 제어권을 유지하면서도 안전하고 정확하며 관리 가능한 생산 품질의 생성형 AI 애플리케이션을 신속하게 구축 및 배포할 수 있도록 지원한다. 고객은 데이터 관리, 거버넌스, 리니지 및 모니터링 기능이 내장된 데이터브릭스의 데이터 인텔리전스 플랫폼의 다양한 이점을 누릴 수 있다.
DBRX는 깃허브와 허깅 페이스에서 연구 및 상업적 용도로 무료로 사용 가능하다. 기업은 이제 데이터브릭스 플랫폼에서 DBRX와 상호 작용하고, 검색 증강 생성(RAG) 시스템에서 긴 문장 기능을 활용하며, 자체 고유 데이터에서 맞춤형 DBRX 모델을 구축할 수 있다. 또한, AWS와 구글 클라우드 뿐만 아니라, 애저 데이터브릭스를 통해 마이크로소프트 애저에서도 사용할 수 있다.
