[디지털경제뉴스 박시현 기자] 업스테이지가 한국지능정보사회진흥원(NIA)과 한국형 오픈 LLM 리더보드 공동 구축으로 국내 AI 생태계 확장에 나선다.
업스테이지는 4일 NIA와 한국형 오픈 LLM 리더보드 구축을 목적으로 하는 ‘AI 허브 데이터 활용 업무협약’을 체결했다.
이번 협약에 따라 업스테이지는 NIA의 인공지능 학습용 데이터 제공 플랫폼인 AI 허브에서 제공하는 다양한 분야의 한국어 데이터를 활용, ‘오픈-Ko LLM 리더보드’를 9월안에 구축할 계획이다.
‘오픈-Ko LLM 리더보드’는 오픈 LLM 모델을 평가하는 허깅페이스 오픈 LLM 리더보드의 한국 버전으로, 한글 기반으로 개발된 LLM들의 성능을 평가하고 순위를 매기는 플랫폼이다. 기존의 추론과 상식 능력, 언어 이해 종합능력, 환각 현상 방지 등 4가지 지표에 NIA와 학계 등 신뢰할 만한 데이터를 기반으로 윤리, 전문가 지식 등 추가 기준을 개설, 모델을 평가한다.
업스테이지는 지난 8월 허깅페이스가 운영하는 오픈 LLM 리더보드에서 1위를 차지한 바 있다. 이번 NIA와 공동으로 리더보드를 구축, AI 허브의 데이터를 바탕으로 한국 문화 정서를 담아낼 수 있는 고품질의 LLM 개발을 넘어 국내 LLM 독립을 위한 생태계 조성에 기여할 계획이다.
NIA는 이번 협력으로 업스테이지의 1T 클럽에도 가입, 양질의 데이터를 제공하로 했다. 업스테이지의 1T 클럽은 올해 8월 출범해 텍스트, 책, 기사 등 다양한 형태의 1억 단어 이상의 한국어 데이터를 기여하는 파트너들과 협력하고 있으며, 이를 통해 인공지능 거대언어모델 개발을 위한 AI 생태계의 외연을 확대하고 있다.
업스테이지의 1T 클럽은 ‘1 Trillion 토큰 클럽’을 의미하는 것으로, 파트너들은 업스테이지가 자체 제작하는 LLM의 API를 할인된 가격에 사용할 수 있으며, LLM의 API 사업으로 창출될 수익을 공유받을 수 있다. 업스테이지는 파트너사들이 제공하는 데이터를 모델의 학습 용도로만 사용하고, 원문 추출이 불가능하도록 보안과 개인정보보호에 만전을 기한다.
업스테이지 김성훈 대표는 "NIA와의 협약으로 한국어 데이터 부족 문제를 해결하고, 국내외 시장에서 경쟁력 있는 인공지능 플랫폼을 제공할 수 있게 됐다"며 "한국형 오픈 LLM 리더보드를 통해 국내 LLM들의 성능과 혁신성을 증명하고, 인공지능의 발전과 보급에 노력하겠다"고 말했다.
NIA는 AI 허브를 통해 다양한 분야의 데이터를 수집하고 가공해 인공지능 개발자들에게 무료로 제공하고 있다. NIA는 2025년까지 1,300여 종의 데이터를 구축하며, 이를 통해 국내 인공지능 산업의 성장과 활성화에 기여할 방침이다.
