[디지털경제뉴스 박시현 기자] 업스테이지와 한국지능정보사회진흥원(NIA)이 구축한 한국어 거대언어모델(LLM) 평가 리더보드 ‘오픈 Ko-LLM 리더보드’가 공개 2주 만에 등록 모델 100개를 돌파했다.
오픈 Ko-LLM 리더보드는 누구나 자신이 개발한 한국어 LLM을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다. 특히 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드로서의 강점을 갖고 있다.
오픈 Ko-LLM 리더보드는 개인 연구자부터 SKT, 마음AI, 포티투마루, 한국전자통신연구원, 고려대학교 등 다양한 기업과 학계 조직들이 각축을 벌여, 일 단위로 순위 등락을 거듭하며 이목을 집중시키고 있다.
특히, 오픈 Ko-LLM 리더보드에는 ‘Ko-Alpaca’, 고려대학교 ‘KULLM(구름)’, ‘Polyglot-Ko’ 등 유명한 한국어 오픈소스 모델들이 총집결하는 양상으로, 업계에서는 한국어 특화 LLM 성능 평가의 바로미터로 자리잡고 있다는 평가다. 특히, 허깅페이스의 아태지역 총괄이 직접 SNS에 업스테이지 리더보드를 언급하는 등 글로벌에서도 관심을 받았다.
앞으로 업스테이지는 월별 리더보드 순위를 결산해 상위권 모델을 조명하는 한편, 해당 모델을 개발한 연구자들을 초빙해 오픈 세미나를 개최하는 등 국내 LLM 생태계 활성화를 위한 다양한 활동들을 전개할 계획이다.
특히, 영어 위주의 기존 평가체제에 더해 한국어 데이터를 기반으로 한 리더보드를 운영함으로써 한국어 LLM 생태계 확장을 위한 밑거름을 다진다. 또한, 다양한 연구자들이 서로의 모델을 자유롭게 공유하고, 공동 연구와 교류를 통해 기술을 더욱 고도화함으로써 국내 오픈소스 LLM 진영의 구심점 역할을 할 것으로 기대를 모으고 있다.
