[디지털경제뉴스 박시현 기자] 업스테이지는 자체 개발한 사전학습 LLM ‘솔라(Solar)’ 10.7B 모델을 공개하고, 이 모델이 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM 리더보드’에서 세계 1위를 차지했다고 밝혔다.
솔라 10.7B 모델은 기업들이 활용하기 좋은 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델로, 세계 최초의 107억 매개변수(10.7B) 모델이다. 업스테이지는 “솔라 10.7B 모델은 고도의 지능과 컴팩트함이라는 균형을 찾은 모델”이라고 평가했다. 솔라는 리더보드 평가에서 74.2점을 기록하며 전체 1위를 차지했다. 솔라는 알리바바의 최신 모델인 큐원의 6분의 1도 안되는 크기로 이를 훌쩍 뛰어넘는 성능을 증명했다.
업스테이지는 다양한 연구를 통해 작은 사이즈의 솔라 모델 성능을 최적화했다. 업스테이지는 성능이 좋지만 큰 13B 모델과 작지만 지적 제약이 있는 7B 모델 사이의 장점을 모두 잡는 최적의 모델 크기를 찾기 위해 오픈소스의 7B 모델들을 기반으로 자체적인 뎁스 업스케일링(Depth Up-Scaling) 방식을 적용, 레이어를 추가하며 깊이를 더해 소형 모델의 성능을 극대화했다. 그 결과 업스테이지는 3조 개가 넘는 토큰의 우수한 데이터를 통해 확장된 10.7B를 완성, 크기와 성능의 최적의 조합으로 모델을 구축했다.
업스테이지의 솔라 모델은 사전 학습 및 파인튜닝 단계에서는 리더보드 벤치마킹 데이터 셋을 사용하지 않고, 자체적으로 구축한 데이터를 적용했다. 이는 리더보드 점수를 높이기 위해 벤치마크 셋을 직접 적용하는 모델들의 사례와 달리 솔라는 다양한 태스크의 실제 업무 활용 등 일반적인 경우에 높은 사용성을 보여줄 수 있음을 입증한다.
특히 최근 20억 달러의 기업 가치로 유니콘에 오른 미스트랄AI의 최신 모델 믹스트랄의 성능지표마저 뛰어넘었다. 믹스트랄은 작은 전문 모델 여러 개를 묶는 방식으로 소형 모델임에도 메타 ‘라마’와 GPT-3.5를 능가해 최근 가장 뜨거운 관심을 받고 있는 모델이다. 믹스트랄은 70억 파라미터의 전문 모델 8개를 묶어 사전학습 모델 중 최고의 성능을 보인 바 있지만, 업스테이지의 솔라는 고도의 모델링 노하우와 최적화 기술력으로 믹스트랄 모델보다 더 가벼운 크기에도 불구하고, 벤치마크평가에서 더 나은 성능을 보였다.
기업들은 업스테이지의 솔라 모델을 기반으로 자신들의 데이터와 목적에 맞게 추가 학습하고, 다양한 생성 AI 서비스를 구축하고 운영할 수 있다.
업스테이지는 AWS, Poe, Together.ai 등 글로벌 플랫폼과의 협력을 통해 글로벌 생성 AI 시장에 본격적으로 진출할 계획이다. 업스테이지는 최근 ‘AWS 리인벤트 2023’ 행사에 참석, AWS의 클라우드 서비스와 AI 플랫폼을 활용해 자체 개발한 LLM을 구축하고 운영하는 과정과 성과에 대해 설명했다.
업스테이지는 글로벌 생성 AI 활용 플랫폼 Poe에 메인 모델로 등록돼 있는 솔라 모델을 업데이트해 대중들이 업스테이지 LLM을 직접 경험해 볼 수 있도록 할 예정이다. Poe는 쿼라가 운영하는 플랫폼으로, 다양한 AI 모델과 대화하고 원하는 프롬프트를 입력해 나만의 챗봇을 만들 수 있다.
