KT, 엔비디아 AI로 스마트 스피커와 고객 콜센터 훈련
KT, 엔비디아 AI로 스마트 스피커와 고객 콜센터 훈련
  • 차수상 기자
  • 승인 2022.09.22 20:25
  • 댓글 0
이 기사를 공유합니다

엔비디아 DGX 슈퍼POD 플랫폼 및 네모 메가트론 프레임워크로 훈련된 10억 매개변수의 대규모 언어 모델 구축
KT의 AI 컨택센터는 인간의 개입이 없이 매일 전국적으로 10만 건 이상의 전화를 관리하고 있다.
KT의 AI 컨택센터는 인간의 개입이 없이 매일 전국적으로 10만 건 이상의 전화를 관리하고 있다.

[디지털경제뉴스 차수상 기자] 엔비디아는 KT가 엔비디아 AI로 스마트 스피커와 고객 콜센터를 훈련했다고 밝혔다.

KT의 AI 기반 스피커는 TV를 제어하고, 실시간 교통 정보를 제공하고 기타 집안에서의 다양한 업무를 수행한다. 대형의 텍스트 데이터 세트를 기반으로 인간 언어를 인식, 이해, 예측 및 생성할 수 있는 머신러닝 알고리즘인 대형 언어 모델(LLM) 덕분에 매우 복잡한 한국어 대화 기술을 숙달했다.

KT의 모델은 엔비디아 DGX 슈퍼POD 데이터센터 인프라 플랫폼과 네모 메가트론 프레임워크를 사용해 수십억 개의 매개변수를 가진 LLM을 훈련하고 배포한다.

2,200만 명이 넘는 가입자를 보유한 KT는 약 400억 개의 매개변수를 가진 LLM을 개발해 스마트 스피커의 단어에 대한 이해도를 높였다. 또한 매개변수 수를 2,000억 개 이상으로 늘린, 적용 분야 별 최적화된 다양한 버전의 LLM들을 사업에 적용하고 있다. 더불어 기가지니는 아마존 알렉사와의 통합으로 사용자와 영어로 대화할 수 있다.

KT의 LLM 개발팀 류휘정 팀장은 “트랜스포머 기반 모델을 통해 기가지니 스마트 스피커와 고객 서비스 플랫폼 ‘AI 컨택센터(AICC)’의 품질이 크게 향상됐다”고 말했다. 류 팀장에 따르면 인간의 개입이 없이 AICC는 매일 전국적으로 10만 건 이상의 전화를 관리하고 있다.

류 팀장은 “기가지니는 LLM을 통해 언어 이해도를 높이고 인간과 유사한 문장을 더 많이 생성할 수 있으며, AICC는 문의 유형을 더 빠르게 요약하고 분류해 상담 시간을 15초 단축할 수 있다”고 밝혔다.

LLM을 개발하는 것은 심도 있는 기술 전문 지식과 전체 스택 기술 투자가 필요한 값비싸고, 시간 소모적인 과정일 수 있다.

류 팀장은 "엔비디아 DGX 슈퍼POD의 강력한 성능과 네모 메가트론의 최적화된 알고리즘 및 3D 병렬 처리 기술을 통해 LLM 모델을 보다 효과적으로 훈련했다. 네모 메가트론은 지속적으로 새로운 기능을 채택하고 있으며, 이는 모델 정확도를 개선하는 데 있어 가장 큰 장점이다"라고 설명했다.

류 팀장에 따르면, 대규모 딥 러닝 모델을 여러 장치에 분할하는 분산 학습 방법인 3D 병렬 처리는 KT의 LLM 학습에 중요한 포인트였다. 네모 메가트론을 통해 팀은 가장 높은 처리량으로 작업을 쉽게 수행할 수 있었다.

류 팀장은 "다른 플랫폼을 사용하는 것도 고려했지만 하드웨어 수준에서 추론 수준까지 풀스택 환경을 제공하는 대안을 찾기가 어려웠다. 엔비디아는 제품, 엔지니어링 팀 등으로부터 탁월한 전문 지식을 제공하므로 기술 문제를 쉽게 해결할 수 있었다"라고 말했다.

KT는 네모 메가트론의 하이퍼파라미터 최적화 도구를 사용해 다른 프레임워크보다 LLM을 두배 더 빠르게 훈련했다. 이러한 도구를 통해 사용자는 LLM 훈련 및 추론을 위한 최상의 구성을 자동으로 찾아 개발 및 배포 과정을 쉽고 빠르게 할 수 있다.

KT는 엔비디아 트리톤 추론 서버(Triton Inference Server)를 사용해 최적화된 실시간 추론 서비스를 제공하고, 엔비디아 베이스 커맨드 매니저(Base Command Manager)를 통해 AI 클러스터에서 수백 개의 노드를 쉽게 모니터링하고 관리할 계획이다.

KT는 오는 11월 개발자를 대상으로 20여종의 자연어 이해와 자연어 생성 API를 출시할 예정이다. 이 API들은 문서 요약 및 분류, 감정 인식 및 잠재적으로 부적절한 내용의 필터링을 포함한 작업에 사용할 수 있다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.