[디지털경제뉴스 박시현 기자] 레드햇은 대규모언어모델(LLM)의 개발, 테스트, 실행을 위한 생성형 AI 파운데이션 모델 플랫폼 ‘레드햇 엔터프라이즈 리눅스 AI(RHEL AI)의 1.2 버전’을 출시했다.
RHEL AI는 생성형 AI 사용 사례에 최적화된 특수 제작 RHEL 이미지에 오픈소스 그래니트 LLM과 인스트럭트랩 모델 정렬 도구를 결합한다.
2024년 9월 RHEL AI 1.1 버전에 이어 이번에 선보인 1.2 버전은 엔터프라이즈 AI의 진입 장벽을 낮추고 도입을 촉진함으로써 개발자, AI 엔지니어 및 데이터 과학자의 역량을 강화할 수 있게 돕는다.
RHEL AI 1.2는 조직이 자체 민감 데이터를 사용해 LLM을 보다 효율적으로 미세 조정하고 배포해 엔터프라이즈 용도에 더 잘 맞출 수 있도록 지원한다. 인스트럭트랩 및 포괄적 소프트웨어 스택에 기반한 이러한 개선점들은 새로 출시된 AMD 인스팅트 가속기를 포함한 광범위한 하드웨어 가속기를 지원한다.
RHEL AI 1.2의 주요 특징은 다음과 같다.
▪엔비디아 GPU가 탑재된 레노버 씽크시스템 SR675 V3 서버에서 RHEL AI 1.2를 지원한다. 사용자는 RHEL AI의 공장 출하 시 기본 탑재 옵션을 활용할 수 있어 배포가 더 빠르고 쉬워진다.
▪언어 모델에는 강력한 컴퓨팅 리소스가 필요하다. RHEL AI는 드라이버, 라이브러리 및 런타임을 포함한 전체 AMD ROCm 소프트웨어 스택과 함께 AMD 인스팅트 가속기를 지원한다. RHEL AI 1.2로 조직은 훈련 및 추론에 AMD 인스팅트 MI300x GPU를, 추론 작업에는 AMD 인스팅트 MI210 GPU를 활용할 수 있다.
▪애저 및 구글 클라우드에서 RHEL AI를 사용할 수 있다. 이를 통해 사용자는 레드햇에서 다운로드한 RHEL AI를 애저 및 GCP로 가져와 RHEL AI 기반 GPU 인스턴스를 생성할 수 있다.
▪주기적인 체크포인트로 모델 미세 조정 중 긴 트레이닝 실행을 일정한 간격으로 저장할 수 있다. 이 기능을 통해 인스트럭트랩 사용자는 처음부터 다시 시작하지 않고 마지막으로 저장된 체크포인트에서 훈련을 재개할 수 있어 시간과 컴퓨팅 리소스를 절약할 수 있다.
▪인스트럽트랩 CLI가 사용 중인 하드웨어 가속기 유형을 자동으로 감지하고 이에 따라 최적의 성능을 위한 인스트럭트랩 파이프라인을 구성할 수 있어 수동 설정이 불필요하다.