[디지털경제뉴스 박시현 기자] 뉴렐릭이 AI 기반 애플리케이션용 APM 솔루션인 ‘뉴렐릭 AI 모니터링(AIM)’을 출시했다.
뉴렐릭은 AIM의 출시와 함께 AI 옵저버릴리티 영역을 새롭게 다져나가며 엔지니어들에게 AI 애플리케이션 스택 전반에 전례없는 가시성과 인사이트를 제공한다는 계획이다. 이를 통해 엔지니어들은 문제들을 더욱 쉽게 해결하는 동시에 AI 애플리케이션의 성능, 품질, 비용은 최적화시키고 AI의 책임감 있는 사용과 관련 규제 준수도 더욱 효율적으로 실천할 수 있다.
AIM은 대규모 언어 모델(LLM) 반응 추적 및 모델 비교 등의 기능과 50개 이상의 통합 기술을 활용해 IT 부서가 LLM 기반 애플리케이션을 더욱 자신있게 구축할 수 있도록 지원한다.
AI 기반 애플리케이션은 때로는 기업에 새로운 복잡성을 안겨주기도 한다. LLM과 같은 AI 요소와 벡터 데이터 베이스는 엔지니어들에게 블랙박스의 역할을 한다. 하지만 동시에 부정확하고 편향된 결과를 제공하거나, 보안 문제가 발생할 가능성도 있으며 계속 추적하고 분석해야 하는 거대한 양의 텔레메트리 데이터를 생산하기도 한다.
이때 AIM은 모든 AI 기반 애플리케이션에 엔드-투-엔드 옵저버빌리티를 제공함으로써 이러한 문제들을 해결한다. 엔지니어는 단일 화면을 이용해 한 곳에서 성능, 비용, 보안 관련 이슈뿐만 아니라 환각현상, 편향, 유해성 및 공정성 등 품질 관련 이슈에 관한 여러 LLM 프롬프트와 반응 문제를 확인하고, 비교해 최적화할 수 있다.
이를 통해 엔지니어들은 서비스 및 인프라스트럭처와 관련된 AI 스택 전반에 모든 요소들에 대한 가시성을 확보할 수 있어 AI를 책임감 있게 사용하는데 필요한 데이터를 확인하고 향후 AI 규제 관련 컴플라이언스 준수 상황도 확인할 수 있다.
뉴렐릭 AIM의 주요 기능 및 사용사례는 다음과 같다.
▪계측 자동화: 뉴렐릭의 소프트웨어인 뉴렐릭 에이전트들은 각각 AI 스택 전반 가시성 확보, 반응 추적, 모델 비교, 더욱 쉽고 빠른 설정 등 모든 AI 모니터링 기능들을 제공한다.
▪AI 스택 전반 가시성 확보: 애플리케이션, 인프라스트럭처, AI 레이어, 반응 품질 및 토큰과 같은 AI 메트릭까지 모든 요소를 아우르는 통합적인 인사이트를 제공하며 APM에서 중요한 신호도 놓치지 않고 보내준다.
▪모든 LLM 반응에 대한 심도있는 인사이트 추적: 랭체인 등의 툴로 구축된 복잡한 LLM 반응의 라이프사이클을 추적해 편향, 유해성, 환각현상과 같은 성능 관련 문제나 품질 문제들을 수정한다.
▪성능 및 비용 비교: 사용량, 성능, 품질 및 비용을 모든 모델을 아우르며 비교해 단일 화면에서 한 눈에 볼 수 있도록 한다. 자주 사용되는 프롬프트, 이와 연관된 내용이나 프롬프트 템플릿 및 캐시에 대한 인사이트를 최적화할 수 있다.
▪책임감 있는 AI 사용 지원: 더욱 안전하고 책임감 있는 AI 사용을 지원하기 위해 각 응답들이 AI로 생성한 대답이라는 것을 알려줄 수 있도록 적절히 태깅 되었는지 검증한다. 또한, 반응 추적으로 도출한 인사이트를 통해 편향, 유해성 및 환각현상을 방지할 수 있도록 한다.
▪즉각적인 AI 생태계 모니터링: AI 에코시스템 전체 스택을 모니터링 할 수 있는 가장 포괄적인 솔루션으로 △오케스트레이션 프레임워크 △LLM △머신러닝 라이브러리 △모델 서빙 △벡터 데이터베이스 △인프라스트럭처 등 50여개 이상의 통합 기능과 퀵스타트를 지원한다.
