[디지털경제뉴스 최종엽 기자] 데이터브릭스(Databricks)는 미 현지시간 6월 22일부터 26일까지 온라인으로 진행된 ‘스파크+AI 서밋(Spark+AI Summit)’에서 커뮤니티 회원들과 공동 개발한 스파크 3.0에서 GPU 가속기 인식 스케줄링 기능을 제공한다고 발표했다.
데이터브릭스는 아파치 스파크의 개발자가 설립한 회사로, 매일 수 백만 대의 가상머신에서 실행되는 클라우드 기반 엔터프라이즈 스파크 플랫폼을 제공하고 있다.
엔비디아는 이러한 아파치 스파크(Apache Spark) 3.0 버전이 발표됨에 따라 50만명 이상의 아파치 스파크 사용자들이 혁신적인 GPU 가속을 이용할 수 있을 것으로 보고 있다.
엔비디아는 7월 16일 구글 클라우드와 웨비나를 개최해 데이터 사이언티스트를 위한 새로운 기능들을 소개할 예정이다. 최근 구글 클라우드는 데이터프록 이미지 버전 2.0(Dataproc image version 2.0)에서 스파크 3.0 프리뷰를 제공한다고 밝힌바 있다.
한편 엔비디아는 새로운 아파치 스파크용 오픈소스 래피즈(RAPIDS) 가속기를 공개했다. 이 가속기는 코드 변경 없이 ETL(추출, 변환, 로드) 및 데이터 전송을 가속화해 애널리틱스 성능을 높여준다.
아파치 스파크용 새로운 래피즈 가속기는 스파크 분산 컴퓨팅 프레임워크를 강력한 래피즈 CuDF 라이브러리에 연결해 스파크 데이터프레임(Spark DataFrame)과 스파크 SQL(Spark SQL)의 GPU 가속화를 가능하게 한다.
래피즈 가속기는 또 스파크 노드간에 데이터를 이동하는 가장 빠른 경로를 찾아 스파크 셔플(Spark Shuffle) 작업을 가속화시킨다.
