[디지털경제뉴스 박시현 기자] IBM은 인간 언어의 가장 까다로운 요소를 더 명확하게 식별, 이해, 분석하는 인공지능(AI)을 실현하는 새로운 기술을 상용화했다고 11일 밝혔다.
IBM 리서치 연구소에서 복잡한 주제도 인간과 토론할 수 있도록 개발한 AI 시스템인 ‘프로젝트 디베이터(Project Debater)’의 핵심 기술인 자연어 처리(NLP)를 IBM 왓슨에 통합했다는 것.
◆‘프로젝트 디베이터’의 핵심 기술 상용화 = 프로젝트 디베이터 기술 중의 하나인 ‘어드밴스드 센티멘트 애널리시스(Advanced Sentiment Analysis)’는 관용어나 구어적 표현을 식별하고 분석할 수 있다.
이를테면 ‘hardly helpful(그다지 쓸모 있지 않다)’ 또는 ‘hot under the collar(몹시 난처하다)’와 같은 표현은 알고리즘으로 파악하기 어렵기 때문에 AI 시스템에게는 넘기 힘든 산과 같았다.
그러나 왓슨 API로 제공되는 기술을 통해 기업은 이런 구어적 표현이 포함된 언어 데이터까지 분석할 수 있을 뿐만 아니라 이런 표현들이 사용되는 비즈니스 운영 전반에 대해 보다 전체적인 이해가 가능하다.
아울러 IBM은 PDF, 계약서 등 각종 비즈니스 문서를 이해하는 기술도 AI 모델에 추가할 예정이다.
롭 토마스 IBM 데이터 및 AI 총괄 사장은 “언어는 정보를 위한 도구일 뿐만 아니라 사상과 의견을 표현하는 수단이다”라며, “이것이 우리가 프로젝트 디베이터에서 기술을 추출해 IBM 왓슨에 통합시킨 이유이다. 이 기술들을 통해 기업들은 인간의 언어에서 더 많은 것을 파악, 분석, 이해할 수 있게 되고, 데이터에 담긴 지식을 활용하는 방법에서도 진일보하게 됐다”고 말했다.
IT 애널리스트이자 기술 자문으로 활동하고 있는 필 해시(Phil Hassey) 카피오IT(CapioIT) 사장은 "IBM의 프로젝트 디베이터가 최신 자연어 처리 기술의 출시와 함께 제품으로 구현됐다. 이 제품들은 사람들이 자연스럽게 이야기하는 방식뿐 아니라 개개인이 사용하는 고유한 관용어까지 이해하도록 만들어졌다. 이는 과학적인 연구를 실제 제품으로 구현한 IBM 리서치의 또 하나의 성공을 의미한다”라며, “이번 발표는 앞으로 고객 경험, 프로세스 자동화, 데이터의 문맥화(contextualization) 등 다양한 영역에서 비즈니스 성과를 개선할 수 있는 여러 기회를 제공할 것”이라고 밝혔다.
◆IBM, ‘프로젝트 디베이터’ 기술의 왓슨 통합작업 올해 진행 = IBM은 기업이 비즈니스에서 자연어를 좀더 잘 활용할 수 있도록 올해 동안 ‘프로젝트 디베이터’의 기술들을 IBM 왓슨에 통합하는 작업을 진행할 계획이다.
프로젝트 디베이터의 핵심 기술은 분석, 요약, 클러스터링 등이다.
▶분석-어드밴스드 센티멘트 애널리시스(Advanced Sentiment Analysis): IBM은 관용어 및 소위 센티멘트 시프터(sentiment shifter, "hardly helpful"과 같이 여러 단어의 조합으로 전혀 새로운 의미를 갖는 것)와 같은 복잡한 언어 구조를 더 효과적으로 식별하고 이해하도록 정서 분석을 강화했다.
이 기술은 3월안에 ‘IBM 왓슨 내추럴 랭기지 언더스탠딩(Watson Natural Language Understanding)’에 통합될 예정이다.
IBM은 고객들이 조달 계약과 같은 비즈니스 문서에서 사용하는 조항들을 좀더 쉽게 분류할 수 있는 AI 모델을 만들 수 있도록 새로운 분류 기술을 발표했다. 이 기술은 프로젝트 디베이터의 딥러닝 기반 분류 기술을 기반으로 수백 개의 샘플만을 학습해 새로운 조항과 문구를 빠르고 쉽게 구분하고 분류할 수 있다. 올해 말 ‘IBM 왓슨 디스커버리(Watson Discovery)’에 추가될 예정이다.
▶요약(Summarization): 이 기술은 다양한 출처로부터 문자 데이터를 가져와 특정 주제에 관한 말과 글을 요약해 사용자에게 제공한다. 올해 그래미 시상식에서 이 기술의 초기 버전을 활용해 1,800만개가 넘는 기사, 블로그 및 약력을 분석해 수백 명의 그래미 아티스트 및 유명 인사에 대한 간단한 정보를 제공했다.
이 데이터는 그래픽 시상식 홈페이지의 레드 카펫 라이브 스트림, 주문형 비디오 및 사진에 녹여져 팬들에게 그날 밤의 주요 주제에 대한 심층적인 정보를 제공하는데 활용됐다. 이 기술 또한 올해 말에 ‘IBM 왓슨 내추럴 랭기지 언더스탠딩’에 통합된다.
▶클러스터링–어드밴스드 토픽 클러스터링(Advanced Topic Clustering): 프로젝트 디베이터에서 얻은 인사이트로부터 탄생한 새로운 토픽 클러스터링 기술은 사용자가 수집한 데이터를 클러스터링 함으로써 관련 정보의 유의미한 ‘토픽’을 생성하고 분석할 수 있도록 하는데 중점을 두고 있다.
올해 후반에 ‘IBM 왓슨 디스커버리’에 통합될 이 기술은 분야별 전문가가 특정 비즈니스 또는 업종 이를테면 보험, 의료, 제조 분야의 언어를 반영하도록 토픽을 맞춤화하고 정밀하게 튜닝할 수 있도록 해준다.
◆컴퓨터가 인간의 언어를 더 빠르고 정확하게 학습, 분석, 이해하는 기술 개발 = IBM은 오래 전부터 컴퓨터 시스템이 정서, 방언, 억양 등 인간의 언어를 더 빠르고 정확하게 학습, 분석, 이해하게 해주는 기술을 개발하면서 자연어 처리 분야를 선도해 왔다.
IBM은 주로 IBM 리서치 연구소에서 개발한 자연어 처리 기술을 IBM 왓슨 제품을 통해 상용화하고 있다. ▲문서 해독을 위한 ‘IBM 왓슨 디스커버리(Watson Discovery)’, ▲가상 에이전트인 ‘IBM 왓슨 어시스턴트(Watson Assistant)’, ▲고급 정서 분석용 ‘IBM 왓슨 내추럴 랭귀지 언더스탠딩(Watson Natural Language Understanding)’ 등이 대표적이다.
이런 자연어 처리 기술 활용의 한 예로 미국 스포츠 전문 케이블 TV 방송국인 ESPN의 판타지 풋볼(Fantasy Football)은 ‘IBM 왓슨 디스커버리’와 ‘IBM 왓슨 날리지 스튜디오(Watson Knowledge Studio)’로 매일 수백만 가지의 풋볼 데이터 출처들을 분석해 수십만 명에 달하는 판타지 풋볼 리그(Fantasy Football League) 회원들에게 실시간으로 선수에 관한 깊이 있는 정보를 제공한다. 판타지 풋볼은 실제 데이터를 활용해 팬들이 구단 운영 시뮬레이션을 해보는 게임이다.
IBM 왓슨은 잘 알려지지 않은 뒷이야기부터 선수들의 부상 분석 등 모든 내용에 대한 뉴스 기사, 블로그, 포럼, 순위, 예측, 팟캐스트 및 트위터의 어조와 정서를 분석한다.
ESPN 판타지 풋볼은 이러한 정보를 선수 카드에 표시해 각 선수들의 인기 급상승 잠재력을 예측하고, 선수에 대한 긍정적 또는 부정적 논평을 요약한 ‘플레이어 버즈(Player Buzz)’ 사이트에 정보를 제공한다.
