[스크랩] [인터뷰]텍스트 마이닝 전문가 카나야마 히로시 박사 ;; AIDA

2012/09/28

AIDA 모델이라고 들어보신 적이 있으신가요? AIDA 모델은 마케팅에서 이야기 하는 소비자 행동에 관해 절대적으로 지지를 받아왔던 이론 중 하나로서 소비자가 실제 구매를 하기 위한 단계를 주의(Attention), 흥미(Interesting), 욕구(Desire), 구매(Action) 4가지로 본다는 내용입니다. AIDA 모델은 현재도 많은 회사의 마케팅 전략의 기반이 되고 있는데요. 마치 깔때기(Funnel) 모양같다고도 해서 깔때기 이론이라고도 합니다.

하지만, 이 절대적인 이론이 처음 만들어 진 것은 1961년도였고 당시는 컬러 TV가 보급되기 시작, 채널도 2~3개에 불과했고 인터넷은 존재하지도 않았던 때입니다. 권력자들은 언론을 통제하여 사람들의 생각을 지배할 수 있다 믿었으며 사람들은 광고 속의 제품에 즉각 반응했었습니다.

요즘은 어떤가요? 사고 싶은 물건이 있으면 매장 보다는 인터넷 검색을 통해 제품을 비교하고, 제품 설명서보다 더 자세하고 구체적인 블로그 리뷰를 우선 검토하고, 광고 보다는 SNS 를 타고 공유되는 대박상품들에 더 솔깃합니다. 소비자들은 정보의 주체로 우뚝 섰고 소비자들간의 의견은 힘을 갖게 되었습니다. 2012년의 AIDA 는 과연 그 의미를 찾을 수 있을까요? 물론 방법은 있습니다. 바로 소비자의 마음을 읽는 것인데요. 기업이 보유하고 있는 고객 거래 데이터, 조사 기관에 의해 수집된 설문 결과나 인터뷰로는 파악하기 어려운 소비자들의 “진짜 목소리” 를 들을 수만 있다면 고객이 원하는 정보를 고객이 원하는 때에 고객이 원하는 채널을 통해 전달할 수 있을 것입니다.

 

이를 위해 IBM은 기업에 자세한 정보, 동향 파악 및 감지하기 어려운 통찰력을 제공하여 문제점 해결을 돕고, 상황에 기반한 의사 결정을 지원하는 TAKMI(Text Analysis & Knowledge Mining)를 개발했습니다. 기존의 분석 솔루션과 TAKMI 가 가장 다른 점은 정형화되지 않은 비 정형 데이터 (우리가 주위에서 쉽게 볼 수 있는 소셜 미디어 상의 트윗이나 페이스북의 담벼락 게시물과 같은 텍스트를 의미)를 매우 빠른 속도로 분석하고 그 안에서 규칙/패턴을 발견, 실제 “실행 가능한 정보” 를 찾아낼 수 있도록 돕는다는 것인데요. 오늘은 바로, 이 TAKMI 솔루션 개발에 참여한 IBM Research 동경기초연구소의 카나야마 히로시(金山 博) 박사님을 통해 텍스트 마이닝의 흥미 진진한 세계를 들여다 보려고 합니다.

 

Q. 우선 간단한 본인 소개를 부탁드려도 될까요?
A. 대학에서는 컴퓨터 공학의 한 파트인 “자연어 처리 (Natural Language Process)”를 전공했습니다. IBM에 입사한 2000년 초반에는 룰/지식 기반의 일본어 구문 분석 (Syntactic Analysis) 엔진 및 일본어-영어 번역 엔진 개발에 많은 시간을 투자했습니다. 2004년 부터는 단순한 형태론적인 구문 분석을 넘어 해당 문장이 의미하는 속뜻을 파악할 수 있게 하는 성향분석(Sentiment Analysis) 및 요구분석(Demand Analysis)를 다루었구요. 이런 기술들은 작년에 세상에 선보인 수퍼 컴퓨터 Watson 의 Deep QA 솔루션에도 활용이 되었습니다. 현재도 IBM Japan Research 에서 팀들과 함께 텍스트 마이닝(Text Mining)과 관련된 업무에 참여 중입니다.

Q. 듣기로는 모국어인 일본어 외에도 영어, 한국어, 불어, 독어 등 언어에 대해 많은 관심을 갖고 있다고 들었습니다. 공학이 전공인데 ‘언어’에 특별한 관심을 갖게 된 계기가 있었나요?
A. 말했다 시피 나는 컴퓨터 공학을 전공했습니다. 평소 인간의 삶에 보다 밀접한 응용과학의 접목이라는 측면에서 관심이 많았던 나에게 “언어” 와 “공학”의 만남은 매우 흥미로운 소재였습니다. 특히 언어에서도 단순한 대화보다 문법에 많은 관심이 있었고 인간의 언어를 컴퓨터 공학으로 풀어낼 수 있을 거라는 기대가 있었습니다. 또한 그 결과는 매우 실용적으로 많은 부분에 도움을 줄 수 있을 것이라고 생각했습니다.

Q. 텍스트 마이닝이 일반인들에게는 좀 생소할 수 있는데요. 쉽게 설명을 하자면?
A. 엄청난 양의 텍스트의 묶음에서 실제 적용 가능한 지식을 추출하는 일입니다. 특히 내가 하는 일은 어떤 특정한 주제에 대한 성향이나 의견을 찾아내는 일이지요. 마치 장대한 산속에서 금을 찾는 것과 같은 일입니다. IBM의 텍스트 마이닝이 가장 특별한 특징을 갖는 것이 바로 이 부분이기도 합니다. 다른 회사들의 솔루션 경우 결과에 대해서 이러하다/저러하다라는 사실만을 그래픽으로 드러내는 것에 치중하지만 IBM은 실행 가능한 정보(Actionable Knowledge)를 제공합니다. 이를 기반으로 보다 고객 중심의 의사결정이 가능하게 하거나 마케팅의 효과를 높여줄 수 있을 것입니다.

Q. 텍스트 마이닝과 성향 분석(Sentiment Analysis)은 어떤 차이가 있는지요?
A. 성향분석은 텍스트 마이닝의 매우 중요한 한 분야이자 텍스트 마이닝의 실용적인 활용방법입니다. 성향분석을 적용하게 되면 우리는 사람들이 무엇을 좋아하는 지 싫어하는 지, 그리고 무엇을 원하는 지…. 사람들의 진짜 생각, 의견을 찾아낼 수 있습니다. 성향 분석의 핵심은 분류(Organize)로 사람들이 일상적으로 적는 메모나 글, 대화 들을 문장의 구조(Context)를 감안하여 유의미한 내용으로 구분하는 것입니다.. 이는 검색 엔진의 인덱싱(Index)보다는 더 진보된 개념으로 가령 Good이라는 단어가 좋다는 것을 의미하는 성향을 드러내기는 하지만 Goods 는 상품이라는 뜻의 단어로 즉, 단어의 의미를 문장의 구조 내에서 파악하고 그것이 어떤 성향을 가진 단어로 쓰이는 지에 대한 논리적 구조를 부여하는 작업을 합니다.

Q. 2011년 인간과 퀴즈 대결을 한 왓슨(Watson) 의 Deep QA 프로젝트에도 참여한 것으로 알고 있습니다. 어떤 일들을 주로 하셨는지요?
A. 왓슨 프로젝트는 퀴즈 대결이 열린 미국은 물론 일본, 중국, 이스라엘 4개국의 연구팀들이 참여한 프로젝트입니다. 2008년부터 시작 각 연구소의 담당자들은 각자의 전문 분야의 기술을 적용하여 왓슨이 좀 더 정확한 답을 찾아낼 수 있는 노력을 기울여 왔습니다. 특히 전체적인 문맥상 의미를 파악해 내는 “의미해석 (Semantic analysis)”은 왓슨이 좀 더 인간에 가까운 인지, 사고를 할 수 있도록 돕는 핵심기술입니다. 가령 백과사전의 방대한 텍스트에서 유의미한 의미를 가진 단어를 찾아내는 일입니다. (e.g. Busan is a city) 이는 기존의 분석작업에 보다 유의미한 가치를 더 하는 작업으로 분석결과를 기반으로 얻어진 인사이트를 실제에 어떻게 반영하느냐는 부분입니다.

소통의 시대. 대화는 넘쳐나지만 듣고 싶은 말만 듣고 있는 우리는 진짜 상대방이 원하는 것이 무엇인지는 모르는 것 같습니다. 정보과학의 발전이 기계 문명의 번성이 아닌 인간 세상의 관계를 더 가깝게, 더 따뜻하게 만들 수 있다면 세상은 더 똑똑해 지지 않을까요.

출처: http://smarter.chosunpedia.com/?no=528343&now_tab=2