소상공인 마케팅 분석 지원을 위한 소셜 빅데이터 분석 엔진 개발
项目来源
项目主持人
项目受资助机构
项目编号
立项年度
立项时间
研究期限
项目级别
受资助金额
学科
学科代码
基金类别
关键词
参与者
参与机构
1)빅데이터 분석 시장 현황-최근 금융,보험,부동산,통신 등의 응용에서 고객의 요구를 추출/반영하기 위해 빅데이터 분석을 수행하는 사례가 증가하고 있으며,이와 관련한 국내 시장 규모는 2018년 기준 287억원 정도로 추산됨-현재까지 빅데이터 분석은 대기업 위주로 활용되고 있으며,자금 여력이 부족한 소상공인들은 이용하지 못하고 있는 실정임-이에 반해,소상공인을 대상으로 한 빅데이터 분석 시장은 보수적으로 가정해도 650억원을 넘을 것으로 추산되며,향후 매력적인 블루오션 시장으로 성장할 확률이 매우 높음2)자사의 솔루션 소개 및 개선 필요성-자사는 해당 시장을 선점하기 위해,2017년 창업도약 패키지 지원 사업을 통해 소상공인들도 저렴하게 활용할 수 있는 빅데이터 분석 엔 진에 대한 프로토타입 개발 완료-해당 프로토타입 시스템은 빅데이터 분석의 단가를 낮추기 위해 여러 형태의 빅데이터 중 무료로 획득 가능한 소셜 빅데이터(SNS 피드 및 블로그 리뷰 등)를 분석에 활용하며,수집된 빅데이터에 대해 형태소 분석 및 노이즈 필터링 단계를 거쳐 분석에 필요한 요약 정보를 추출하 는 형태임-그러나 현재 구현된 프로토타입 시스템은 형태소 분석 및 처리에 많은 시간이 소요되는 동시에,노이즈 필터링 과정을 통해 얻어지는 리뷰 수가 작아 분석 정확도가 저하될 수 있으며,이로부터 핫플레이스 추천이나 검색 오류 보정 등의 다양한 응용에 범용적으로 활용되기에는 한 계가 있음3)최종개발목표-본 과제에서는 기 개발된 프로토타입 시스템에서 형태소 분석의 효율성과 노이즈 필터링 단계에서의 정확도 개선을 통해 범용성 있는 소셜 빅데이터 분석 엔진을 개발하고자 함-제안하는 소셜 빅데이터 분석 엔진이 성공적으로 개발될 경우,소상공인들에게 더욱 정확한 마케팅 분석 결과를 제공할 뿐 아니라 플레이스 추천이나 검색 오류 보정 등의 다양한 응용에서도 효과적으로 활용될 수 있을 것으로 기대됨
본 과제에서는 아래와 같은 방법을 통해 빅데이터 분석의 효율성과 정확도를 개선하고 범용성을 높이고자 함1)카테고리별 형태소 분석을 통한 효율성 향상-카테고리별로 형태소 분석에 필요한 단어 사전을 분리하여 사전의 크기를 줄임으로써,사전 검색시간을 대폭 단축(맛집,호텔,관광명소 등 카테고리별로 분석을 수행할 때 자주 언급되는 단어들이 모두 다르며,각각의 영역별로 주요 의미를 가지는 단어 위주로 사전 구성)-이 경우 형용사,동사의 활용도 제한된 단어에 한해 처리되므로 효율성이 높아짐-카테고리별 주요 단어 도출은(긍정/부정 리뷰를 함께 포함한)시험 데이터(Training data set)에 대한 기계학습(Machine learning)을 통해 가능-(세부목표)제안하는 방법을 통해 500개 리뷰 처리에 소요되는 시간을 기존 1분에서 5초 이내로 단축하고자 함2)긍정적(Optimistic)노이즈 필터링을 통한 정확도 향상-기존 방법은 수집된 리뷰가 주어진 키워드와 연관이 적은 것으로 간주하고 미리 정의된 긍정표현이 포함된 소수의 리뷰만 추출한다는 측면 에서,부정적(Pessimistic)노이즈 필터링으로 간주될 수 있음-이에 반해,제안하는 방법은 역으로 수집된 리뷰가 키워드와 모두 연관이 있는 것으로 간주하고 연관성이 부족한 노이즈 패턴이 포함된 리 뷰를 추출하여 제외시키는 긍정적(Optimistic)노이즈 필터링 방법을 채택-노이즈 패턴 역시 응용분야 별로 다르게 구성되며,해당 패턴의 도출은 기계 학습을 통해 가능(예를 들어,분양,프리미엄 등의 단어는 부동산 응용에서는 주요 키워드로 처리되나,맛집/관광명소 등의 응용에서는 노이즈 패턴으로 인식될 수 있음)-(세부목표)제안하는 방법을 통해 노이즈 필터링 단계에서 연관 리뷰로 채택되는 비율을 기존 5~10%에서 30%이상으로 향상시키고자 함3)다국어 지원을 통한 사용성 향상-제안하는 방법에서는 노이즈 필터링 이후 얻어지는 연관 리뷰 및 관련 요약정보(키워드,이미지,인기지수 등)에 대한 다국어 지원을 통해 소셜 빅데이터 분석 사용층을 외국인들까지 확대하고자 함-다국어 지원을 위해 구글 번역 API를 활용할 예정이며,이 때 고유명사 번역 문제를 해결하기 위해 언어별 고유명사 사전을 별도로 구축할 예정임4)모듈화를 통한 확장성 및 범용성 지원-제안하는 분석 엔진은 카테고리별 단어사전 및 패턴사전 추가를 통해 다양한 응용으로 확장될 수 있도록 설계됨-이와 같은 모듈화 구조 기반의 확장성을 통해,다양한 분야의 소셜 빅데이터 분석에 활용될 수 있도록 범용성을 지님-분석 엔진이 범용성을 가질 경우,기존 검색 엔진의 오류를(노이즈 필터링을 통해)보완할 수 있는 차세대 검색 엔진으로 확장 가능
-제안하는 소셜 빅데이터 분석 엔진이 성공적으로 개발될 경우 빅데이터 분석 정확도가 대폭 향상될 것으로 기대되며,이를 통해 소상공인들 에게 보다 정확하고 의미 있는 마케팅 정보를 저렴한 가격에 공급할 수 있을 것으로 예측됨-현재 소상공인을 대상으로 한 빅데이터 분석 시장은 아직 경쟁상대가 없는 블루오션 시장으로 볼 수 있으며,자사는 본 엔진의 개발을 통해 관련 시장을 빠르게 선점할 수 있을 것으로 예상됨-결과적으로 제안하는 소셜 빅데이터 분석 엔진의 개발을 통해 소상공인은 보다 저렴한 가격에 마케팅 분석을 수행하여 경쟁력을 높일 수 있 고,자사는 소상공인 대상 빅데이터 분석 시장을 선점하여 이윤을 창출함으로써 성공적인 윈-윈 구조가 만들어질 수 있음-또한 제안하는 소셜 빅데이터 분석 엔진은 상호명이나 키워드만 입력하면 모든 분석 결과가 생성될 수 있도록 범용적으로 설계되었으며,이 로부터 지역 플레이스 정보를 수집하여 지역 포털을 만들거나,검색 엔진의 부정확한 결과를(노이즈 필터링을 통해)보정하는 등,다양한 응 용 분야의 활용을 통해 많은 부가가치를 창출할 수 있을 것으로 기대됨