딥러닝을 활용한 패션 유사 상품 추천 서비스 (1) 기획

딥러닝을 활용한 패션 유사 상품 추천 서비스 (1) 기획

프로젝트 개요

본 프로젝트는 사용자가 직접 의류를 촬영하거나, 의류의 이미지로 검색하여 비슷한 상품을 추천하고 관련 쇼핑몰로 연계해주는 시스템을 개발하고자 한다. 디지털 이미지의 사용이 기하급수적으로 증가함에 따라, 텍스트에 의한 이미지 검색 방법이 한계에 이르게 되었다. 텍스트 검색은 키워드 기반 검색으로 가격, 브랜드, 색상 등과 같은 정형화된 속성만을 분류하여 찾을 수 있다. 시각적인 요소가 중요한 패션 분야에서는 텍스트 검색을 통해 찾은 결과가 사용자가 검색하려는 의도에 충족시키지 못한다. 텍스트 검색의 한계점을 보완하고자, 각 분야에서는 쉽게 제품 검색을 할 수 있도록 이미지 검색 기능과 유사한 이미지를 추천해주는 시스템을 개발하고 있다.

이를 위해 효과적으로 구축하기 위해서 딥러닝 기반의 컨볼루션 신경망(CNN; Convolutional Neural Network) 기술을 적용해 주어진 이미지 안에서 상품에 해당하는 영역을 자동으로 인식하고, 그 영역에서 검색에 필요한 각각의 요소(색상, 모양, 패턴)를 추출해 분류 과정을 거치고, 클러스터링 기법을 통해 가장 유사한 이미지 군을 추천하는 시스템을 개발한다.

프로젝트 목표

머신러닝 기술을 활용한 사용자 기반의 의류 사진 분석 및 추천 서비스

내용 기반의 이미지 검색(CBIR)으로 검색방법을 대체함으로써, 검색의 정확도를 높이는 것을 목적으로 한다.

프로젝트 필요성

스마트폰 보급 확대와 네트워크 환경 발달은 이미지와 영상 데이터의 급속한 증가로 이어 지고 있으며, 모바일 기기를 통한 영상 정보의 검색도 증가하고 있다. 페이스북에는 매일 300백만장의 사진이 업로드 되고 있으며, 유튜브 에는 한 사람이 1,700년동안 시청해야 다 볼 수 있는 비디오가 업로드 되어있다. 모바일 데이터의 트래픽 증가율은 연평균 66% 에 달하며, 이 중 스마트폰은 67.5%를 차지하고, 2017년에는 전체 세계 모바일 트래픽에 93% 를 차지할 것으로 전망된다. 검색의 어려움을 측정하는 평균 검색어 수가 지속적으로 증가하고 있으며, 좀 더 편리하고 정확한 검색 방법에 대한 수요가 증가하고 있다. 특히 이미지 기반의 정보검색은 사용자가 명칭이 나 키워드를 모를 경우 사용자의 편의성을 만 족시킬 수 있어 그 효과가 크다. 이에 따라, 세계 각국의 IT 기업들 은 이미지 기반 정보 검색기술을 차세대 성장산업으로 보고, 기술 및 서비스개발을 하고 있으며, 특히, 모바일 환경 에 적합한 모바일 비주얼 검색 기술에 집중하고 있다. 구글의 ‘Goggles’, 아마존의 ‘Flow’, 마이크로 소프트의 ‘Bing Vision’, 퀄컴의 ‘Vuforia’ 등의 서비스가 출시되었다. 모바일 비주얼 검색 기술은 의류제품을 검색할 경우 그 어떤 다른 제품들보다 활용 가치 가 높다. 소비자들은 원하는 제품을 검색하고자 할 때 제품번호, 제품명, 브랜드명 등에 대 해 정확한 키워드 자체를 모르면 검색의 한계를 느끼게 된다(Lee, 2013). 이러한 한계점을 극복하기 위하여 기존의 키워드 기반 검색에서 문자나 키워드를 입력하는 대신 검색하고 자 하는 이미지와 유사한 이미지 또는 이미지에 대한 정보 즉 색상, 디자인, 질감, 공간 관 계 등을 제시하고 질의 자료 와 유사한 이미지들을 순서대로 찾아내는 시스템이 제시되었 는데 이를 영상 기반 이미지 검색 시스템이라 한다. 최근 소비자를 대상으로 조사한 결과 에 따르면 디지털 소비자들이 향후 오프라인 구매는 5% 증가할 것이 이라고 답한 것에 비해, 온라인 구매는 32% 정도 확대할 예정이라고 응답하였다(Bain, 2013). 구매 의사를 가 진 소비자들의 대부분이 특정 브랜드나 온라인 매장을 정하지 않은 상태에서 온라인으로 유입되고 있기 때문에 모바일에서 검색엔진 최적화나 검색엔진 마케팅은 앞으로 더욱 중 요해질 것으로 예상된다(Lee et al., 2014). 이러 한 추세에 발맞추어 의류산업 분야에서 영 상정보를 보다 쉽고 빠르게 검색할 수 있는 비주얼 의류 검색 기술의 개발은 매우 시급한 실정이라 할 수 있다. 비주얼 검색 기술에 대해 현재까지 발표된 선행연구들은 Lee et al.(2014)의 ‘모바일 비주얼 검색’, Mo(2010)의 ‘의미 기반 비주얼 이미지 검색 시스템 구축 에 관 한 연구’, Kim(2009)의 ‘상용 학술 데이터 베이스의 텍스트 기반 검색과 비주얼 검색 의 사용성에 관한 연구’ 등이 있을 뿐이며, 더구나 의류제품 분야와 연관된 비주얼 검색에 관한 연구는 전무한 실정이다. 이러한 상황에서 Lee et al.(2014)의 ‘모바일 비주얼 검색:기 술과 표준화 동향’은 이미지 검색 기술의 기술적인 제약에서 벗어나 시스템의 실용화를 실현하는데 있어 서 대단히 중요하고 획기적인 연구로 평가할 수 있다. 그러나 의류산업 분야의 입장에서 모바일 마케팅을 염두에 두고 의류 제품의 속성과 특성 등까지 고려한 연구는 아니다. 따라서 본 프로젝트에서는 의류산업에서 활용이 가능한 비주얼 의류 검색 시스템을 개발하고자 한다. 착장 상태를 모바일로 촬영하여 의류의 종류와 가격, 판매처, 이미지 등을 효율적으로 검색할 수 있게 함으로써 사용자의 편의성을 증대시키고, 의류의 비주얼 검색 표준화를 제공할 수 있다.

1. 텍스트 검색은 원하는 이미지의 특징을 한 두개의 단어로는 정의를 내릴 수 없다는 어려움이 있다.

2. 스마트폰을 이용하여 간편하게 쇼핑을 하고자 하는 사용자 증가

3. 언제, 어디서나 마음에 드는 상품을 애플리케이션의 사진 검색을 통해 구매가 가능하다.

4. 비교 분석할 때에 사람이 간과할 수 있는 내용에 대해서 머신러닝을 통해 객관적으로 잡아낸다.

프로젝트 유사 사례

관련 프로젝트와 유사 사례의 회사로는 Visenze, 타오바오, 스타일 닷컴, 스타일 루프, 메뚜기눈, 루키 등이 있다.

1) Visenze

소비자가 패션 의류가 있는 사진을 업로드하고 시각적으로 비슷한 상품을 추천한다. 이미지를 인식해 관련 제품 태그를 자동으로 추가한다.

- 목적: easy browsing and navigation

- 분류 특징: color, shape, pattern

- 기계학습: CNN

- 사용 데이터: 아마존

- 서비스: App, Develop SDK

2) 타오바오(Taobao)

중국 전자상거래 업체 알리바바 그룹의 대표 서비스이다.

- 목적: 사용자가 찾고자하는 상품의 키워드를 알지 못할 경우 이미지로 제품 검색 - 분류 특징: style, shape, patterns, material

- 기계학습: CNN

- 사용 데이터: 알리바바 자체 데이터베이스

- 서비스: Android App

3) 메뚜기눈

인공지능 이미지 인식 소프트웨어로 2016년 국내에 진출하였다. 인공지능 기술인 딥 러닝(Deep Learning)의 CNN을 기반으로 고성능 이미지와 비디오 검색 기술을 공급하 고 있다.

- 기계학습: CNN

- 서비스: 모바일 인식(모바일 카메라에 촬영된 제품을 자동으로 인식, 유사한 제품 추 천), 로고 인식(브랜드, 상표 검색), 얼굴 감지 및 인식, 전자상거래용 유사제품 추천 서 비스(Similar4)

4) 루키(Lookeey)

이미지 검색 및 비주얼 쇼핑 서비스이다. 모바일 및 데스크탑에서 이미지 인식 기술을 사용하여 기존 제품 이미지에서 CBIR 이미지 검색 엔진 기술을 이용한다.

-분류 특징: color, shape, pattern

5) 스타일루프(styloop)

옴니어스의 인공지능 패션 검색 서비스이다. - 목적: 빠르고 비슷한 상품을 검색

- 분류 특징: color, shape, pattern

- 사용데이터: 소셜미디어, 쇼핑몰

- 서비스: iOS App

프로젝트 시나리오

프로젝트 요소 기술

1. 웹 크롤링

- 수집할 데이터 : 인터넷 쇼핑몰의 의류 사진, 브랜드 상점 홈페이지의 의류 사진, SNS의 해시태그의 이미지, 아마존 사이트의 의류 이미지

2. 데이터 셋 제작

- 라벨링 기준 : 상의, 하의 - 색상(color), 질감(fabric), 모양(shape), 패턴(texture)

3. 딥러닝 CNN

CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다 계층 퍼셉트론의 한 종류이다. CNN은 하나 또 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합계층(pooling layer)들을 추가로 활용한다.

4. Android Application

A. 초기 화면 : 사용자가 로그인을 진행한다. Google API를 이용해 LoginButton을 생성한다. 로그인에 성공 시에 SharedReference(환경 설정)에 사용자의 정보를 저장한다.

B. 메인 화면 : 사용자가 앨범(Gallery)에서 이미지를 찾거나, 직접 사진 을 촬영(Photo)을 한다. 이후 사용자가 이미지에서 직접 사각형 모양 으로 의류의 영역을 지정한다. 최종으로 ImageView에 설정된 사진 이 보여진다. Submit 버튼을 통해 서버로 전송되며, Progress-bar를 통해 로딩 중임을 사용자에게 알린다. 추가로 Sliding-Menu를 통해 사이드 메뉴를 열어 볼 수 있다.

C. 전체 결과 화면 : 서버에서 받아온 결과값(Top20)을 이미지와 텍스트 로 보여준다. 이미지를 클릭하면 상세 확대된다. ScrollView를 통해 스크롤을 내릴 수 있다.

D. 상세결과화면:전체결과화면에서이미지를클릭하여상세확대 된 모습이다. 하트 버튼을 통해 검색 기록을 남길 수 있다. 버튼을 누르면 빨간 하트 버튼 이미지로 변경되며, 지금 목록을 SharedReference에 저장한다. 분류된 태그와 쇼핑몰, 가격, 상품명을 확인할 수 있다. 이동 버튼을 통해 해당 쇼핑몰로 이동할 수 있다.

E. 검색 기록 화면 : 사용자가 좋아한 목록을 ListView를 통해 목록으로 제공한다. 이미지를 클릭하면 상세 확대한다. ScrollView를 통해 스크 롤을 움직일 수 있다.

5. DataBase

A. 웹 크롤링 : 인터넷 쇼핑몰에서 판매하는 의류 상품의 상품명, 가격, 상품 이미지, 상품 판매 URL을 크롤링 하여 DB에 저장한다. Python의 BeautifulSoup과 Scrapy 를 이용하여 구현한다. 웹 서버(Linux OS)에 Daemon을 생성하여 업데이트 시간 (주기)을 설정해 크롤링 하는 Python 프로그램을 실행하여 자동적으로 업데이트 되게 한다.

B. DB 구성 : Mysql을 사용한다.

프로젝트 시스템 구조

사용자가 APP 을 통해 이미지를 Server 에 전송한다. Server 는 이 이미지를 CNN 의 Input 으로 이용한다. CNN 의 output 으로 나온 정보를 토대로 DB 에서 이와 유사한 이미지를 검색한다. 유사한 이미지들의 상품명, 상품가격, 상품 이미지의 정보를 APP 으로 전송하여 이를 결과 화면에 출력한다.