Vision Pack - Food Detection

 

소개

Vision Pack - Food Detection (VPF, 식품인식) 서비스는 냉장고 내부에 있는 식품들을 인식하고 인식한 데이터를 활용할 수 있도록 변환합니다.

VPF 서비스는 냉장고의 DID (Door-in-Door)와 야채칸에 설치된 카메라들이 찍은 이미지 데이터를 입력값으로 사용합니다. 영상인식 기술을 이용해 입력값인 이미지 데이터에서 식품을 인식하고 데이터를 수집하여 냉장고 안에 있는 식품의 종류, 식품명, 식품의 위치 등을 사용자에게 제공합니다. 예를 들어, DID에 콜라가 있다면 사용자에게 콜라의 위치를 알려주고, 사용자가 야채 칸에 사과를 넣으면 야채 칸에 사과가 추가되었다고 알려줍니다.

또한, VPF 서비스는 맞춤 학습 기능을 이용해 이 서비스가 인식한 식품을 고객의 식품으로 등록, 수정, 삭제 및 확인할 수 있습니다. 냉장고에 식품이 추가되면 VPF 서비스는 해당 식품을 인식한 후 식품과 관련된 태그를 부여합니다. 사용자는 VPF 서비스가 식품에 부여한 태그를 수정할 수 있으며, 동시에 이 서비스는 사용자가 수정한 태그의 식품을 개별 학습합니다. 이후 학습한 식품과 유사한 식품이 냉장고에 추가되면 학습했던 사용자 태그를 해당 식품에 부여합니다. 예를 들어, 사용자가 초록색 주스를 냉장고에 넣으면 VPF 서비스는 해당 식품을 인식하고 ‘주스’ 태그를 부여합니다. 그런데, 사용자가 ‘주스’ 태그를 ‘다이어트 주스’로 수정하면 VPF 서비스는 해당 식품을 바뀐 태그로 인식합니다. 이후, 개별 학습한 식품과 유사한 식품이 냉장고에 추가되면 ‘주스’가 아닌 ‘다이어트 주스’로 태그를 부여합니다.

 

VPF 엔진 동작 과정

 

LG AI Platform에서 제공하는 VPF 서비스는 다음과 같은 특징을 가지고 있습니다.

Vision Pack 식품인식 엔진의 특징
특징 설명
다양한 식품 인식

3,000개 이상의 식품을 인식합니다.

  • DID 내부 식품: 3,200종 이상
  • 야채칸 신선 식품: 20종 이상
다양한 서비스로의 활용성

식재료 관리, 바코드 검색, 레시피 추천, 식재료 구매 연동 등 다양한 서비스로 활용할 수 있습니다.

간편한 사용

REST API를 지원하기 때문에 HTTP를 사용하여 간편하게 기능을 개발할 수 있습니다.

뛰어난 이미지 인식

최신 딥러닝 기술을 사용하여 인식 성능이 뛰어납니다.

빠른 응답 시간

인식 서비스가 최적화되어 서비스의 응답 시간이 빠릅니다.

넓은 인식 범위

DID 뿐만 아니라 야채칸에 있는 식품까지 인식합니다.

사용자 맞춤 학습

사용자가 식품의 태그를 등록/수정/삭제/확인할 수 있습니다.

 

구조

VPF 서비스는 이미지 데이터를  입력 값으로 받고 데이터를 추출하여 결과를 애플리케이션에 전달합니다.

 

VPF 엔진 아키텍처

 

활용하기

VPF 서비스는 일상생활 속에서 다양하게 활용할 수 있습니다.

 

  • 냉장고 식재료 확인 및 관리

냉장고에 있는 식재료를 확인하고 유통기한이 다가오는 식재료를 알려줍니다.

냉장고 식재료를 확인 및 관리할 수 있도록 도와주는 VPF 엔진 기능

  • 음식 조리법 추천

​냉장고에 보관된 식재료를 사용하여 만들 수 있는 조리법을 추천해줍니다.

냉장고에 보관된 식재료로 만들 수 있는 조리법을 추천해 주는 VPF 엔진 기능

  • 식재료 온라인 주문

필요한 식재료가 냉장고에 없을 경우 간편하게 온라인 주문을 할 수 있도록 도와줍니다.

냉장고 안의 식재료를 확인한 후 온라인으로 주문할 수 있도록 도와주는 VPF 엔진 기능