Human Action Understanding

 

소개

Human Action Understanding (HAU, 행동 이해 기술) 엔진은 단일 카메라 영상 이미지를 분석하여 사람의 자세에 대한 정보를 제공합니다.

HAU 엔진은 사람의 머리, 골반, 손목, 발목 등에 미리 정의한 특정 지점들의 위치 데이터를 2D 이미지 상에서 검출한 뒤, 이 데이터를 CCS (Camera Coordinate System)를 통해 해당 지점들의 3D 좌표로 변환하여 사람의 움직임 정보를 알 수 있게 합니다.

 

LG AI Platform에서 제공하는 HAU 엔진은 다음과 같은 특징을 가지고 있습니다.

DSM 엔진의 특징
특징 설명
움직이는 사용자 위치 데이터 추적

실시간으로 영상 내 움직이는 사용자 몸의 표면과 관절들의 위치 데이터를 추적합니다.

사용자 자세정보 분석

사용자 몸에 미리 정의된 2D 특정 지점들의 위치 데이터를 활용하여, 2D/3D 관절과 표면 좌표 정보를 도출해 사용자의 자세 정보를 알 수 있게 합니다.

GPU 사용 환경 권장

3D 데이터들은 높은 fps가 요구되기 때문에 GPU 사용 환경을 권장합니다.

 

엔진 구조

HAU 엔진은 카메라를 통한 영상 이미지나 저장 매체에 저장된 파일 기반의 영상 이미지 데이터를 입력 받아서 분석 및 검출하여 해당 결과를 application에 전달하는 구조로 되어 있습니다.

입력 데이터로 영상 이미지 외에 configuration 등의 설정 정보를 받아 이미지 분석에 이용할 수 있습니다.

HAU 엔진구조

활용하기

HAU 엔진은 영상 기반의 서비스가 필요한 분야에서 사용됩니다.

 

  • VR 및 AR

가상 환경에서 사용자의 모션을 인식하고 움직임을 표현할 수 있습니다. 

The example image for VR/AR.

  • 헬스케어

사용자 모션인식을 통해 자세교정 치료에 도움을 줄 수 있습니다.

The example image for healthcare.

  • 차량 자율주행

모션인식을 통해 보행자의 행동을 판단하고 예측하는데 활용됩니다.

The example image for autonomous driving.