GIST AILAB

스마트홈 AI Agent의 자연어 명령 서비스를 위한 이미지-텍스트 연관성 추론 및 작업계획 생성 기술개발

Development of Image-Tet Similarity Inference and Task Planning Method for Natural Language Command Services of a Smart Home AI Agent

LG전자 (2024)

Abstract

[과제목표]

  • 스마트홈 AI Agent가 사용자의 자연어 명령을 받아, 해당 언어 명령과 가장 연관성이 높은 이미지를 선별하는 기술 및 명령을 세분화하여 작업의 세부계획을 생성하는 알고리즘 개발

Key Researches of GIST

  • 이미지-텍스트 연관성 추론 : 자연어 형태의 사용자 명령 입력 시, 사전에 수집된 이미지 Feature를 선별하는 Q9 내에서 작동하는 CLIP 기반 모델 개발
  • 작업 계획 생성: 자연어 명령 입력 시, 작업의 세부계획을 생성하는 LLM 기반의 서버 운용 모델 개발

Project Detail

  • 주관기관: LG전자
  • 기간: 2024.03. ~ 2024. 12. (10개월)
  • 사업비: 99,000,000원

Contact

← Projects