스마트홈 AI Agent의 자연어 명령 서비스를 위한 이미지-텍스트 연관성 추론 및 작업계획 생성 기술개발
Development of Image-Tet Similarity Inference and Task Planning Method for Natural Language Command Services of a Smart Home AI Agent
LG전자 (2024)
Abstract
[과제목표]
- 스마트홈 AI Agent가 사용자의 자연어 명령을 받아, 해당 언어 명령과 가장 연관성이 높은 이미지를 선별하는 기술 및 명령을 세분화하여 작업의 세부계획을 생성하는 알고리즘 개발
Key Researches of GIST
- 이미지-텍스트 연관성 추론 : 자연어 형태의 사용자 명령 입력 시, 사전에 수집된 이미지 Feature를 선별하는 Q9 내에서 작동하는 CLIP 기반 모델 개발
- 작업 계획 생성: 자연어 명령 입력 시, 작업의 세부계획을 생성하는 LLM 기반의 서버 운용 모델 개발

Project Detail
- 주관기관: LG전자
- 기간: 2024.03. ~ 2024. 12. (10개월)
- 사업비: 99,000,000원
Contact
- 이름 : 고민환 박사과정
- 메일 : mhko1998@gm.gist.ac.kr