Identifying Deformability of Unseen Objects by Leveraging Large Language Models and Robotic Interactions for Task Planning
- 주제어 (키워드) probing properties , LLMs , task planning
- 발행기관 서강대학교 일반대학원
- 지도교수 남창주
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000079534
- UCI I804:11029-000000079534
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
We consider the problem of identifying the physical properties of unseen objects through interactions between the objects and robotic manipulators. Handling unseen objects with special properties such as deformability is challenging for traditional task and motion planning approaches as they are often with the closed world assumption. Recent results in Large Language Models (LLMs) based task planning have shown the ability to reason about unseen objects. However, most studies assume the unseen objects to be rigid, overlooking their physical properties. We propose an LLM-based method for probing the physical properties of unseen deformable objects for the purpose of task planning. For a given set of object properties (e.g., foldability, bendability), our method uses robot actions to determine the properties by interacting with the objects. Based on the properties examined by the LLM and robot actions, the LLM generates a task plan for a specific domain such as object packing. In the experiment, we show that the proposed method can identify properties of deformable objects, which are further used for a bin-packing task where the properties take crucial roles to succeed.
more초록 (요약문)
본 연구는 미지의 물체의 물리적 특성을 로봇 매니퓰레이터와 상호작용을 통해 판별하는 문제를 다룬다. 전통적인 작업 및 모션 계획 방법론은 닫힌 세계 가정(closed-world assumption)에 기반하기 때문에, 변형성(deformability)과 같은 특수한 물리적 성질을 가진 미지의 물체를 다루는 데 한계가 생긴다. 최근의 대규모 언어 모델(Large Language Models; LLMs)을 기반으로 한 작업 계획 연구는 미지의 물체를 추론할 수 있는 가능성을 보여주었다. 그러나 대부분의 연구는 미지의 물체가 강체 (rigid)라 가정하고 있으며, 때문에 물체가 가질 수 있는 다양한 물리적 특성을 간과하고 있다. 본 연구는 작업 계획에 활용할 수 있는 미지의 변형 가능한 물체를 검증(probing)하는 LLM 기반 방법론을 제안한다. 먼저, 로봇이 물체와 상호작용하는 검증 동작을 통해 물체의 특성(예: 접힘성, 휨성)을 평가한다. 그리고 그 물체가 해당 특성을 보유하고 있는지 확인한다. 또한 분석된 특성을 바탕으로, LLM은 물체 포장과 같은 특정 도메인에 적합한 작업 계획을 생성한다. 실험 결과, 본 방법론은 변형 가능한 물체의 핵심 특성을 효과적으로 식별할 수 있음을 보여주었으며, 이러한 특성은 빈 패킹(bin-packing) 작업 성공에 결정적인 역할을 하였다.
more목차
1 Introduction 1
2 Related Work 4
3 Background 6
3.1 Task Planning 6
3.2 Large Language Models 8
3.2.1 Architecture 8
3.2.2 Tokenizations 8
3.2.3 Limitations 9
4 Problem Description 10
5 Method 12
5.1 Property Reasoner 12
5.1.1 Object Detection and Naming 12
5.1.2 Property Probing 16
5.2 Task Planning 18
5.2.1 Domain Generator 18
5.2.2 Instance Descriptor 21
5.2.3 Task Planner and Plan Validator 22
6 Experiments 24
6.1 Property Reasoning 26
6.2 High-Level task planning and Validation 29
6.3 Discussions 33
7 Conclusion and Future Work 35
Bibliography 36
