VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks

📄 논문 정보

“VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks” (ICCV 2025)

1. 개요

VLABench는 Vision-Language-Action(VLA) 모델과 VLM 기반 로봇 조작 workflow를 평가하기 위해 설계된, 현재까지 가장 큰 규모의 언어 조건 로봇 조작(Language-Conditioned Manipulation, LCM) 벤치마크로, 기존의 RLBench, CALVIN, LIBERO 같은 task suite는 유용하지만, 현실적인 인간–로봇 상호작용에서 요구되는 다단계 추론, 상식 기반 판단, 복잡한 자연어 처리, scene 다양성, 새로운 객체 카테고리로의 일반화 등을 충분히 측정하지 못한다.

이 한계를 극복하기 위해 VLABench는 다음과 같은 구조를 가진다.

• 100개 카테고리의 조작 작업
• 60개의 Primitive Task + 40개의 Composite Task
• 2000개 이상의 3D 객체 + 다양한 실내 환경(scene)

2. 왜 새로운 벤치마크가 필요한가?

우선 왜 새로운 벤치마크가 필요한지 이야기를 해보도록 하겠다.

① 기존 벤치마크는 템플릿 기반 명령에 의존 → 자연어의 복잡성을 반영하지 못함

기존 task는 대부분 다음과 같이 단순하다

• “Pick up the red block”
• “Open the drawer”
• “Put the apple on the plate”

이런 언어는

• 인간의 실제 발화처럼 상황적 맥락이나 감정, 암시적 요구를 반영하지 못하고
• 언어 모델의 심층적 의미 이해 능력을 전혀 테스트하지 못한다.

반면 VLABench 명령은 다음처럼 암묵적/비직접적 표현이 많다.

• “헬스장에서 한 시간 운동하고 왔더니 너무 목이 마르네. 시원한 음료 좀…”
• “잠시 후 파이썬 과제를 할 거니까 책상 좀 준비해줘.”
• “네덜란드의 국화를 꽃병에 꽂아줘.”

위의 명령을 수행하려면 아래와 같은 정보, 이해 능력이 필요하나 기존의 벤치마크는 이러한 요구를 전혀 다루지 못한다.

• 세계 지식(네덜란드 국화 = 튤립),
• 감정/상황 이해(‘목이 마르다’→ 음료),
• 작업 분해 능력(“책상 준비” → 정리 + 노트북 열기),
• 물체-행동 매핑

② 기존 벤치마크는 단일 스킬 중심 → 복합 스킬 조합 & 멀티스텝 reasoning 평가 부족

대부분의 기존 task는 다음 한 가지 스킬로 구성된다.

• 잡기(Grasp)
• 이동(Place)
• 버튼 누르기(Press)

그러나 실제 인간 지시의 상당수는 복합 스킬을 여러 단계에 걸쳐 수행해야 한다.

예시: “라떼 만들어줘”

1. 컵 잡기
2. 커피머신 위치 탐색
3. 버튼 눌러 추출
4. 우유 통에서 우유 따르기
5. 컵을 적절한 위치에 두기

즉, long-horizon planning + 하위작업 분해(subtask decomposition) + 센서 기반 물리 조작을 모두 요구한다. 기존의 RLBench나 LIBERO는 이런 복합적 추론을 측정할 만한 구조가 부족하다. VLABench는 이러한 멀티스텝 reasoning을 필수적으로 요구하는 Composite Task를 포함하여 기존의 한계를 해결한다.

③ 상식(common sense)과 세계 지식(world knowledge)을 요구하는 task 부재

예시: “갈증 났으니 차가운 음료를 가져와줘.”

이 명령을 수행하기 위해서는 아래의 내용이 필요하다.

• “운동 후 → 갈증 → 시원한 음료”라는 상식
• 음료가 냉장고 안에 있을 확률이 높다는 맥락
• 음료병을 집는 스킬
• 컵과 음료를 구분할 수 있는 시각 능력

기존 벤치마크는 상식을 요구하지 않는다. VLABench는 이를 task 요구사항의 핵심 요소로 명시적으로 반영한 최초의 벤치마크이다.

④ 기존 일반화 평가의 한계 → VLABench는 Category-Level Unseen Generalization 제안

기존 벤치마크는 동일 카테고리 내에서의 변형만을 평가하는 instance-level generalization 중심이다.

• Train: 빨간 사과
• Test: 초록 사과

그러나 실제 환경에서 로봇은 완전히 새로운 카테고리의 객체를 마주하게 된다.

• Train: 사과, 바나나
• Test: 레몬, 키위, 딸기

이에 따라 VLABench는 보다 현실적인 일반화 성능을 평가하기 위해 다음과 같은 카테고리 기반 구성 방식을 도입한다.

• Seen categories: 사과, 바나나, 배
• Unseen categories: 레몬, 키위, 망고

이는 단순한 시각 정보 일반화가 아니라 다음과 같은 능력을 요구하게 된다.

• 언어적 의미 이해 (semantic grounding)
• 상식 기반 추론 (commonsense reasoning)
• 카테고리별 물리적 속성 및 affordance 이해

⑤ 기존 환경의 시각적 다양성 부족 → VLABench는 대규모·고다양성 객체 및 Scene 제공

기존 task suite 환경은 다음과 같은 한계를 가진다.

• 제한된 객체 수와 단조로운 형태
• Mesh 및 텍스처 다양성 부족
• Scene randomization 부족
• Distractor object의 부재로 인한 낮은 난이도

이는 모델이 특정 객체·장면에 과적합(overfitting) 되기 쉬운 구조이다.

VLABench는 이러한 문제를 해결하기 위해 다음과 같은 환경 설계를 제공한다.

• 2,000개 이상 고품질 3D object library
• 다양한 texture, geometry, background, lighting 설정
• Multiple camera 기반 시점 다양화
• Distractor objects의 비정형 배치

이를 통해 보다 사실적이고 복잡한 환경을 구성하여 일반화 가능한 시각·언어·행동 지능 평가가 가능해진다.

Table 1: Comparison of Popular Benchmarks in Robot Learning

3. VLABench의 구성

VLABench는 인간 수준의 언어·지식·행동 기반 인공 일반지능(Embodied AGI)을 목표로 하며, 총 100개의 조작 작업(Task Suite) 로 구성된다. 모든 task는 시뮬레이션 환경에서 자연어로 명령이 주어지며, 모델은 언어 이해, 시각 인식, 행동 계획을 통합적으로 수행해야 한다.

✔ 3.1 Primitive Tasks (총 60개)

Primitive task는 단일 핵심 능력 요소(capability primitive) 를 직접적으로 평가하도록 설계된 기본 작업 집합이다. 각 task는 높은 해석 가능성을 가지고 있으며, 특정 하위 능력의 실패 원인을 명확히 파악할 수 있도록 구성되었다.

Primitive task가 평가하는 주요 능력 요소는 다음과 같다.

능력 요소	설명
Mesh Recognition	동일한 texture라도 geometry 차이를 구분
Texture Recognition	geometry가 동일해도 시각적 texture 기반 식별
Spatial Understanding	위치 관계, 방향성, 상대적 배치 이해
Semantic Understanding	언어적 의미와 객체 mapping
Physical Reasoning	무게, 부력, 적재 가능성, 안정성 등 물리적 특성 이해
Common Sense	인간 생활 기반의 기본 상식적 판단 포함

예시:

• “Pick up the metallic cup, not the paper one.”
• “Place the banana above the plate, not under the desk.”

목적: 분리된 능력(component-wise skill) 의 정량적 평가 및 diagnostic 목적.

✔ 3.2 Composite Tasks (총 40개)

Composite task는 인간 의도, 상황 추론, 장기 계획(long-horizon) 과 같은 고차원 지능 능력을 평가한다. 복수의 primitive skill을 자연스럽게 결합해야 하며, 추론(reasoning) 깊이가 높은 시나리오 중심 설계를 가진다.

Composite task 특징은 다음과 같다.

• 언어적 맥락(context) 및 숨은 의도(implicit intent) 를 이해해야 함
• 단일 행동이 아닌 다단계 시퀀스(action sequence) 수행 필요
• 상황/환경 기반 조건부 계획(conditional execution) 요구
• 명시되지 않은 대상/도구를 추론적으로 선택해야 함

예시:

• “친구가 곧 올 예정이니 테이블을 정리하고, 꽃병을 중앙에 두고, 깨끗한 컵에 물을 채워 준비해줘.”
• “운동하고 와서 너무 더우니, 시원한 음료를 하나 가져다줘.”

즉, Composite task는 다음 능력을 복합적으로 평가한다.

• 고수준 자연어 추론
• 과제 분해(Task decomposition)
• 실행 순서 결정(Planning)
• 중간 목표 설정(Subgoal inference)
• 선택적 행동 전략(Adaptive reasoning)

목적: Human-level embodied reasoning & planning 의 실질적인 평가.

4. 평가 방식 (Benchmark Protocol)

4.1 평가 대상 시스템 그룹

VLABench는 단일 모델 형태에 국한되지 않으며, 다양한 형태의 embodied AI architecture 를 비교 평가하기 위해 다음 3가지 그룹을 정의한다.

그룹	포함 모델	평가 목적
VLA	OpenVLA, RDT 등	End-to-end 능력 평가
VLM-based Workflow	VoxPoser, CoPa 등	Modular pipeline 기반 planning quality
Pure VLM	GPT-4o, Qwen2-VL 등	환경에 직접 작동 불가 시 reasoning capability 평가

즉, 실행 가능한 로봇 모델뿐 아니라, 언어기반 계획 및 추론 능력 자체도 독립 평가한다.

4.2 Generalization 평가 설계

VLABench는 기존 Instance-level generalization을 넘어서, Semantic Category-level Generalization 을 핵심 평가 목표로 한다.

기존 벤치마크	VLABench
색상/크기 차이 수준 generalization	완전히 새로운 범주(category) 등장
Apple (Train) → Green Apple (Test)	Apple, Banana (Train) → Lemon, Kiwi (Test)
Vision-based domain generalization	Vision + Language + World Knowledge

이 방식은 Semantic Transfer 를 평가하며 다음 요소를 필요로 한다.

• 미학적/재료적 특징 유추
• 언어적 범주 계층(structural taxonomy) 이해
• 유사 affordance 기반 행동 계획

즉,

“본 적은 없지만, 해당 그룹에 속한다는 의미론적 추론을 통한 행동 계획 가능성” 을 평가한다.

4.3 새로운 Metric – Progress Score (PS)

성공/실패(binary) 기반 기존 metric은 장기 계획(long-horizon) 과 복합 reasoning task 를 평가하기에 불충분하다. 이를 해결하기 위해 VLABench는 Progress Score (PS) 라는 연속형 partial-credit metric 을 도입하였다.

PS가 고려하는 구성 요소

요소	설명
Completion Accuracy	목표 객체 및 리셉터클의 정확도
Action Progress	전체 plan 중 어느 단계까지 도달했는지
Subgoal Achievement	중간 단계 성공 여부 검증
Error Severity	실패 위치 및 실패 패턴을 차등 반영

공식적 표현 개념

PS는 다음의 가중 조합으로 계산된다.

PS = (Object Accuracy) × α + (Action Progress) × (1 − α)

단,

• α는 task 성격별 weight parameter (e.g., 0.5 ~ 0.7 사이 tunable)
• Object Accuracy는 target-object grounding 정확도
• Action Progress는 sub-step coverage 비율

예시

단계	행동	PS 증가
Step 1	올바른 물체 인식	+0.2
Step 2	올바른 grasp	+0.2
Step 3	운반 및 위치 이동	+0.2
Step 4	리셉터클에 정확히 배치	+0.4

정확히 완료하지 못해도, 얼마나 정답에 근접했는지가 정량적으로 반영된다.

이 metric은 long-horizon learning curve 비교, partial reinforcement feedback 연구, skill transfer 분석에 직접 활용 가능하다.