Code-as-World: 영상 한 편이 MuJoCo 물리 시뮬레이션 코드로 변환되는 시대가 왔다
2026년 8월 · Mirros의 에이전틱 루프가 실현한 '실행 가능한 세계 표현(EWR)' 핵심 정리
한 줄 요약: 영상을 MuJoCo 코드로 바꿔주는 AI 에이전트
캘리포니아 AI 스타트업 Mirros가 공개한 Code-as-World(코드 애즈 월드)는 실제 촬영된 영상을 MuJoCo 물리 시뮬레이션 코드로 자동 변환하는 에이전트 시스템입니다. 쉽게 말해 "공 던지는 유튜브 영상"을 넣으면, AI가 직접 물리 법칙이 반영된 파이썬 MuJoCo 코드를 작성해 주는 셈입니다. 이 코드는 진짜 시뮬레이터에서 돌아가기 때문에, 사람이 일일이 물리 엔진을 손으로 짜지 않아도 로봇 학습·강화학습 환경을 단숨에 만들 수 있습니다.
EWR(Executable World Representation)이라는 새로운 용어
Mirros가 제안한 EWR(실행 가능한 세계 표현, Executable World Representation)은 이미지·텍스트처럼 단순히 '보이는' 세계 표현이 아니라, 실제 시뮬레이터에서 굴러가는 코드로 표현되는 세계를 뜻합니다. 전통 영상 인식 모델이 "공이 떨어진다"고 라벨링하는 데서 끝나지만, EWR은 "공이 9.8m/s² 중력 하에서 포물선을 그리며 떨어진다"는 물리 코드를 만들어 냅니다.
왜 EWR이 중요한가?
- 로봇·강화학습(RL) 활용: 사람이 만든 시뮬레이션 환경에서 모델을 학습시키던 방식에서, 실제 영상에서 직접 환경을 코드로 추출해 학습 데이터로 쓸 수 있음
- 검증 가능한 학습(Validated World-based Learning): 생성된 코드가 진짜 시뮬레이터에서 동작하므로 "사실성"을 자동으로 검증 가능
- 오픈소스화: Apache 2.0 라이선스로 공개되어 상업적 활용도 자유
Code-as-World의 작동 원리: 4단계 에이전틱 루프
Code-as-World는 단순히 영상을 코드 한 번에 변환하는 시스템이 아닙니다. 다음 네 단계를 반복(loop)하며 점점 더 정교한 물리 시뮬레이션을 만들어냅니다.
- 관측 단계: 영상 프레임을 SAM 3(Meta의 영상 분할 모델)와 VGGT-Omega(시각 기하 기반 트랜스포머)로 분석해 객체·깊이·자세를 추출
- 가설 생성: Qwen3.5·Gemini-3.1 Flash 같은 대규모언어모델(LLM)이 관측 결과를 MuJoCo 파이썬 코드로 가설 작성
- 시뮬레이션 검증: 작성된 코드를 실제 MuJoCo 엔진에서 돌려 보고 영상과 비교
- 수정·반복: 차이가 크면 GRPO(그룹 상대적 정책 최적화) RL 기법으로 코드를 다듬고, Abductive search(가설 연역적 탐색)로 가설 공간을 넓혀가며 반복
검증된 월드 기반 학습(Validated World-based Learning)
기존 월드 모델(world model)은 픽셀 단위 예측에 집중했고 학습 데이터 자체의 사실성을 보장하기 어려웠습니다. Code-as-World는 시뮬레이션 자체를 정답지로 삼아 다음과 같은 루프를 돕니다.
- 영상을 보고 → 물리 코드를 작성 → 진짜 시뮬레이터를 실행 → 영상과 비교 → 점수(MRA) 산출 → 재학습
- 이 과정을 통해 만들어진 시뮬레이션은 '물리적으로 가능한 환경'임이 보장됨
- 여기서 학습된 정책은 시뮬레이션-실세계 간극(sim-to-real gap)이 작아 실제 로봇 제어에도 유리
실험 결과: 사람 수준을 앞지른 지표들
| 평가지표 | 의미 | Code-as-World |
|---|---|---|
| MRA 점수 | 생성된 시뮬레이션 영상과 원본 영상의 유사도 | 사람이 만든 코드를 앞질렀다고 보고 |
| 환경 다양성 | 실험에 포함된 시뮬레이션 종류 수 | 다양한 물리 환경 검증 |
| 학습 효율 | 실제 로봇 정책 학습에 필요한 시뮬레이션 시간 | 코드 생성 → 학습까지 일관 파이프라인 단축 |
논문·블로그에서는 "이전 SOTA(state-of-the-art)를 넘어서는 MRA 점수를 달성했다"고 보고했습니다.
구축에 필요한 기술 스택
- 물리 엔진: MuJoCo(다관절 접촉 동역학 특화, Google이 인수·보급)
- 서빙 프레임워크: vLLM으로 대규모 LLM을 빠르게 호출
- 비전 모델: SAM 3(영상 분할), VGGT-Omega(깊이·자세 추정)
- 언어모델: Qwen3.5, Gemini-3.1 Flash 기반 추론
- 강화학습 알고리즘: GRPO로 코드 생성 정책 학습
- 배포 포맷: BF16 safetensors 가중치, Apache 2.0 오픈소스 라이선스
Code-as-World, 어디에 쓸 수 있을까?
로봇 공학·산업 자동화
실제 작업 영상을 넣어두면 작업 환경을 코드로 즉시 추출·재현할 수 있어, 새로운 작업 현장에 robot을 도입하는 데 걸리는 시간을 크게 줄일 수 있습니다.
콘텐츠 제작·엔터테인먼트
실사 영상 한 편만으로 AI가 물리적으로 정확한 시뮬레이션을 만들 수 있어, 게임·영화 사전 비주얼라이제이션 비용 절감이 기대됩니다.
교육·연구
물리 현상을 설명하는 영상을 코드로 변환해 학생·연구자가 직접 수정·실험해 볼 수 있어, "물리 실험실 시뮬레이터"로 활용 가능성이 높습니다.
자주 묻는 질문(FAQ)
Q. MuJoCo가 뭔가요?
A. 로봇·생체 역학에 많이 쓰이는 오픈소스 물리 엔진입니다. 다관절·접촉 동역학 처리에 강점이 있어 본 프로젝트에 적합했습니다.
Q. EWR은 일반 월드 모델과 어떻게 다른가요?
A. 기존 월드 모델은 픽셀·잠재 공간에서 다음 프레임을 예측하지만, EWR은 물리 시뮬레이션 코드를 직접 생성해 "검증 가능한" 표현이라는 점이 다릅니다.
Q. Apache 2.0 오픈소스라면 상업적으로 써도 되나요?
A. 네, Apache 2.0은 관대한 라이선스로 상업적 사용·수정·배포가 자유롭습니다. 다만 일부 사용 사례에서는 법적 검토를 권장합니다.
Key Takeaways
- 영상 → MuJoCo 코드로 자동 변환, 사람이 시뮬레이터를 손으로 짤 필요가 줄어듦
- EWR(Executable World Representation) 개념과 4단계 에이전틱 루프가 핵심
- Validated World-based Learning으로 sim-to-real 격차 축소
- Apache 2.0 오픈소스, SAM 3·VGGT-Omega·vLLM·GRPO 등 실전 스택
- 로봇·콘텐츠·연구 등 폭넓은 분야에 응용 가능