HarnessDev: LLM이 자체 에이전트 하네스를 만들 수 있을까? (2026년 논문 해설)

왜 이 논문이 중요한가

지금까지 AI 모델 평가는 "정답을 얼마나 잘 맞추는가"에 집중했습니다. HarnessDev는 시선을 바꿉니다. 모델이 작업을 수행하려면 주변 인프라(에이전트 하네스)가 필요한데, 이 인프라 자체를 모델이 만들 수 있는지를 평가합니다.

쉽게 말하면 "AI에게 빈 방을 주고, 그 안에서 살림을 차리라고" 시키는 실험입니다. 살림살이(시스템)가 잘 되어야 실제로 음식을 만들 수(작업 수행) 있으니까요.

에이전트 하네스가 뭐길래

에이전트 하네스는 LLM을 감싸는 런타임 소프트웨어입니다. 도구 호출, 메모리, 컨텍스트 관리, 안전, 작업 수명 주기 같은 것을 처리합니다. 모델의 "두뇌"를 제외한 모든 시스템이라 봐도 됩니다.

핵심 포인트: 모델 성능은 "두뇌 + 하네스"가 함께 만들어냅니다. 똑같은 모델이라도 하네스가 다르면 실제 작업 성적이 크게 달라집니다.

HarnessDev는 어떻게 평가하나

두 단계 구조

1단계 · 생성(Creation)
최소한의 골격(시드)만 주고 모델이 처음부터 하네스를 만듭니다.

2단계 · 진화(Evolution)
실행 결과를 피드백으로 돌려주며 하네스를 계속 다듬게 합니다.

평가 스케일

생성자 모델 6개 (Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Pro, Qwen, Seed 등)
영역 4개 (코드, 단문 작성, ML 실험, 검색/리서치)
벤치마크 5개 (SWE-bench Pro, Terminal-Bench 2.1, MLE-bench, EQ-Bench3, BrowseComp)
총 2,207개 인스턴스

두 가지 평가 방식

자체 평가(Self-Eval): 하네스를 만든 모델이 그대로 실행
통합 평가(Unified-Eval): 모든 하네스를 동일 실행자(Gemini 3.1 Pro)로 돌려 이식성 확인

주요 결과 5가지

① 모델은 실행 가능한 하네스를 만들 수 있다

여러 모델이 도구 호출·컨텍스트·상태·수명 주기 관리 기능을 갖춘 완전한 시스템을 만들었습니다.

67.8점Opus 4.8 자체 평가 최고점

86.2점인간 설계 참조 하네스

③ 분야별 차이가 크다

단문 작성은 인간 설계에 가깝게 따라잡았고, ML 실험은 때때로 능가했습니다. 반면 코드·검색·리서치 영역은 아직 명확한 격차가 있습니다.

④ 진화는 도움이 되지만 불안정

진화 단계에서 개선과 회귀가 섞여 나옵니다. 버전을 고정하고 새로운 작업으로 검증하면 개선 효과가 부분적으로만 유지됩니다. 즉 "과적합" 위험이 있습니다.

⑤ 하네스는 여전히 모델에 종속

실행자 모델을 바꾸면 성능이 무너질 수 있습니다. 논문은 Opus용 코드 하네스에 120단계 제한이 하드코딩되어 Gemini에서 거의 실패한 사례를 보고합니다.

주의: 한 모델에서 잘 작동한다는 사실이 다른 모델에서도 잘 작동한다는 보장은 아닙니다.

⑤ 토큰을 많이 쓴다고 더 잘하진 않는다

MLE-bench에서 비슷한 결과(약 19% 메달 비율)를 만드는 데 토큰 사용량이 약 7배 차이 났습니다.

2,930만 토큰GPT-5.5 하네스 (메달 19.1%)

2억 84만 토큰DeepSeek V4 하네스 (메달 19.6%)

비용 함정: 단순히 토큰을 많이 쓰면 더 좋아지는 구조가 아닙니다. 효율적인 하네스 설계가 핵심입니다.

한계와 주의점

인간 설계 참조가 모두 같은 실행자 하에서 재실행된 것이 아니므로 완전한 비교 통제는 아직 부족합니다.
실행 토큰 총계에는 하네스 작성·수정 비용이 빠져 있습니다.
현재 진화 실험은 코드 하네스에 집중되어 있어 다른 영역의 자기 진화는 추가 증거가 필요합니다.
보고된 결과는 독립적인 재현을 기다리고 있습니다.

핵심 용어 10선

1. 에이전트 하네스 (Agent Harness)

LLM을 감싸는 런타임 인프라. 도구 호출, 메모리, 컨텍스트, 안전, 수명 주기를 관리하는 소프트웨어 골격. 모델의 "뇌"를 제외한 모든 시스템.

2. 하네스 엔지니어링 (Harness Engineering)

모델을 작업 엔진으로 만들기 위해 그 주변 시스템을 설계하는 행위. 모델 자체보다 인프라 설계가 실제 성적을 좌우한다는 관점.

3. SWE-bench

실제 GitHub 이슈와 코드베이스로 LLM이 패치를 생성하는 능력을 평가하는 벤치마크. 여러 파일을 수정해 저장소 테스트를 통과해야 한다.

4. MLE-bench

OpenAI의 머신러닝 엔지니어링 벤치마크. 캐글 경연 75개로 데이터 처리·모델 학습·제출까지 전체 ML 워크플로우를 평가한다.

5. 생성자 모델 / 실행자 모델

생성자는 하네스 자체를 코드로 작성하는 LLM, 실행자는 그 하네스 안에서 실제 작업을 수행하는 LLM. 둘을 분리해 이식성을 측정한다.

6. 자체 평가 vs 통합 평가

자체 평가는 만든 모델로 실행, 통합 평가는 동일 외부 실행자로 모든 하네스를 돌려 비교하는 방식.

7. 실행 피드백 / 실행 궤적

하네스가 작업을 수행하며 거친 단계별 호출과 결과를 기록한 것. 이를 생성자에게 다시 돌려 개선시키는 것이 진화 단계의 핵심.

8. 모델 간 이식성 (Portability)

한 모델용 하네스가 다른 모델에서도 같은 성능을 내는 정도. 120단계 같은 모델 종속 하드코딩 때문에 깨질 수 있다.

9. JIT-Agent

작업이 들어올 때마다 그 시점에 맞는 하네스를 즉석에서 만드는 접근. HarnessDev는 이 접근의 실제 공백을 문서화한다.

10. 시드 (Seed)

모델이 하네스 생성을 시작하는 최소한의 초기 골격. 의도적으로 약하게 주어져 모델이 스스로 구조를 설계하도록 유도한다.

자주 묻는 질문

Q. HarnessDev는 공식 DeepSeek 연구인가요?

아닙니다. Opus, GPT, Gemini, Qwen, Seed 계열과 함께 DeepSeek V4 Pro가 포함된 독립 연구입니다. DeepSeek Harness 프로젝트와는 무관합니다.

Q. 이 논문은 AI가 하네스 개발을 완전히 인수할 수 있다고 말하나요?

아닙니다. 모델은 실행 가능한 시스템을 만들 수 있지만, 코드·검색·리서치 영역은 여전히 인간 설계에 못 미칩니다. 진화 단계에서 회귀와 이식성 문제도 나타납니다.

Q. 그럼 실무에 바로 쓸 수 있나요?

아직 이릅니다. 단문 작성이나 ML 실험 같은 일부 영역은 가능성이 보이지만, 핵심 인프라(코드·리서치)는 인간 설계와 검증이 여전히 필요합니다.

Q. 토큰 비용이 7배 차이 난다는 게 왜 중요한가요?

같은 품질을 더 비싸게 만드는 하네스는 운영비 측면에서 치명적입니다. 비용·안정성·성공률을 함께 측정해야 진짜 좋은 하네스라고 할 수 있습니다.