MiniCPM5-2B 출시: 25억 파라미터로 34개 벤치마크 평균 53.9점, 온디바이스 AI의 새 기준
OpenBMB가 손바닥 위에서 돌아가는 25억 매개변수(2.52B) 밀집형 언어 모델 MiniCPM5-2B를 공개했습니다. Apache 2.0 오픈소스로 배포되며, 131,072토큰의 긴 문맥과 도구 호출·코딩 에이전트 작업에서 동급 모델을 큰 폭으로 앞서갑니다.
한눈에 보기
- 파라미터: 25.2B(정확히 2,516,756,480개) 밀집 모델, 42 레이어
- 컨텍스트 윈도우: 네이티브 131,072 토큰 (약 30만 자)
- 벤치마크 평균: 34개 평가에서 53.9점, 동급 1위
- 라이선스: Apache 2.0, vLLM·SGLang·llama.cpp·Ollama 등에서 즉시 구동
- 강점: 도구 사용, 코딩 에이전트, 장문 검색 / 약점: 일반 지식(MMLU-Pro)
1. MiniCPM5-2B란 무엇인가?
MiniCPM5-2B는 중국 AI 연구단체 OpenBMB가 공개한 온디바이스 특화 초경량 대규모 언어 모델(LLM)입니다. MiniCPM5 시리즈의 두 번째 체크포인트로, 기존 MiniCPM5-1B의 후속작이며 전체 가중치를 누구나 다운로드해 사용할 수 있도록 Apache 2.0 라이선스로 풀려 있습니다.
모델 규모는 약 25.2B 매개변수입니다. 매개변수란 모델이 학습한 '지식'을 숫자로 저장한 값으로, 일반적으로 많을수록 똑똑하지만 무겁습니다. 그중 약 19.8B가 실제 추론 계산에 사용되며, 나머지는 단어 사전을 만드는 임베딩(embedding) 테이블에 들어 있습니다.
아키텍처는 Meta의 LlamaForCausalLM 표준을 그대로 따릅니다. 이는 '앞에 나온 단어를 보고 다음 단어를 예측하는' 인과적(autoregressive) 방식으로, GPT 계열과 동일한 작동 원리입니다. 표준 아키텍처이기 때문에 별도의 커스텀 코드 수정 없이도 vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX, FlagOS 같은 주요 추론 엔진에서 바로 실행됩니다.
주요 사양 한눈에
| 항목 | 수치 |
|---|---|
| 총 파라미터 | 2,516,756,480 (2.52B) |
| 비-임베딩 파라미터 | 1,981,982,720 (1.98B) |
| 레이어 수 | 42 |
| 쿼리 헤드 / KV 헤드 | 16 / 2 (GQA) |
| 컨텍스트 윈도우 | 131,072 토큰 |
| 아키텍처 | LlamaForCausalLM (표준) |
| 라이선스 | Apache 2.0 |
여기서 GQA(그룹 쿼리 어텐션)는 여러 어텐션 헤드를 묶어 키·밸류 헤드를 공유시키는 기법입니다. 결과적으로 모델의 지능은 거의 유지하면서도 메모리 사용량과 추론 속도를 크게 개선할 수 있어, 25억 매개변수 모델을 노트북이나 스마트폰에서도 돌릴 수 있게 만드는 핵심 기술입니다.
2. 벤치마크로 본 실력 — 평균 53.9점은 어떤 의미인가?
OpenBMB는 MiniCPM5-2B를 동일한 2B급 모델(LFM2.5-2.6B, Qwen3.5-2B, Gemma-4-E2B-it)과 비교하고, 참고용으로 약간 더 큰 Qwen3.5-4B·granite-4.2-3B·Nemotron-3-Nano-4B·Gemma-4-E4B-it·LFM2.5-8B-A1B를 함께 표에 올렸습니다.
34개 벤치마크 전체 평균은 53.9점으로, 같은 비교군에서 가장 좋은 베이스라인인 Qwen3.5-4B의 51.1점을 2.8점 차이로 앞서갑니다. 단지 평균이 높다는 것보다 "어디서 강하고 어디서 약한지"가 더 중요합니다.
강점 영역
| 평가 항목 | MiniCPM5-2B | 베이스라인 최고 |
|---|---|---|
| LiveCodeBench v6 (코드 추론) | 69.1 | 56.4 |
| SWE-bench Verified (실제 코딩 수정) | 46.4 | 33.6 |
| τ²-Bench Telecom (통신 도구 사용) | 97.1 | — |
| BFCL v4 (다단계 함수 호출) | 66.6 | — |
| τ³-Bench Banking (금융 도구 사용) | 20.8 | 6.8 |
| NoLiMa (장문 검색) | 68.1 | 43.5 |
특히 인상적인 것은 τ²-Bench Telecom에서 97.1점을 기록했다는 점입니다. 이 테스트는 모델이 통신사 고객센터 시나리오에서 적절한 도구(API)를 골라 호출하는 능력을 평가하는데, 거의 만점에 가까운 점수입니다. 즉, AI 에이전트가 진짜 업무용 도구를 다루는 데 매우 강하다는 뜻입니다.
약점 영역
| 평가 항목 | MiniCPM5-2B | 베이스라인 최고 |
|---|---|---|
| MMLU-Pro (일반 지식) | 70.8 | 78.0 |
| Humanity's Last Exam (초난도 지식) | 8.9 | 9.9 |
| AA-LCR (분석형 장문) | 59.0 | 61.0 |
| LongBench v2 (긴 문서 이해) | 43.7 | 47.3 |
요약하면 MiniCPM5-2B는 "에이전트·도구 사용·긴 문맥 검색에 특화된 모델"이며, 범용 지식 Q&A용은 아닙니다. 25억이라는 작은 크기에서 모든 영역을 1등할 수 없다는 점을 고려하면, 도구 사용에 집중한 전략적 선택으로 볼 수 있습니다.
3. 어떻게 만들었나 — 학습 레시피 3단계
MiniCPM5-2B의 성능은 학습 단계의 정교함에서 나옵니다. 전체 과정은 세 단계로 압축할 수 있습니다.
- SFT(지도 미세 조정): 400B 토큰의 '딥-씽킹' 데이터로 모델이 먼저 추론하는 법을 배웁니다. SFT란 정답이 적힌 예문(질문-답 쌍)을 보여주며 미세 조정하는 방식입니다.
- RL(강화학습): JustRL II라는 간소화된 알고리즘으로 수학·코딩·에이전트·글쓰기 네 분야 전문 교사 모델을 만듭니다. 강화학습은 정답이 없는 상황에서도 보상을 통해 더 나은 행동을 스스로 익히는 방법입니다.
- OPD(온-폴리시 증류): 16명의 RL 전문가(에이전트 5명 포함)를 하나의 작은 모델로 합칩니다. 이때 교사와 학생의 어휘 전체에 대한 역 KL 발산을 점수판 삼아 증류를 진행합니다.
OPD(On-Policy Distillation)는 이번 출시에서 가장 흥미로운 기술입니다. 일반적인 지식 증류는 이미 만들어진 데이터로 학습하지만, OPD는 학생 모델이 직접 답을 생성하면서 교사 모델과 비교합니다. 이때 KL 발산의 '역' 방향을 쓰는 이유는, 학생 모델이 교사의 가장 확신하는 답(정답 후보)에 더 집중하도록 유도하기 위해서입니다. 결과적으로 OpenBMB는 추론·일반 과제에서 평균 10.96점, 에이전트 과제에서 6.96점의 추가 성능 향상을 측정했다고 합니다.
4. 데이터도 전부 공개한다
OpenBMB는 가중치만 던지는 일반적인 오픈소스와 다릅니다. 함께 공개된 데이터셋과 체크포인트를 나열하면 다음과 같습니다.
Ultra-FineWeb,Ultra-FineWeb-L3: 사전학습용 웹 데이터UltraX: 고품질 학습 코퍼스UltraData-Code,UltraData-Math: 분야별 전문 데이터UltraData-SFT-2605: 지도 미세조정용 데이터UltraData-SFT-Agent-2609: 에이전트용 50만 샘플UltraData-RL-2609: 강화학습용 8만 샘플 이상- 중간 체크포인트: Base / Midtrain / SFT-only 단계별 가중치
중간 체크포인트가 함께 공개된다는 점이 특히 중요합니다. "최종 모델은 좋은데 학습 도중 어느 단계가 얼마나 기여했나?"라는 질문에 답할 수 있기 때문입니다. 이는 AI 연구의 재현성(reproducibility)을 크게 높이는 실천으로, 다른 연구팀이 같은 결과를 검증하거나 개선점을 찾는 데 직접 활용할 수 있습니다.
5. 정리 — 누구에게 유용한가?
MiniCPM5-2B는 모든 작업을 하나로 해결하려는 만능 모델이 아니라, 특정 상황에 매우 강한 도구입니다. 다음 중 하나에 해당한다면 도입을 검토할 만합니다.
- 온디바이스 AI 에이전트: 노트북·스마트폰·산업용 단말에서 직접 도구 호출형 AI를 돌리고 싶을 때
- 코딩 보조 시스템: SWE-bench·LiveCodeBench에서 1등에 가까운 성능이 필요한 경우
- 장문 문서 검색: NoLiMa 68.1점으로 13만 토큰짜리 문서에서 정보 추출이 필요한 경우
- Apache 2.0 호환성: 상업적 활용에 라이선스 장벽이 없어야 할 때
반면 박사급 일반 지식 Q&A(예: 의학·법률 자문)에는 더 큰 모델이 여전히 우월합니다. 적절한 도구를 적절한 자리에 쓰는 것이 핵심입니다.
자주 묻는 질문 (FAQ)
Q. MiniCPM5-2B는 일반 노트북에서 정말 돌아가나요?
네, llama.cpp 또는 Ollama를 사용하면 16GB 메모리의 일반 노트북에서도 양자화(quantization, 모델 크기를 압축하는 기법) 버전을 구동할 수 있습니다. MLX는 Apple Silicon Mac에서 최적의 성능을 냅니다.
Q. GPT-4나 Claude 같은 클라우드 모델과 비교하면 어느 정도인가요?
절대 점수로는 대형 클라우드 모델보다 낮습니다. 하지만 1,000분의 1 이하의 비용과 오프라인 동작, 데이터 프라이버시라는 뚜렷한 장점이 있어 용도에 따라 더 합리적인 선택이 될 수 있습니다.
Q. Qwen3.5-4B보다 작은데 왜 더 높은 점수를 받나요?
파라미터 수가 곧 성능을 결정하지는 않습니다. 학습 데이터의 품질(공개된 UltraData 시리즈)과 사후 학습 3단계(SFT→RL→OPD)의 정교함이 작지만 강한 모델을 만든 핵심입니다.
Q. OPD가 일반적인 모델 병합(merging)과 다른 점은 무엇인가요?
일반 병합은 가중치(파라미터 숫자) 자체를 평균하지만, OPD는 모델이 실제로 출력하는 확률 분포를 비교해 더 똑똑한 결정을 학습합니다. 단순 평균보다 훨씬 정교한 방식입니다.