NVIDIA Nemotron 3 화자 분할 모델 출시 — 최대 8명 화자를 실시간으로 추적하는 오픈 웨이트 AI
1억 파라미터로 음성이 겹치는 회의·통화·팟캐스트에서 "누가 언제 말했는지"를 자동으로 분리해 주는 화자 분할(Speaker Diarization) 모델이 공개되었습니다. 상업적으로 쓸 수 있는 오픈 웨이트라는 점이 가장 큰 화제입니다.
1한 줄 요약: 이 모델이 답하는 질문
NVIDIA가 Nemotron 3 Diarization이라는 화자 분할(speaker diarization) 모델을 허깅 페이스(Hugging Face)에 공개했습니다. 이 모델이 내리는 답은 단 하나, "누가 언제 말했는가?"입니다.
자동 음성 인식(ASR)은 "무슨 말을 했는지"는 알려주지만, "누가 했는지"는 알려주지 않습니다. 회의록·통화 분석·음성 에이전트 등에서는 이 화자 정보가 꼭 필요하기 때문에, 화자 분할은 거의 모든 음성 AI 파이프라인의 필수 단계입니다.
2화자 분할(Speaker Diarization)이란?
쉽게 말하면 "음성 파일에서 사람마다 색깔을 다르게 칠해주는 기술"입니다. 한 시간짜리 회의를 녹음했다고 상상해 보세요. A씨가 00:12~00:35, B씨가 00:36~01:02, 다시 A씨가 01:03~01:40 같은 식으로 각 화자가 언제 말했는지의 타임스탬프를 뽑아주는 것이 화자 분할의 핵심입니다.
왜 필요한가?
- 회의록 자동화: 누가 어떤 안건을 제안했는지, 누가 반대했는지 구분해야 요약이 가능
- 통화 분석: 상담원 vs 고객의 대화를 분리해 품질 평가·감정 분석
- 팟캐스트·영상: 여러 진행자의 음성을 자막별로 매칭
- 음성 에이전트 메모리: 누구에게 어떤 약속을 했는지 장기 기억에 저장
화자 분할의 출력인 타임스탬프를 ASR로 뽑은 텍스트와 결합하면, 마침내 "A씨: 다음 주까지 보고서 검토하겠습니다"처럼 화자별 스크립트가 완성됩니다.
3Nemotron 3 Diarization은 무엇이 다른가?
NVIDIA는 이미 화자 분할 모델 Streaming Sortformer를 공개한 적이 있습니다. 그런데 기존 버전은 한 모델로 최대 4명의 화자밖에 추적하지 못했습니다. Nemotron 3 Diarization은 이 한계를 두 배로 끌어올려 최대 8명까지 동시에 추적합니다.
한눈에 보는 변화
| 항목 | 기존 Streaming Sortformer v2.1 | Nemotron 3 Diarization |
|---|---|---|
| 최대 화자 수 | 4명 | 8명 |
| 파라미터 | 공개 수치 미상 | 약 1억(100M) |
| 겹침 처리 | 제한적 | 같은 프레임에서 2명 이상 활성화 |
| 라이선스 | 연구 중심 | 상업적 사용 가능 (OpenMDW-1.1) |
여러 사람이 동시에 떠드는 한국式 회식 자리, 8명이 넘게 참석하는 영상의료진 화상회의 같은 환경에서도 쓸 수 있게 된 셈입니다.
4어떻게 작동하나? 쉽게 풀어보기
기술적인 디테일보다, "모델이 어떤 순서로 음성을 이해하는지"만 따라가 보겠습니다.
- 오디오 입력: 16kHz 단일 채널 음성을 .wav/.flac/.opus/.mp3 중 하나로 받습니다.
- 특징 추출: 음성을 10밀리초 단위로 잘게 쪼개 멜 스펙트로그램(Mel-spectrogram)이라는 2차원 이미지로 변환합니다. 멜 스펙트로그램은 인간의 청각이 예민한 저주파 영역을 더 넓게 표현한 음성 지문 같은 것입니다.
- 프레임 묶기: 이 10ms 단위 조각 8개를 합쳐 80ms짜리 덩어리로 만듭니다.
- 트랜스포머(Transformer) 인코더: 31층짜리 심층 신경망이 80ms 덩어리들을 한 번에 분석합니다. 이때 회전식 위치 임베딩(RoPE)이라는 위치 정보 기법으로 시간 순서를 기억합니다. 트랜스포머는 ChatGPT·BERT 같은 현대 AI의 기반 구조입니다.
- 업샘플링: 마지막 단계에서 결과를 다시 10ms 해상도로 되돌립니다.
- 출력: 결과는 [시간, 8명] 모양의 텐서(Tensor). 각 10ms 구간마다 8명 각각이 말할 확률이 적혀 있습니다.
겹침(중복 발화)은 어떻게 처리하나?
두 사람이 동시에 말하면 같은 10ms 구간의 8개 채널 중 두 개가 동시에 활성화됩니다. 즉 모델은 "이 10ms 동안 A와 B 둘 다 말하고 있다"를 자연스럽게 표현할 수 있습니다. 별도의 후처리 없이도 겹침이 처리되는 셈입니다.
실시간 스트리밍 메모리
실시간 모드에서는 두 가지 메모리 기법을 사용합니다.
- 도착 순서 화자 캐시(AOSC): 이전 청크에서 본 화자를 기억합니다.
- FIFO 큐: 최근 프레임의 맥락을 공급합니다.
화자 라벨은 익명입니다(채널 1, 채널 2…). 실제 인물 이름과 매칭하는 작업은 이를 사용하는 애플리케이션이 담당합니다.
5지연시간 4가지 모드
같은 모델 하나가 "정확도 최우선"부터 "지연시간 최소"까지 4가지 운영 모드를 제공합니다. RTFx(실시간 배수, Real-Time Factor)는 모델이 입력 오디오보다 몇 배 빨리 처리하는지를 나타내는 지표입니다. 값이 클수록 빠릅니다.
| 모드 | 버퍼 지연 | DIHARD III DER | RTFx (batch 32, 컴파일) |
|---|---|---|---|
| 오프라인 스타일 | 30.4초 | 12.73% | 15,113× |
| 저지연 | 1.04초 | 13.18% | 865× |
| 초저지연 | 0.64초 | 13.28% | 579× |
| 극저지연 | 0.32초 | 13.55% | 292× |
참고로 DIHARD III DER(Diarization Error Rate)은 화자가 잘못 매칭되거나 누락된 시간의 비율입니다. 낮을수록 좋습니다. 30.4초 모드에서 12.73%가 가장 낮고, 0.32초 모드에서 13.55%로 미세하게 올라갑니다. 지연을 100배 가까이 줄여도 정확도 손실은 1%p 미만입니다.
• 통화 품질 분석, 기록용 전사 → 오프라인 모드(30.4초)
• 회의실 실시간 부록 → 저지연(1.04초)
• 라이브 자막, 음성 에이전트 → 초저지연(0.64초)
• 게임·AR 디바이스 → 극저지연(0.32초)
공식 문서에 따르면 이 수치는 연산·네트워크·ASR 시간을 제외한 모델 자체의 지연이며, 기술적으로는 80ms 버퍼도 가능하지만 0.32초가 권장 최저치입니다.
6벤치마크 결과 — 경쟁 모델과 비교
성능 평가는 세 가지로 나뉘어 공개되었습니다.
1) Voice Arena Diarization-Bench 1위
Voice Arena의 초기 평가에서 이 모델은 12개 시스템, 17개 구성 중 1위를 기록했습니다. 약 22시간 분량의 139개 영어 대화로 평가했더니 DER이 14.72%였고, 2위 시스템의 19.3%와 비교해 약 24% 상대적 감소였습니다. 단 Voice Arena는 Version 1 평가가 완료되면 결과가 바뀔 수 있다고 덧붙였습니다.
2) 8개 평가 조건 전부에서 DER 감소
기존 4명 화자 베이스라인(1.04초 지연)과 비교한 결과, 8개 평가 조건 전부에서 DER이 줄었습니다. 상대 감소 폭은 CALLHOME-Part2의 9.0%에서 NOTSOFAR1 MHM의 65.2%까지 분포했고, 8개 조건의 비가중 평균은 41.0%였습니다. 실사용 시나리오일수록 개선 폭이 컸다는 의미입니다.
3) 처리량 — 15,113배 실시간
30.4초 모드에서 모델은 RTFx 15,113×를 달성했습니다. 기존 베이스라인은 2,619×였습니다. 즉 같은 시간 동안 약 5.7배 더 많은 오디오를 처리합니다. 테스트는 NVIDIA RTX PRO 5000 GPU에서 torch.compile()과 BF16(Bfloat16) 정밀도를 사용했습니다. BF16은 메모리를 절반으로 줄이면서 수치 범위는 거의 유지하는 GPU 가속 형식입니다.
7어떻게 시작하나?
Python 3.12 이상 환경에서 NVIDIA NeMo Speech 프레임워크로 동작합니다. Ampere·Ada Lovelace·Hopper·Blackwell 계열 NVIDIA GPU가 필요합니다.
1단계. 패키지 설치
uv pip install 'nemo-toolkit[asr]'
2단계. 모델 불러오기 및 추론
from nemo.collections.asr.models import SortformerEncLabelModel
diar_model = SortformerEncLabelModel.from_pretrained("nvidia/Nemotron-3-Diarization")
diar_model.eval()
segments = diar_model.diarize(audio=["conversation.wav"], batch_size=1)
출력은 시작 초 끝 초 speaker_id 형식입니다. 단어 단위까지 매칭하고 싶다면 NVIDIA의 ASR 통합 가이드를 따라 Parakeet TDT 0.6B v3와 페어링하면 됩니다.
운영 환경 옵션
- 라이브 데모: Hugging Face Space에서 합성 대화·실시간 마이크·다국어 마이크·오디오 업로드 무료 체험
- 클라우드 프로덕션: NVIDIA가 Baseten, DigitalOcean을 공식 배포 파트너로 제시
- 온디바이스: Argmax Pro SDK 3을 통해 디바이스 내 실행도 가능
Hugging Face Inference Providers(서버리스 API)에서는 아직 제공되지 않습니다.
8학습 데이터와 한계
학습 데이터 구성
- 실제 다화자 대화 약 10,000시간
- 시뮬레이션 다화자 혼합 82,611시간
- David AI로부터 라이선스를 받은 실제 다화자 오디오 포함 → 데이터 추가만으로 DER이 11.19% → 10.42%로 감소
- 시뮬레이션 혼합용 라이선스 원본 오디오는 21개 언어에 걸쳐 있음
알아두어야 할 한계
- 8명 초과 화자: 발화가 누락되거나 다른 화자에게 잘못 할당될 수 있음
- 열악한 음향 환경: 강한 잡음·잔향·원거리 마이크 캡처는 오류율 상승
- 실명 매칭 미지원: 모델은 "채널 1"이라는 익명 라벨만 출력하며, 실제 인물과의 매칭은 별도 화자 인식(Speaker Recognition) 모듈이 담당
- GPU 의존: NeMo 프레임워크는 NVIDIA GPU 전용
9자주 묻는 질문 (FAQ)
Q1. 오픈 웨이트가 정확히 뭔가요?
모델의 가중치(신경망의 수십억 개 숫자 값)는 공개되어 있지만, 학습 데이터와 학습 코드는 비공개인 AI 모델을 말합니다. Open Source Initiative(OSI)는 엄밀한 "오픈소스 AI"와 이를 구분합니다. NVIDIA Nemotron 3, Meta Llama 등이 대표 사례입니다. 사용자나 기업은 가중치를 받아 직접 fine-tuning하거나 제품에 탑재할 수 있습니다.
Q2. 상업적으로 써도 되나요?
네. OpenMDW License 1.1 하에 공개되었으며 상업적 사용을 허용합니다. 단 정확한 조항은 라이선스 전문을 확인해야 합니다.
Q3. 기존 Streaming Sortformer 모델을 그대로 써도 되나요?
사용해도 됩니다. 다만 화자 수가 최대 4명으로 제한되고, 본 모델 대비 8개 평가 조건 전부에서 DER이 평균 41% 더 높습니다. 신규 프로젝트라면 Nemotron 3로 시작하는 것이 효율적입니다.
Q4. 한국어 음성도 잘 동작하나요?
학습 데이터의 라이선스 원본이 21개 언어에 걸쳐 있지만, 공개 벤치마크는 주로 영어를 중심으로 보고되었습니다. 한국어 회의·통화 데이터로 별도 fine-tuning하면 성능을 더 끌어올릴 수 있습니다.
Q5. CPU나 Apple Silicon에서도 돌아가나요?
현재 NeMo 프레임워크는 NVIDIA GPU에 최적화되어 있습니다. CPU 실행은 가능하지만 처리량이 크게 떨어집니다. Apple Silicon 온디바이스 경로는 Argmax Pro SDK 3을 통해 별도 지원됩니다.
10핵심 정리
- 규모: 1억(100M) 파라미터 오픈 웨이트 화자 분할 모델
- 화자 수: 최대 8명, 겹치는 발화도 같은 프레임에서 동시 처리
- 하나의 모델, 네 가지 모드: 오프라인(30.4초) → 저지연(1.04초) → 초저지연(0.64초) → 극저지연(0.32초)
- 벤치마크: Voice Arena Diarization-Bench 초기 평가에서 12 시스템 중 1위(DER 14.72%), 기존 4화자 베이스라인 대비 8개 조건 평균 41% DER 감소
- 처리량: 30.4초 모드 기준 RTFx 15,113×(배치 32, torch.compile, BF16)
- 라이선스: OpenMDW-1.1(상업적 사용 가능), NVIDIA NeMo를 통해 NVIDIA GPU에서 실행
결과적으로 이번 발표의 가장 큰 의미는 "8명 화자 + 오픈 웨이트 + 상업적 사용"이라는 세 조건을 처음으로 동시에 만족시켰다는 점입니다. 회의록·콜센터·음성 에이전트 파이프라인에 화자 정보를 더 낮은 비용으로 붙일 수 있게 되었습니다.