중국 거대 테크 기업 바이트댄스(ByteDance)의 AI 연구 조직 Seed 팀이 새로운 멀티모달 LLM SeedRealtime을 공개했습니다. 이름에서 알 수 있듯 이 모델의 핵심 키워드는 "실시간(Realtime)"입니다. 음성·영상·텍스트를 따로따로 처리하던 기존 방식과 달리, 하나의 모델 안에서 처음부터 동시에 이해하고 반응합니다.
바이트댄스는 이 모델을 옴니모달(omni-modal) 상호작용을 향한 한 걸음이라 소개하며, 세 가지 핵심 돌파를 내세웁니다.
- ① 오디오와 비주얼을 통합해서 이해하는 능력
- ② 사용자가 먼저 묻지 않아도 상황에 맞춰 먼저 말 거는 능동적 상호작용
- ③ 사람처럼 자연스러운 대화 호흡(타이밍)
기존 방식과 무엇이 다른가 — 캐스케이드 vs 종단간(end-to-end)
기존의 캐스케이드(cascade) 파이프라인이 느린 이유
지금까지 대부분의 실시간 AI 음성 서비스는 캐스케이드(cascade) 구조를 사용했습니다. ASR(음성→텍스트) → VLM(시각+언어 이해) → TTS(텍스트→음성)이라는 단계별 모듈을 순서대로 통과시키는 방식이죠. 각 단계에서 잠깐의 지연(latency)이 쌓이고, 단계 사이에서 정보가 손실됩니다. 이 구조의 또 다른 약점은 VAD(음성 활동 감지)라는 외부 모듈에 의존한다는 점입니다. VAD는 "지금 사람이 말하고 있는가?"를 감지해서 그때만 모델이 반응하도록 만드는 장치인데, 때문에 AI가 사람 말을 중간에 끊거나, 끼어들거나, 대화 흐름을 자연스럽게 제어하기 어렵습니다.
SeedRealtime의 해법 — 하나의 모델로 끝낸다
SeedRealtime은 이 문제를 종단간(end-to-end) 단일 모델로 해결합니다. 인지·이해·의사결정·표현을 모두 한 신경망 안에서 병렬로 처리하기 때문에 단계 사이의 지연이 사라집니다. 그리고 턴 테이킹(turn-taking, 대화 차례 주고받기) 기능도 모델 안으로 흡수했습니다. 더 이상 외부 VAD가 "언제 말할지"를 결정하지 않고, 모델 자체가 사람처럼 호흡을 조절합니다.
데모에서 실제로 새로워진 4가지
바이트댄스는 7가지 데모 시나리오를 공개했는데, 그중 핵심 4가지를 골라 보면 SeedRealtime이 단순한 음성 챗봇이 아니라는 점이 분명해집니다.
여러 사람의 얼굴과 음성을 정확히 매칭
시끄러운 단체 식사 자리에서 모델은 사람들이 자기소개할 때 이름·얼굴·음성을 한 사람 단위로 묶어 기억합니다. 이후 "A는 바다를 좋아하고 B는 산을 좋아한다"처럼 상충하는 여행 선호도가 나와도, 누구의 의견인지 헷갈리지 않고 올바른 화자에게 맞게 여행 계획을 제안합니다. 이를 모달리티 간 신원 결합(Identity binding across modalities)이라 합니다.
묻지 않아도 먼저 알아차린다
허베이(河北) 박물관에서 사용자가 "특정 청동 병풍 받침대가 화면에 보이면 알려달라"고 부탁합니다. 이후 카메라가 계속 천천히 움직이는데, 그 유물이 시야에 들어오는 순간 모델이 먼저 "저것이 찾는 유물입니다"라고 알려줍니다. 논문 데모에서는 사용자가 빠르게 페이지를 넘기는데, 모델은 "3.4 Implementation" 섹션이 보이자 스스로 멈추고 학습률·모멘텀·가중치 감쇠 같은 핵심 수치까지 읽어줍니다. 이처럼 선제적(능동적) 상호작용은 SeedRealtime의 가장 인상적인 특징입니다.
질문이 아니어도 실시간으로 지적한다
에스프레소를 내리는 과정을 지켜보다가, 통째의 원두가 포터필터에 들어가려는 순간 AI가 말을 끊습니다. 크레마의 색과 양을 보고 "추출 시간을 2~3초 줄이세요"라고 제안하는 식입니다. 즉, 사용자가 직접 묻지 않더라도 눈으로 보이는 상태 변화만으로 모델이 끼어들어 도와주는 것입니다.
불필요한 말은 무시하고, 사라진 정보도 기억한다
베이징 다싱(大興) 국제공항에서 항공 일정과 무관한 잡담은 그냥 흘려보냅니다. 하지만 사용자가 진짜 질문을 던졌을 때, 모델은 이미 카메라 시야에서 사라진 출국 게시판의 정보를 기억해 답하고, 수하물 벨트의 위치는 추가로 온라인 검색해서 알려줍니다. 집중해야 할 때와 흘려들어야 할 때를 스스로 구분하는 능력입니다.
지금바로 우리도 쓸 수 있나?
부분적으로만 가능합니다. SeedRealtime은 바이트댄스의 소비자용 AI 어시스턴트 두바오(Doubao) 앱에서 이미 일부 기능이 서비스 중입니다. 다만 이 모델에 대해서는 기술 보고서, 파라미터 수, 공개 가중치, 그리고 엔터프라이즈 API가 모두 발표되지 않은 상태입니다. 따라서 외부 개발자나 기업이 직접 통합해 쓰기는 아직 어렵습니다.
현재 우리가 얻을 수 있는 것은 검증된 설계 청사진입니다. 실시간 음성+카메라 기반 AI 제품을 출시하려는 모든 플레이어에게 이 모델은 이제 막을 수 없는 새로운 기준점(골대포스트)이 되었습니다. 바이트댄스 산하의 클라우드 플랫폼 화산 엔진(Volcano Engine)이나 엔터프라이즈 자회사 바이트플러스(BytePlus)를 통한 향후 공식 API 공개가 가장 큰 관전 포인트입니다.
핵심 요약 (Key Takeaways)
- SeedRealtime은 네이티브 오디오-비주얼 전이중 LLM입니다. 오디오·비디오·텍스트를 단일 종단간 아키텍처에서 한 번에 처리합니다.
- 턴 테이킹이 모델 내부로 들어왔습니다. 외부 VAD가 더 이상 "언제 말할지"를 결정하지 않습니다.
- 바이트댄스 자체 휴먼 평가에 따르면, 캐스케이드 스택 대비 대화 호흡 관련 문제가 절반으로 줄었다고 하지만, 외부 벤치마크 수치와 정확한 지연 시간은 공개되지 않았습니다.
- 두바오 앱에서 이미 서비스 중이지만, 기술 보고서·가중치·API는 모두 비공개 상태입니다.
용어 한눈에 보기
- 전이중 LLM (Full-duplex LLM)
- 말하면서 동시에 들을 수 있는, 동시 송수신 구조의 대화형 AI. 사용자가 말하는 도중에도 끼어들고 대화 흐름을 자연스럽게 조절할 수 있습니다.
- 옴니모달 상호작용 (Omni-modal interaction)
- 텍스트·이미지·오디오·비디오 등 서로 다른 방식의 데이터를 한 모델에서 통합적으로 이해하고 반응하는 구조.
- 캐스케이드 파이프라인 (Cascade)
- ASR → VLM → TTS처럼 여러 모듈을 순서대로 연결한 구조. 단계마다 지연이 누적되고 정보 손실이 발생합니다.
- VAD (Voice Activity Detection)
- 음성 활동 감지. 오디오에서 사람이 말하는 구간과 조용한 구간을 구분하는 기술. 기존 실시간 AI가 의존해온 외부 모듈.
- 종단간 모델 (End-to-end model)
- 입력부터 출력까지 중간 단계 없이 하나의 신경망으로 처리하는 구조. 정보 손실과 지연이 적습니다.
- 턴 테이킹 (Turn-taking)
- 대화에서 차례를 주고받는 규칙. SeedRealtime은 이를 모델 안으로 흡수해 외부 도구 없이 사람처럼 호흡을 조절합니다.
- 능동적 상호작용 (Proactive interaction)
- 질문 없이도 상황 변화를 먼저 감지하고 먼저 말 거는 행동 패턴. "○○가 보이면 알려줘"라는 부탁에 스스로 반응하는 것이 대표적입니다.
- 모달리티 간 신원 결합 (Identity binding across modalities)
- 이름·얼굴·음성 등 서로 다른 방식의 신원 단서를 한 사람 단위로 묶어 추적하는 능력.
- 화산 엔진 (Volcano Engine)
- 바이트댄스 산하의 엔터프라이즈 클라우드 플랫폼. 더우바오 모델과 AI 기술을 기업에 제공합니다.
- 바이트플러스 (BytePlus)
- 바이트댄스의 엔터프라이즈(기업용) 기술 자회사. 머신러닝 인프라와 AI 클라우드 서비스를 제공합니다.
자주 묻는 질문 (FAQ)
Q. SeedRealtime은 일반 챗GPT와 무엇이 다른가요?
기존 챗GPT 기반 음성 모드도 멀티모달이지만, 내부적으로는 음성→텍스트→답변→음성 등 여러 단계를 거칩니다. SeedRealtime은 그 단계들을 하나로 합쳐, 영상과 음성을 끊김 없이 동시에 처리합니다.
Q. 전이중(full-duplex)이 왜 중요한가요?
사람과 사람의 대화는 상대가 말하는 도중에 끼어들거나, 동시에 웃거나, 끊고 이어 말하는 것이 자연스럽습니다. 일반 AI는 듣고 → 생각하고 → 말하는 순차 구조라 이런 흐름을 흉내 내기 어렵습니다. 전이중 구조는 이 간극을 메워줍니다.
Q. 한국에서도 사용할 수 있나요?
현재 두바오 앱은 중국 서비스를 중심으로 동작하며, 공개 API·가중치 모두 없어 한국 개발자가 곧바로 통합할 수는 없습니다. 향후 화산 엔진 또는 바이트플러스 경로로 글로벌 출시 가능성이 지켜볼 점입니다.
Q. 벤치마크 수치가 왜 없나요?
바이트댄스는 자체 휴먼 평가에서 대화 호흡 문제가 절반으로 줄었다고만 언급했습니다. 외부 비교가 가능한 정량 수치(레이턴시, 정확도 등)는 공개되지 않았습니다. 상용화 이전 단계의 모델 특성으로 해석됩니다.