AI 모델 아키텍처 분석

GLM-5.3-Flash vs Qwen3.8-Flash-Next: 두 중국 AI 연구소가 독립적으로 같은 모델 설계로 수렴한 이유

같은 주, 하루 차이로 공개된 두 오픈 웨이트(무게치 공개) 모델이 놀랍도록 비슷한 아키텍처 선택에 도달했습니다. Z.ai의 GLM-5.3-Flash와 알리바바 Qwen 팀의 Qwen3.8-Flash-Next가 공유하는 네 가지 설계 공통점과, 의견이 갈리는 한 지점, 그리고 정반대 선택을 한 연구소까지 정리합니다.

한눈에 보는 핵심 요약

어텐션 비율: 두 모델 모두 linear attention과 full attention을 3:1로 섞은 하이브리드 구조
컨텍스트 압축: 긴 텍스트를 4배로 줄이고, 점수 기반 인덱서가 상위 2,048 토큰만 유지
잔차 흐름: 기존 트랜스포머의 단일 residual stream을 4개의 게이트가 달린 분기로 확장
학습 방법: 두 모델 모두 Muon 옵티마이저를 쓰고, 직교화 전에 합쳐진 행렬을 분리
分歧점: 위치 인코딩 처리 방식 — GLM은 RoPE를 제거, Qwen은 유지
반대 입장: MiniMax는 linear attention이 다중 홉 추론을 해친다는 실험 결과를 공개

두 모델 출시 개요

이번 주에 최첨단 오픈 웨이트 모델(누구나 내려받아 가중치를 확인할 수 있는 공개 모델) 두 개가 하루 차이로 공개되었습니다. 두 팀은 서로 독립적으로 설계했지만, 결과로 나온 모델 구성은 거의 사본처럼 닮았습니다.

GLM-5.3-Flash (Z.ai)

GLM-5 시리즈에서 처음 등장한 네이티브 멀티모달(텍스트뿐 아니라 이미지도 처음부터 함께 처리하는) 모델입니다. MIT 라이선스로 Hugging Face에 공개되었고, Z.ai는 OpenRouter에서 Ox Alpha라는 이름으로 익명 테스트를 진행해 그 주 인기 1위 모델이 되었습니다.

총 3,200억 파라미터, 토큰당 180억 파라미터 활성화
30T 토큰 규모의 멀티모달 데이터로 학습
100만 토큰 컨텍스트 윈도우 지원
Z.ai 주장: GLM-5.2를 1/10 가격으로 능가, 코딩·에이전트 벤치마크에서 Claude Opus 4.8에 근접
정가: 입력 100만 토큰당 0.15달러, 출력 100만 토큰당 0.50달러

Qwen3.8-Flash-Next (알리바바 Qwen 팀)

Qwen3-Next가 Qwen3.5를 예고했던 것처럼, 차세대 Qwen4 아키텍처 패밀리의 초기 프리뷰입니다. 함께 공개된 기술 보고서 제목은 「Qwen3.8-Next 아키텍처 설계에 관하여: 평가, 효율성, 그리고 학습 안정성」입니다.

메인 모델 1,250억 파라미터 + n-gram 임베딩 테이블 510억 파라미터, 토큰당 60억 파라미터 활성화
네이티브 컨텍스트 262,144 토큰, YaRN 확장으로 100만 토큰까지 가능
Qwen 팀 보고: 학습에 Qwen3.7-Plus의 약 1/9 컴퓨트만 사용

수렴점 1 — 어텐션 레이어의 3:1 혼합

두 모델 모두 linear attention(과거 입력을 고정 크기 상태로 압축해 계산량을 줄이는 어텐션 방식)과 full attention(전체 컨텍스트를 그대로 기억하며 정밀하게 검색하는 표준 방식)을 일정한 비율로 섞었습니다.

모델	전체 레이어	Linear 어텐션	Full 어텐션	비율
GLM-5.3-Flash	45	34 (KDA)	11 (NoPE MLA)	≈ 3:1
Qwen3.8-Flash-Next	48	36 (GDN)	12 (QSA)	3:1

왜 linear 레이어가 절반 이상을 차지할까

linear 레이어는 텍스트가 길어질수록 커지는 KV 캐시(지금까지 처리한 토큰들의 키·값 메모리)를 쓰지 않고, 모든 이력을 고정 크기의 순환 상태로 압축합니다. 결과적으로 토큰 길이와 무관하게 토큰당 연산량이 거의 일정하게 유지됩니다.

GLM: Moonshot AI의 Kimi Linear에서 가져온 Kimi Delta Attention (KDA) 사용 — 채널 단위로 세밀한 decay gate 적용
Qwen: 자체 설계한 Gated DeltaNet (GDN) 사용 — 헤드 단위로 게이팅

게이팅의 단위는 다르지만, 둘 다 동일한 delta-rule 계열이며 동일한 일을 합니다.

남은 1/4의 레이어가 하는 일

full attention 레이어는 정밀한 장거리 검색을 담당합니다. GLM은 DeepSeek 스타일의 NoPE multi-head latent attention (MLA)을, Qwen은 QSA 안에서 grouped-query attention을 사용합니다. 여기서 KV 캐시가 실제로 존재하며, 두 모델이 공유하는 두 번째 트릭이 등장하는 지점입니다.

수렴점 2 — 4배 압축 후 2,048 토큰만 유지

두 모델 모두 full attention 레이어가 전체 컨텍스트를 그대로 어텐드(참조)하도록 허용하지 않습니다. 대신 작은 학습된 인덱서가 컨텍스트의 청크(작은 묶음)에 점수를 매기고, 점수가 높은 묶음만 통과시킵니다. 두 모델의 파라미터는 거의 정확히 일치합니다.

GLM의 방식 (IndexPool)

DeepSeek의 DSA에서 파생된 top-2048 선택을 쓰는 32-head lightning indexer
100만 토큰 컨텍스트에서 인덱서 비용을 줄이기 위해 IndexPool 도입: 점수 매기기 전, 키 벡터 4개를 1개로 가중치 풀링(묶어 축소)하여 압축

Qwen의 방식 (QSA)

마이크로 블록 단위로 작동 — 4토큰 블록에 점수를 매기고 상위 512 블록만 유지 = 정확히 2,048 토큰
Qwen 보고: 100만 토큰에서 full attention 대비 prefill(초기 입력 처리)이 최대 7.6배, 디코딩(이어지는 답변 생성)이 4.9배 빨라짐

요약하면, 두 모델 모두 점수 매기기 전에 컨텍스트를 4배 압축하고 sparse attention 예산을 2,048 토큰으로 제한합니다. 이 패턴은 DeepSeek의 DSA가 처음 만든 것입니다.

GLM에서 보이는 누적 효과

풀 GLM-5.3 모델과 비교했을 때 Z.ai는 Flash 아키텍처가 다음 결과를 가져왔다고 보고합니다.

지표	GLM-5.3 풀 모델	GLM-5.3-Flash	변화
활성화 파라미터	320억	180억	≈ 절반
레이어 수	92	45	≈ 절반
어텐션 연산량	기준	약 1/3	≈ 3배 감소
KV 캐시 크기	기준	약 1/4.4	≈ 4.4배 감소

수렴점 3 — 잔차 흐름을 4개 분기로 확장

2017년 이후 트랜스포머를 정의해 온 단일 residual stream(레이어를 거치며 정보가 한 줄기로 흐르는 통로)을 두 모델 모두 버렸습니다. 대신 4개의 병렬 분기로 확장하고, 각 블록이 무엇을 읽고 무엇을 쓸지를 제어하는 게이트를 두었습니다.

GLM: DeepSeek에서 시작된 Manifold-Constrained Hyper-Connections (mHC) 채택, 출시 가중치는 4분기로 구성
Qwen: 자체 변형인 Gated Residual 작성 — element-wise 데이터 종속 read gate와 분기별 scalar write gate로 4개의 확장된 흐름을 조절

Qwen 팀에 따르면, Gated Residual는 Hyper-Connections에서 쓰는 추가 branch-mixing 단계를 제거해 메모리 접근 오버헤드를 줄입니다. 동시에 게이트가 activation outlier(특정 값이 비정상적으로 커지는 현상)를 충분히 억제해 FP8 residual 저장이 가능해집니다.

수렴점 4 — Muon 옵티마이저와 분할된 합성 행렬

두 모델 모두 Muon 옵티마이저(경사하강법 대신 행렬의 직교 성질을 이용해 더 안정적으로 학습을 진행하는 최신 기법)로 학습합니다. 그리고 두 모델 모두 동일한 미묘한 개선을 적용했습니다. Muon이 직교화(행렬을 직교 형태로 만드는 정규화)하기 전에 fused projection matrix(여러 변환을 하나로 합친 행렬)를 독립적인 변환들로 분할합니다.

Qwen: fused QKV, SwiGLU, GDN projection을 분리하고, 진정한 2차원 linear map에는 Muon을, 임베딩·라우터·low-rank 파라미터에는 AdamW를 할당하는 과정을 문서화
새 아키텍처에 맞게 scaling law(스케일링 법칙)를 다시 조정하고, 배치 크기 warmup(학습 초반 점진적 학습률 증가)을 완전히 제거 — warmup이 결과를 개선하지 않으면서 옵티마이저 단계를 18.8% 더 소모한다는 측정 때문

의견이 갈리는 지점 — 위치 인코딩

명확한 분기점은 full attention 레이어의 rotary position embeddings (RoPE)(토큰의 위치 정보를 회전 변환으로 인코딩하는 방식) 처리입니다.

GLM-5.3-Flash: RoPE를 제거합니다. 구성에서 qk_rope_head_dim = 0으로 설정해 sparse MLA 레이어를 완전히 NoPE로 만들고, 위치 정보는 순환 linear 레이어를 통해 암묵적으로 흐르게 합니다.
Qwen: 같은 시도를 해보고 RoPE를 유지했습니다. Qwen3.8-Next 기술 보고서에 따르면, NoPE는 사전 학습(pre-training) 중에는 측정 가능한 차이가 없었습니다. 문제는 사후 학습(post-training) 이후에 나타났습니다. NoPE 변형은 생성을 멈추지 못하는 경우가 잦았습니다.

더 넓은 수렴 흐름과 한 명의 반대자

이 설계 패턴은 두 연구소에만 머물지 않습니다.

DeepSeek: DeepSeek-V3.2-Exp의 DSA로 sparse-indexer-plus-2048-budget 패턴을 개척
Moonshot의 Kimi: GLM이 채택한 바로 그 linear attention 레이어(KDA)을 기여
결과: 중국 오픈 모델은 아키텍처 컴포넌트를 서로 교차 수분(교차 공유)시키며 같은 설정으로 수렴

반대자: MiniMax

주목할 만한 반대자는 MiniMax입니다. M2 개발 과정에서 linear attention과 sliding-window attention(최근 구간만 보는 어텐션)을 대규모로 테스트했고, 특히 SFT(지도 미세조정) 이후 32K 컨텍스트를 넘어서는 다중 홉 추론(여러 단계를 거쳐 답을 찾아가는 사고)에서 심각한 결함을 발견했습니다.

M2: 모든 레이어에 풀 softmax attention(전통적인 정밀 어텐션)을 적용해 출시
M3: 블록 선택으로 softmax attention을 희소화하지만 linear attention 레이어를 전혀 포함하지 않는 MiniMax Sparse Attention (MSA)를 채택

따라서 분야가 완전히 정착된 것은 아닙니다. Z.ai·Qwen·DeepSeek·Kimi는 3:1 linear 하이브리드가 추론 능력을 보존한다고 베팅하고 있지만, MiniMax의 ablation 실험은 최소한 그들의 스택에서는 그렇지 않다고 말합니다.

정리 — 5가지 핵심 포인트

GLM-5.3-Flash(34:11)와 Qwen3.8-Flash-Next(36:12)는 독립적으로 동일한 3:1 linear-to-full attention 비율에 도달했습니다.
두 모델 모두 컨텍스트를 4배 압축하고 sparse attention을 2,048 토큰 예산으로 제한합니다. 이는 DeepSeek의 DSA가 시작한 패턴입니다.
두 모델 모두 단일 residual stream을 4개의 게이트가 달린 분기로 대체했습니다. Qwen은 Gated Residual를 mHC와 비교 실험했고 동등하다는 결론을 얻었습니다.
위치 인코딩에서 의견이 갈립니다. GLM은 RoPE를 제거(NoPE)했고, Qwen은 사후 학습 이후 NoPE 모델이 생성을 멈추지 못하는 실패를 겪은 뒤 RoPE를 유지했습니다.
MiniMax가 반대자입니다. 대규모 ablation 실험에서 linear attention이 다중 홉 추론을 해친다는 결과를 얻었기 때문에 M3는 sparse softmax attention만 사용합니다.