Kimi K3: 2.8조 파라미터 희소 MoE의 배포 현실
Moonshot AI가 2.8조 파라미터, 100만 토큰 문맥과 네이티브 비전을 갖춘 Kimi K3를 API로 출시하고 전체 가중치 공개를 예고했다.
브리핑작성 coyaSONG
0 views
Moonshot AIMixture of ExpertsCoding Agent
공유하기:
로딩 중...
로딩 중...
Moonshot AI가 2.8조 파라미터, 100만 토큰 문맥과 네이티브 비전을 갖춘 Kimi K3를 API로 출시하고 전체 가중치 공개를 예고했다.
한 문장 요약: Moonshot AI가 2.8조 파라미터, 100만 토큰 문맥과 네이티브 비전을 갖춘 Kimi K3를 API로 출시하고 전체 가중치 공개를 예고했다.
Moonshot AI는 7월 16일 Kimi K3를 공개했다. 전체 2.8조 파라미터, 100만 토큰 문맥, 네이티브 비전 입력을 갖춘 초대형 희소 MoE 모델이다. 장시간 코딩, 지식 업무와 추론을 주된 대상으로 삼았으며 Kimi 웹·Work·Code와 kimi-k3 API에서 바로 제공하기 시작했다.
여기서 “공개 모델”의 상태는 구분해서 읽어야 한다. 발표 당일 사용할 수 있었던 것은 회사가 호스팅하는 제품과 API다. 전체 가중치는 7월 27일까지, 아키텍처·학습·평가를 담은 기술 보고서는 이후 공개하겠다고 밝혔다. 따라서 발표 시점에는 가중치를 내려받아 자체 서빙하거나 구조 주장을 완전히 대조할 수 없었다.
K3는 Kimi Delta Attention(KDA), Attention Residuals(AttnRes), Stable LatentMoE를 결합한다. 토큰마다 896개 전문가 중 16개만 활성화해 2.8조 파라미터 전체를 매번 계산하지 않는다. AttnRes는 깊이에 따라 표현을 일률적으로 누적하는 대신 이전 층의 표현을 선택적으로 가져오며, KDA는 긴 시퀀스의 어텐션 비용을 줄이는 기반으로 설명됐다.
이 정도 희소성에서는 모델 수치보다 라우팅과 통신이 먼저 병목이 된다. Moonshot은 라우터 점수 분위수로 전문가 할당을 맞추는 Quantile Balancing, 어텐션 헤드별 최적화, 정적 shape와 호스트 동기화가 없는 expert-parallel 학습을 제시했다. SFT 단계부터 MXFP4 가중치와 MXFP8 활성값을 고려한 양자화 인지 학습도 적용했다. KDA용 prefill cache를 vLLM에 기여하겠다고 밝혔지만, 효율적인 배포에는 64개 이상 가속기로 구성된 supernode를 권장했다.
K3는 공개 모델도 아키텍처와 추론 인프라를 함께 설계해야 수조 파라미터 규모로 확장할 수 있음을 보여준다. 희소 활성화는 FLOP을 줄이지만 전체 가중치 저장, 전문가 간 all-to-all 통신, 라우터 불균형과 KV 캐시 문제를 없애지 않는다. 자체 호스팅을 검토하는 팀이라면 “활성 파라미터가 적다”는 문구보다 노드 구성, 네트워크 대역폭, 실제 처리량과 장애 복구 방식을 먼저 봐야 한다.
코딩 에이전트 통합에도 모델과 하네스의 계약이 중요하다. 공식 제한 사항에 따르면 K3는 이전 thinking history를 보존해 다시 전달해야 하며, 다른 모델로 시작한 세션에서 중간 교체하면 출력 품질이 불안정해질 수 있다. 사소한 모호성에도 사용자를 대신해 예상 밖 결정을 내리는 과도한 주도성도 공개됐다. 모델 라우팅과 권한 정책은 별개 계층으로 설계해야 한다.
발표사의 코딩·에이전트 평가는 Kimi Code, Claude Code, Codex 등 서로 다른 하네스를 사용하고 일부는 내부 벤치마크다. 최대 추론 노력과 장시간 샌드박스가 사용된 결과도 있어 일반 API 요청의 지연·비용과 같지 않다. 이 글은 해당 점수를 직접 재현하지 않았으며, 발표사 역시 종합 성능과 사용자 경험에서 일부 최상위 폐쇄 모델에 뒤처진다고 명시했다.
도입 전에는 동일한 저장소·도구·권한과 고정된 예산으로 작업 완료율, 테스트 통과율, 벽시계 시간, 총 토큰과 캐시 적중률을 함께 측정해야 한다. 장문맥은 정보 회상뿐 아니라 중간 지시 손실과 캐시 미스 비용을 확인해야 한다. 가중치·라이선스·기술 보고서가 실제 공개된 뒤 체크섬, 런타임 지원과 재현 가능한 평가 절차를 다시 확인하는 것도 남은 검증 항목이다.