K-EXAONE 2.0: 기존 MoE를 750B로 업사이클링하다

한 문장 요약: LG AI Research가 기존 K-EXAONE을 깊이와 전문가 축으로 확장한 750B·37B 활성 오픈 웨이트 모델 K-EXAONE 2.0을 공개했다.

무엇이 발표됐나

LG AI Research는 8월 5일 K-EXAONE 2.0 기술 보고서와 Apache 2.0 모델을 공개했다. 전체 750B 파라미터 중 토큰마다 약 37B를 활성화하는 희소 Mixture-of-Experts(MoE) 모델이다. 최대 256K 문맥과 사고·비사고 모드, 에이전트 코딩과 도구 호출을 지원한다. 기존 6개 언어에 프랑스어·이탈리아어·폴란드어·포르투갈어를 더해 10개 언어를 다룬다.

처음부터 다시 학습하지 않은 확장

핵심은 이전 236B K-EXAONE의 가중치와 라우팅을 버리지 않은 업사이클링이다. 4개 층 단위 블록을 복제해 48개 층을 78개로 늘리고, 각 MoE 층의 라우팅 전문가를 128개에서 256개로 복제했다. 같은 전문가 두 사본이 동일한 그래디언트를 받지 않도록 노름을 보존하는 회전 노이즈로 대칭을 깼다. 토큰마다 고르는 라우팅 전문가 8개와 공유 전문가 1개, 토크나이저와 라우터 정책은 계승했다. 이후 안정화 단계와 8조 토큰의 연속 사전학습을 수행했다.

긴 문맥은 슬라이딩 윈도 어텐션 세 층과 전역 어텐션 한 층을 반복하는 하이브리드 구조로 처리한다. 깊은 전문가에서 저정밀 연산을 깨뜨릴 정도로 커진 SwiGLU 활성값은 마지막 16개 층에서 제한했다. 용량만 키운 것이 아니라 학습·추론 안정성까지 세대 확장의 일부로 다룬 셈이다.

추론 비용을 줄이는 두 초안 경로

본체에는 다음 토큰 여러 개를 예측하는 MTP 헤드가 함께 학습됐다. 최종 본체를 고정한 뒤에는 7개 토큰 블록을 한 번에 제안하는 2.53B DSpark 초안 모델도 붙였다. 블록 확산으로 병렬 초안을 만들고 가벼운 순차 모듈로 블록 내부 의존성을 보정한다. 공식 8×H200 평가에서 DSpark는 일반 디코딩 대비 1.81~2.57배 속도를 보고했지만, 도메인·사고 모드·배치와 하드웨어가 달라지면 수용률도 달라진다.

개발자에게 왜 중요한가

이 발표는 대형 모델의 세대교체를 체크포인트 폐기와 전면 재학습으로만 볼 필요가 없음을 보여준다. 기존 능력을 보존하면서 깊이와 전문가 용량을 늘리고, 같은 본체에 여러 추측 디코딩 경로를 붙이는 설계는 학습 투자와 서빙 최적화를 함께 비교하게 한다. 반면 활성 37B라는 수치가 작은 배포를 뜻하지는 않는다. 750B 전체 가중치 저장, 전문가 병렬 통신과 256K KV 캐시가 실제 인프라 비용을 결정한다.

한계와 검증 포인트

공개 점수는 발표사 하네스와 다른 모델의 공식 점수가 섞여 있다. SWE-bench Verified는 작업당 최대 4시간과 256K 문맥을 허용했고, 장문맥 MRCR 점수는 모델 최대치가 아닌 128K까지만 평가했다. 이 글은 성능과 DSpark 속도를 재현하지 않았다. 도입 전에는 동일한 런타임·양자화·하네스에서 한국어 업무 정확도, 작업 완료율, 전문가 통신량, 첫 토큰과 전체 지연을 측정해야 한다. 보고서에서도 세계 지식·코딩·에이전트 평가 다수는 비교 모델보다 낮아, 한국어 특화라는 이유만으로 범용 프런티어 모델을 대체한다고 볼 수 없다.

공식 1차 출처

• K-EXAONE 2.0 Technical Report — LG AI Research, 2026-08-05