Mixtral 8x22B: 더 큰 희소 MoE를 오픈 가중치로

한 문장 요약: Mistral AI가 8개 전문가 중 2개를 활성화하는 대형 희소 MoE 모델 Mixtral 8x22B를 공개했다.

무엇이 발표됐나

Mistral AI의 공식 발표일은 2024-04-17다. 이날 공개된 Mixtral 8x22B의 핵심은 다음과 같다. Apache 2.0 라이선스 가중치와 64K 컨텍스트, 다국어·코딩·함수 호출 능력을 제공했다.

기술적으로 볼 지점

141B 전체 파라미터 중 요청마다 약 39B를 활성화해 밀집 모델보다 계산량을 낮추면서 모델 용량을 확장했다.

왜 중요했고, 무엇을 경계해야 하나

대형 오픈 모델에서도 희소 구조가 현실적인 성능·비용 절충안이 되며 자체 호스팅 선택지가 넓어졌다.

활성 파라미터가 적어도 전체 가중치를 저장해야 하므로 메모리 요구량이 크고 분산 라우팅 최적화가 필요했다.

이 글은 발표 당시의 핵심을 빠르게 확인하기 위한 브리핑이다. 수치와 제공 범위는 아래 1차 출처를 기준으로 정리했으며, 별도의 직접 벤치마크를 수행했다는 의미는 아니다.

공식 1차 출처

• Cheaper, Better, Faster, Stronger — Mistral AI, 2024-04-17