Mistral NeMo 12B: 128K 컨텍스트와 새 토크나이저

한 문장 요약: Mistral AI와 NVIDIA가 12B 크기, 128K 컨텍스트의 공개 모델 Mistral NeMo를 발표했다.

무엇이 발표됐나

Mistral AI·NVIDIA의 공식 발표일은 2024-07-18다. 이날 공개된 Mistral NeMo의 핵심은 다음과 같다. Tekken 토크나이저와 FP8 추론 지원, Apache 2.0 가중치를 제공했다.

기술적으로 볼 지점

약 13만 어휘의 다국어 토크나이저로 특히 코드와 비영어권 텍스트의 토큰 효율을 높이고 기존 7B 배포 자리와의 호환성을 노렸다.

왜 중요했고, 무엇을 경계해야 하나

중형 모델에서도 긴 컨텍스트와 다국어 성능을 함께 제공하며 로컬·엣지 배포의 선택지를 확장했다.

128K 입력 허용이 전 구간의 정확한 회상을 보장하지 않으며 FP8 이점은 지원 하드웨어와 커널에 의존했다.

이 글은 발표 당시의 핵심을 빠르게 확인하기 위한 브리핑이다. 수치와 제공 범위는 아래 1차 출처를 기준으로 정리했으며, 별도의 직접 벤치마크를 수행했다는 의미는 아니다.

공식 1차 출처

• Mistral NeMo — Mistral AI·NVIDIA, 2024-07-18