Llama 4 Scout·Maverick: Meta도 네이티브 멀티모달 MoE로
Meta가 네이티브 멀티모달 MoE 모델 Llama 4 Scout와 Maverick의 가중치를 공개했다.
브리핑작성 coyaSONG
0 views
MetaLlamaMixture of Experts
공유하기:
한 문장 요약: Meta가 네이티브 멀티모달 MoE 모델 Llama 4 Scout와 Maverick의 가중치를 공개했다.
무엇이 발표됐나
Meta의 공식 발표일은 2025-04-05다. 이날 공개된 Llama 4 Scout and Maverick의 핵심은 다음과 같다. Scout는 1천만 토큰 컨텍스트, Maverick은 더 많은 전문가 용량을 제공하고 Behemoth 교사 모델을 예고했다.
기술적으로 볼 지점
텍스트와 비전을 공동 사전학습하고 요청마다 일부 전문가만 활성화해 전체 모델 용량과 추론 비용을 분리했다.
왜 중요했고, 무엇을 경계해야 하나
Llama 생태계가 밀집 텍스트 모델에서 장문맥·멀티모달·희소 구조로 큰 세대 전환을 했다.
과도하게 긴 컨텍스트의 실효 정확도와 MoE 운영 복잡성, 라이선스의 지역·규모 조건을 별도로 확인해야 했다.
이 글은 발표 당시의 핵심을 빠르게 확인하기 위한 브리핑이다. 수치와 제공 범위는 아래 1차 출처를 기준으로 정리했으며, 별도의 직접 벤치마크를 수행했다는 의미는 아니다.
공식 1차 출처
- Introducing Llama 4 — Meta, 2025-04-05