Inkling 공개: 41B 활성 멀티모달 모델을 직접 튜닝하다

한 문장 요약: Thinking Machines Lab이 975B 파라미터 중 41B를 활성화하고 텍스트·이미지·오디오를 처리하는 Apache 2.0 모델 Inkling을 공개했다.

무엇이 발표됐나

Thinking Machines Lab은 7월 15일 첫 자체 기반 모델 Inkling을 공개했다. 975B 전체 파라미터 중 토큰마다 41B를 활성화하는 Mixture-of-Experts(MoE) 모델이며 최대 100만 토큰 문맥과 텍스트·이미지·오디오 입력을 지원한다. 사전학습에는 네 가지 모달리티를 포함한 45조 토큰을 사용했다고 밝혔다.

이번 발표의 실질적인 제공 범위는 넓다. Apache 2.0 전체 가중치를 Hugging Face에 BF16과 NVFP4 형식으로 배포했고, Tinker에서 즉시 파인튜닝할 수 있게 했다. SGLang·vLLM·Transformers 등 자체 서빙 경로와 여러 파트너 API도 함께 열었다. 다만 더 작은 Inkling-Small은 가중치가 없는 프리뷰다.

기술 구조에서 볼 지점

각 MoE 층은 256개 라우팅 전문가와 항상 켜지는 공유 전문가 2개로 구성되며, 토큰마다 라우팅 전문가 6개를 선택한다. 어텐션은 슬라이딩 윈도와 전역 층을 5:1로 섞고 8개 KV 헤드를 쓴다. 널리 쓰이는 RoPE 대신 긴 시퀀스로의 외삽을 고려한 상대 위치 임베딩을 채택한 점도 눈에 띈다.

이미지는 40×40 패치와 얕은 계층형 MLP로, 오디오는 dMel 스펙트로그램으로 바꾼 뒤 가벼운 임베딩을 거쳐 텍스트 토큰과 같은 디코더에서 처리한다. 후학습은 3천만 회가 넘는 비동기 RL rollout까지 확장했고, 시스템 메시지와 토큰 비용을 바꿔 추론 노력을 조절하도록 학습했다. 개발자는 최고 점수 하나보다 노력 설정에 따른 정확도·토큰·지연 곡선을 모델 라우팅에 활용할 수 있다.

개발자에게 왜 중요한가

Inkling의 차별점은 최고 성능을 주장하는 데 있지 않다. 발표사도 가장 강한 공개·폐쇄 모델은 아니라고 선을 그었다. 대신 실제 가중치, 범용 멀티모달 입력, 파인튜닝 서비스와 오픈 추론 런타임을 한 번에 제공해 “어떤 API가 가장 똑똑한가”를 “어떤 기반 모델을 우리 평가와 데이터로 바꿀 수 있는가”라는 질문으로 이동시킨다.

특히 도메인 후학습을 계획한다면 기본 모델과 튜닝 모델을 같은 하네스에서 비교해야 한다. 업무 성공률뿐 아니라 생성 토큰, 첫 토큰·전체 지연, 확신도 보정, 안전 거절의 회귀를 함께 측정해야 한다. 오디오와 이미지가 섞인 작업은 모달리티별 실패가 최종 답변에서 가려지지 않도록 중간 입력 품질도 기록할 필요가 있다.

한계와 검증 포인트

자체 호스팅의 진입 비용은 높다. 공식 모델 카드 기준 BF16은 최소 2TB, NVFP4도 최소 600GB의 합산 GPU 메모리를 요구한다. 최대 문맥은 100만 토큰이지만 Tinker의 제공 옵션은 64K와 256K이므로, 모델 사양과 사용하는 서비스의 실행 한도를 구분해야 한다.

공개 벤치마크에는 외부 점수와 내부 하네스 결과가 섞여 있고 코딩 평가는 최대 256K 궤적에서 수행됐다. 이 글은 해당 수치를 직접 재현하지 않았다. 학습 데이터도 공개 웹·제3자 취득·합성 자료라는 범주만 밝혀져 있어, 라이선스와 언어·도메인 편향은 배포자가 별도로 검토해야 한다. 파인튜닝은 내장 안전 행동도 바꿀 수 있으므로 출력 필터, 권한 제한, 공격 테스트를 모델 밖에 유지하는 편이 안전하다.

공식 1차 출처

• Inkling: Our open-weights model — Thinking Machines Lab, 2026-07-15
• Inkling Model Card — 아키텍처, 배포 요구 사항, 평가와 제한
• Inkling weights on Hugging Face — Apache 2.0 가중치와 실행 자료