중국 인공지능(AI) 스타트업 문샷AI가 26일(현지시간) 2조8000억 파라미터 규모의 오픈웨이트 모델 'Kimi K3'를 무료로 공개했다. 당초 예고했던 공개일인 27일보다 하루 앞당겨진 것이다.

Kimi K3는 104만8576개 토큰(약 100만 토큰) 규모의 컨텍스트 윈도를 지원한다. 혼합전문가(MoE) 구조를 채택해 896개 전문가 모듈 중 토큰당 16개만 작동시키며, 실제 활성화되는 파라미터는 약 500억 개 수준이다.

업계에서는 이번 공개를 역대 최대 규모의 오픈웨이트 모델로 평가한다. 다만 4비트(MXFP4) 정밀도로 낮춰도 가중치 구동에 약 1.4테라바이트(TB)의 고속 메모리가 필요해, 개인 워크스테이션이 아닌 클라우드·추론 서비스 업체가 주요 운영 주체가 될 것으로 전망된다. 투게더AI와 모달은 공개와 동시에 호스팅 서비스를 시작했다.

자료