Китайская компания Moonshot AI представила большую языковую модель Kimi K3 — она располагает 2,8 трлн параметров и поддерживает до 1 млн токенов, умея работать не только с текстом, но также с изображениями и видео. Модель справляется со сложными задачами на программирование, научными исследованиями и прочими многоэтапными задачами.
Разработчики признают, что по возможностям Kimi K3 пока уступает самым мощным в мире закрытым моделям — Anthropic Claude Fable 5 и OpenAI GPT-5.6 Sol; но среди открытых она в большинстве тестов демонстрирует лучшие результаты. Полные веса модели компания намерена опубликовать до 27 июля вместе с техническим отчётом, где будут представлены описание архитектуры, механизмы обучения и результаты тестирования.
Главные изменения по сравнению с предыдущим поколением — архитектура Kimi Delta Attention (KDA) и механизм Attention Residuals (AttnRes). Они позволяют модели эффективнее удерживать контекст при длительных цепочках рассуждений. Архитектура Mixture-of-Experts (MoE) включает 896 «экспертов», из которых одновременно активируются 16, что значительно снижает вычислительную нагрузку.
На практике эти решения позволяют Kimi K3 работать с очень крупными репозиториями кода, самостоятельно обращаться к интерфейсу командной строки и средствам разработки, анализировать скриншоты интерфейсов, а также помогать в разработке игр, веб- и CAD-проектов. В рамках испытаний модель написала собственный компилятор для программирования графических процессоров, а также за 48 часов спроектировала собственный чип для инференса ИИ
As an early proof of concept, Kimi K3 designed a chip to serve a nano model built on its own architecture. In a single 48-hour autonomous run, K3 built, optimized, and verified the chip using open-source EDA tools on the Nangate 45nm library. Within 4 mm², the chip closes timing at 100 MHz and sustains over 8,700 tokens/s decode throughput in simulation, packing 1.46M standard cells, 0.277 MB of SRAM, and an INT4 MAC array with fused dequantization.
Когда модели поставили задачу в области вычислительной астрофизики, она самостоятельно изучила 20 научных статей, спроектировала вычислительный конвейер, обработала более 300 уравнений состояния, нашла несоответствия в опубликованных формулах, написала более 3000 строк на Python и визуализировала результаты в HTML. У человека эта работа заняла бы до двух недель — модель справилась за два часа.
Kimi K3 является мультимодальной. Она умеет работать с видео: создавать обучающие ролики и заниматься монтажом, подбирать фрагменты видео и синхронизировать визуальный ряд с музыкой: в одном из примеров она самостоятельно смонтировала рекламное видео из 56 исходных фрагментов — даже у опытного монтажёра эта задача заняла бы до двух рабочих дней.
we recommend deploying Kimi K3 on supernode configurations with 64 or more accelerators.
Линукс здесь, наверное, не причём, бо его в 3000 строк кода не запихнёшь. Пичаль, но аппаратные требования тоже конские.
