ArXiv link for DeepInfer-Mac: Running a 750B-Class MoE on a 24 GB Laptop

DeepSeek, comparte gratis el motor, que hace volar su inteligencia artificial, DeepInfer, framework de inferencia

ArXiv link for DeepInfer-Mac: Running a 750B-Class MoE on a 24 GB Laptop

Over the last two weeks I wrote a series of posts about what happens when DeepInfer puts batch-invariant inference, deterministic sampling and schema-constra...

I’ve spent the last couple of weeks writing about DeepInfer and the shape of the answer, walking through one industry at a time. Starting Monday I’ll publish...

DeepInfer: High-performance, large-scale inference framework for DeepSeek models - deepseek-ai/DeepInfer

DeepInfer lets developers self-host V4.1 Flash with DeepSeek’s own optimizations, but stops short of a complete production stack.

Last week I wrote about DeepInfer and the shape of the answer, and how batch-invariant inference, deterministic sampling and schema-constrained outputs make ...

Called DeepInfer, the platform could pull more American businesses towards Chinese open-source models.

Open-source DeepInfer framework designed to make AI models cheaper and more efficient to deploy, Chinese start-up says.

What Happened Three developments stand out. Google open-sourced TorchTPU to let PyTorch applications run on its TPUs with configuration changes rather than code rewrites [2]. DeepSeek open-sourced DeepInfer, the vLLM-based…

Last week I wrote about DeepInfer and the shape of the answer, and how batch-invariant inference, deterministic sampling and schema-constrained output make v...

**$38 выручки на GPU-час.** Столько DeepSeek снимает с одного кластера, который отдаёт 155 трлн токенов в сутки. Цифра опубликована 20 октября вместе с исходным кодом DeepInfer — движка, на котором работают сервисы компании. Для рынка это редкий якорь. Западные лаборатории не раскрывают выручку на ускоритель. DeepSeek раскрыла, и сразу появились оценки маржи в 84–96%. Обе цифры описывают одно железо. И обе что-то не договаривают. ## Цена одного GPU-часа Сначала о том, что именно измерено. $38 — выручка, а не прибыль. Причём при ценах непикового периода, когда токены продаются дешевле всего. В часы пик ставка выше. Средняя за сутки тоже. Компания дала нижнюю границу, и это удобно: такую цифру труднее опровергнуть. Выручка на GPU-час удобна тем, что не зависит от размера кластера. Она переводит разговор из «сколько стоит модель» в «сколько приносит ускоритель». Для арендодателя это знакомая метрика: доход сравнивают с амортизацией и электричеством. 155 трлн токенов в сутки #### Нагрузка одного кластера Суточный объём одного производственного кластера DeepSeek. · _DeepSeek, 2026_ $38 выручка на GPU-час #### Ставка непикового периода Выручка, не маржа. Оценка компании для одного кластера. · _DeepSeek, 2026_ Ещё две цифры из того же раскрытия: 96% входных токенов приходят из кэша, а сам кэш занимает около 100 PiB. История диалога хранится три дня для агентских запросов и семь дней для чатов. Кэш объясняет экономику лучше, чем цена железа. Повторный запрос с тем же контекстом не требует нового префилла. GPU считает только хвост разговора. Метрика не говорит, сколько стоит токен. Внутри часа смешаны дешёвые попадания в кэш и дорогая генерация. Два провайдера с одинаковой выручкой на GPU-час могут иметь разную цену за токен и разную маржу. 96% попаданий в кэш входа #### Доля повторного контекста Заявленная доля входных токенов, взятых из кэша. · _DeepSeek, 2026_ ## Что лежит в открытом репозитории Репозиторий создан 16 октября, релиз вышел 20-го. Пять коммитов, лицензия Apache 2.0, одна поддерживаемая модель — DeepSeek-V4.1-Flash. Заявлены NVIDIA SM100 и Huawei Ascend 950. Открытая часть — офлайн-инференс. Полный сервис требует трёх компонентов, которых в релизе нет. Разница между префиллом и декодом объясняет странную на первый взгляд асимметрию. На префилле веса читаются из памяти один раз и используются для тысяч токенов промпта. Считает арифметика, а не память. На декоде веса приходится читать заново для каждого нового токена. Ускоритель ждёт память. Поэтому декод требует широкой группы: 64–128 GPU, связанных быстрой шиной. Отношение префилла к декоду в документации — примерно 1:1. Восьми GPU хватает, чтобы держать веса. Их не хватает, чтобы держать темп. Компонент| В открытом релизе| Для боевого сервиса ---|---|--- **Кэш KV** | ✔ базовый блок-кэш и SWA | ✗ система хранения и политика попаданий **Разделение стадий** | ◐ код почти готов | ✗ развёртывание на операторе **Балансировка реплик** | ✗ нет | ✗ остаётся внутри Состав релиза DeepInfer, 20 октября 2026 года. Источник: GitHub, DeepInfer README. Пропуск существенный. Без системы кэша кластер не удержит 96% попаданий. Без разделения префилла и декода не получится управлять задержкой на длинном контексте. Без балансировки реплик один горячий эксперт тормозит всю группу. Что действительно открыто, так это оптимизации. DSpark предлагает пять черновых токенов и проверяет те, в которых уверена голова предсказания. На боевой нагрузке около 60 запросов на GPU выигрыш 4–7%. При 96 запросах — 11%. При 16 запросах — минус 1,5%. Второй приём — ограниченный повтор декодера. В декодер заново уходят только последние 128 токенов промпта. DeepSeek оценивает экономию почти в половину вычислений на префилле. Обе оптимизации заточены под плотную нагрузку. В тихом кластере они вредят. Третья оптимизация — балансировка экспертов. На декоде каждая из 64 GPU хранит семь экспертов, и шаг ждёт самую медленную. DeepInfer держит на каждой GPU свободные слоты под копии горячих экспертов и переставляет их каждые 10 тыс. шагов. Самый загруженный ускоритель получает примерно на 9% больше токенов, чем средний. Есть и цена масштаба. В группе из 64 GPU один отказавший ускоритель роняет весь экземпляр. После перезапуска группа собирается из здоровых GPU и берёт их число за размер экспертного параллелизма. Выключение даёт минуту на передачу незавершённых запросов соседям. Один поддерживаемый вариант модели — ограничение не только техническое. Заказчик с несколькими моделями получит выгоду лишь на части нагрузки. Остальное придётся обслуживать другим движком, а значит, держать два набора инженерных компетенций. ## Два полюса маржи Сторона оптимистов считает просто. Если железо приносит $38 в час, а амортизация и электричество стоят единицы долларов, маржа огромна. Оценка в 84–96% выглядит подтверждением. Аргумент в пользу дешёвых токенов строят на трёх числах: 155 трлн в сутки, 96% кэша, 128 GPU в минимальной эффективной конфигурации. Такой набор позволяет продавать инференс ниже западных цен и всё равно зарабатывать. Оптимисты добавляют второй довод: открытый код ускоряет падение цен на токены. Если движок доступен бесплатно, конкурировать приходится не лицензией, а железом и загрузкой. Для покупателя это выгодно. Сторона скептиков смотрит на знаменатель. В оценке 84–96% нет затрат на хранение, сеть, обучение, исследования и персонал. Нет и стоимости простоя. #### ✔ Что говорит за дешёвый инференс + 155 трлн токенов в сутки на одном кластере + 96% входных токенов берутся из кэша + движок работает на двух линейках ускорителей **Критерий подтверждения:** независимый замер повторит ставку на сопоставимой нагрузке. #### ✗ Что говорит против − $38 — это выручка, а не прибыль − оценка маржи не включает хранение, сеть, обучение и персонал − все замеры сделаны на железе NVIDIA − открытый релиз не содержит трёх систем для боевого сервиса **Критерий опровержения:** ставка упадёт ниже $38 при полном учёте затрат. У открытия есть стратегическая логика. Компания продаёт токены, а не движок. Открытый код обесценивает чужие проприетарные надстройки над сервисом и привязывает покупателя к формату DeepSeek. Похожую тактику когда-то применяли производители чипов, открывая компиляторы. Сам DeepSeek называет $38 выручкой. Не маржой. Разница в одном слове, а в ней вся дискуссия. ## Мост: где ломается расчёт Первый разрыв — масштаб. Минимальная эффективная единица, по документации, это 64 GPU на префилл плюс 64 GPU на декод. Восемь GPU дают около 94% пропускной способности на ускоритель в пакетном режиме. В интерактивном — в восемь раз меньше. То есть маленький кластер умеет дёшево считать офлайн. Живой чат он обслуживает плохо. Второй разрыв — кэш. 96% попаданий держатся на пуле в 100 PiB и на хранении истории в течение нескольких дней. Каждый GPU получает 14,4 ТБ логического места, физически это около 17 ТБ из-за кодирования 10+2. По оценке JarvisLabs, такая память добавляет меньше $0,50 на GPU-час. Арифметика простая. 14,4 ТБ на GPU при цене около $500 за терабайт дают примерно $8,5 тыс. на ускоритель. За пять лет это около $0,20 на GPU-час. Даже с двойным запасом на серверы, сеть и питание выходит меньше $0,50. Хранение дешёвое. Условие его окупаемости — повторяемость запросов. Агенты и чаты её дают. Разовые пакетные задачи — нет. Доля попаданий описывает трафик DeepSeek. У агентов высокая повторяемость: системный промпт, история, инструменты. У генерации кода с длинными уникальными файлами доля ниже, и экономика сразу меняется. Третий разрыв — открытость. Купив железо и скачав репозиторий, заказчик получает движок без трёх систем, которые превращают движок в сервис. Их придётся строить самому. ⚠️ **Четыре допущения, без которых $38 не воспроизводится** Кэш попадает в 96% запросов. Кластер держит не меньше 128 GPU. Нагрузка близка к 60 запросам на GPU. Замеры сделаны на NVIDIA, а не на Huawei. Четвёртый разрыв — выборка. Все опубликованные замеры сделаны на NVIDIA. Режим, который сохраняет одинаковый результат при разном составе пакета, тоже работает только на NVIDIA. Поддержка Huawei заявлена, но не подтверждена цифрами. Отсюда практический вывод для инженера. Сравнивать $38 с ценой своего кластера можно только после проверки четырёх параметров: доля кэша, размер группы декода, профиль нагрузки и набор доступных оптимизаций. ## Что это меняет для рынка Публичный якорь меняет переговоры. Продавец GPU-часов теперь не может ссылаться на «рыночную цену» без числа. Покупатель может спросить: при каком попадании в кэш и каком размере группы вы получаете свою ставку? Второй эффект — сдвиг конкуренции с модели на стек обслуживания. Веса V4.1-Flash открыты, движок открыт частично. Ценность уходит к тем, кто умеет собрать кэш, разделить стадии и удержать хвост задержки. Лицензия Apache 2.0 снимает юридический барьер для облаков и интеграторов. Вместе с движком вышел пакет DeepSeek-Recipe, который собирает запросы в токены по той же логике, что официальный API. DeepSeek обещает складывать код инференса будущих моделей в тот же репозиторий. Третий эффект — двухконтурное железо. DeepSeek показывает работу на NVIDIA и обещает Huawei. По сообщению Bloomberg, компания планирует разместить не менее 160 тыс. Ascend 950DT в новом дата-центре во Внутренней Монголии. Поддержка Ascend становится стратегическим жестом, а не только техническим. Для западного заказчика практическая ценность скромнее. Он получит движок, который снижает стоимость офлайн-инференса на железе, доступном не всем. Интерактивный сервис ему всё равно придётся строить вокруг. Цифра $38 останется в презентациях. Вопрос в том, что стоит рядом с ней: доля кэша, размер кластера и список вынесенных за скобки расходов. 🎯 $38 — выручка при непиковой цене, не маржа. Открыт движок, а не сервис: кэш, разделение стадий и балансировка остались внутри. Экономика воспроизводится от 128 GPU и при высокой повторяемости запросов. DeepInfer: открытый движок инференса DeepSeek Первичный источник: состав релиза, поддерживаемое железо и список компонентов, которых в открытой версии нет. GitHub / DeepSeek Здесь видно границу между открытым кодом и боевым сервисом. Разбор DeepInfer: что открыли и что оставили себе Инженерный разбор размеров кластера, экономики SSD на GPU и разницы между пакетным и интерактивным режимами. JarvisLabs Помогает перевести маркетинговые цифры в стоимость одного часа. $38 выручки на GPU-час как рыночный ориентир Сводка раскрытия: 155 трлн токенов, 96% кэша, пул на 100 PiB и сторонняя оценка маржи в 84–96%. Dealroom Фиксирует, какие допущения стоят за оценкой маржи. DeepSeek открыла движок своих боевых сервисов Детали DSpark, ограниченного повтора декодера и планов по Ascend 950DT со ссылкой на Bloomberg. SiliconANGLE Даёт контекст по железу и по тому, что осталось за пределами релиза.

DeepInfer lets developers self-host V4.1 Flash with DeepSeek’s own optimizations, but stops short of a complete production stack.

Last week I wrote about DeepInfer and the shape of the answer, and how batch-invariant inference, deterministic sampling, and schema-constrained output make ...

Last week I wrote about DeepInfer and the shape of the answer, and how batch-invariant inference, deterministic sampling and schema-constrained outputs move ...