Kolibri: активные параметры — лишь одна часть бюджета развёртывания

3 октября Aleph Alpha выпустила Kolibri — модель со смесью экспертов и открытыми весами, ориентированную на немецкий и английский языки, под лицензией Apache 2.0. В карточке указаны 78B параметров всего и 3.46B активных параметров на токен. Эти числа описывают разные стороны одной модели: меньшее число не означает, что загружаемая или развёрнутая модель содержит лишь 3.46B параметров. [1] [2]

В публичном обсуждении на Reddit пользователи спрашивают о личном оборудовании и заявленном контексте в миллион токенов. Это подводит к полезному вопросу перед покупкой: какой именно ресурс описывает число в заголовке? На наш взгляд, при выборе развёртывания нужны отдельные бюджеты для вычислений на токен, хранения весов в памяти и состояния запросов. Ни один из них не заменяет два других.

Карточка FP8-версии указывает объём весов примерно 78 GB. Для отдельно выпущенной BF16-версии указано примерно 156 GB. Это оценки издателя для весов, а не обещание, что машина с ровно таким объёмом памяти сможет обслуживать нужную нагрузку. Точность представления меняет бюджет хранения, а разреженность определяет, какие вычисления выбираются для каждого токена. [2] [3]

В карточке прямо сказано: модель целиком должна находиться в памяти, хотя в каждый момент активна лишь её часть. Эксперт, не использованный для одного токена, может понадобиться для следующего. Поэтому план ёмкости должен учитывать веса, кэши запросов, буферы среды выполнения и эксплуатационный запас. Рассчитывать необходимую память, уменьшая общее число параметров пропорционально активной доле, неправильно. [2]

Выгрузка части весов или дополнительная квантизация могут открыть другие варианты развёртывания, но правдоподобный вариант ещё не является проверенной конфигурацией. Передача данных, изменение точности и другие вычислительные ядра способны повлиять на задержку или качество. Любую предлагаемую конфигурацию на потребительском оборудовании следует рассматривать как эксперимент со своими критериями приёмки, а не выводить совместимость из числа активных параметров.

Карточка Kolibri различает нативную длину контекста, использованную при обучении, — 262,144 токена — и проверенное расширение до 1,048,576. Для сложных задач и обслуживания, чувствительного к задержке и пропускной способности, рекомендовано не более 262,144 токенов. Раздел отчёта о длинном контексте также описывает зависящее от задачи ухудшение за пределами обученной длины. Расширенный предел, рекомендацию и данные о конкретной нагрузке нужно рассматривать вместе. [2] [4]

Допустим, команда хочет дать нескольким людям возможность одновременно задавать вопросы по длинным документам. Способность принять один очень длинный запрос не показывает, сколько таких запросов сервер сможет качественно обработать одновременно. Состояния запросов конкурируют за память, а обработка входных данных — за вычислительные ресурсы. Измеряйте время до первого ответа, полное время выполнения и одновременный спрос на реальных документах. Максимальная длина контекста сама по себе не становится обещанием уровня обслуживания.

Это не лишает длинный контекст пользы. Совместное размещение связанных доказательств может уменьшить потери от дробления информации. Вопрос в том, насколько дополнительный материал улучшает выполнение задачи и оправдывает ли это расход ресурсов. Сравните компактный релевантный ввод с полным документом и проверьте правильность ответа и подтверждающих его фрагментов.

В отчёте Aleph Alpha пропускная способность измеряется на узле с восемью B200 и синтетическими промптами. Авторы перебирают допустимые схемы распараллеливания, проводят измерения вблизи предела одновременных запросов, задаваемого KV-кэшем, и приводят самую быструю измеренную схему декодирования. Пропускная способность декодированного текста также оценивается с учётом зависящего от токенизатора числа байтов на токен. Эти условия необходимы для понимания сравнения качества и стоимости. [4]

Пропускная способность декодирования при высокой параллельной нагрузке важна для занятого сервиса или обработки с большим объёмом генерации. Но она не показывает напрямую, сколько отдельный пользователь будет ждать ответа по документу. Обработка ввода, очередь, длина рассуждений и проверка результата влияют на реальный опыт. В отчёте также отмечено допущение, что обслуживание в FP8 сохраняет базовые результаты бенчмарков. Это допущение нельзя считать универсальным доказательством равноценности разных точностей. [4]

Обратное упрощение тоже бесполезно: больший объём весов не доказывает плохую экономику. Разреженная модель может эффективно использовать занятую в памяти ёмкость, если подходящей работы достаточно для постоянной загрузки. Сравнивайте число приемлемых завершённых задач на единицу затрат при ожидаемой нагрузке, включая периоды простоя, вместо выбора победителя по одному из чисел параметров.

Опубликованный репозиторий инференса предоставляет плагин vLLM с архитектурой Kolibri и специальными парсерами рассуждений и вызовов инструментов. Согласно README, каждый выпуск поддерживает одну минорную версию vLLM; на момент этой проверки поддерживалась 0.29. Открытые веса дают доступ к модели, но не подтверждают совместимость с любым приложением для инференса или установленной версией. [5]

Фиксируйте вместе ревизию модели, точность, версии плагина и среды выполнения, предел контекста и настройки парсеров. Проверяйте разделение рассуждений и итогового текста, разбор аргументов инструментов, обработку длинного ввода и прерванного запроса. Способность клиента принять формат ответа — лишь часть работающей интеграции. Такая спецификация также помогает оценивать последующие обновления и откаты.

Команде, работающей с немецкими или английскими документами, стоит начать с типичных запросов и независимо проверить ответы по предоставленным материалам. Команде разработчиков — включить реальные схемы инструментов и выходные данные, которые должно обрабатывать приложение. Владельцам инфраструктуры — сравнить ожидаемые периоды высокой и низкой нагрузки. Двуязычная специализация является поводом оценить соответствующие языковые задачи, а не доказательством превосходства во всех задачах на обоих языках.

Небольшой пробный запуск должен ответить на три вопроса: соответствует ли результат требованиям качества, выдерживает ли выбранная машина необходимую нагрузку длительное время и сможет ли команда сопровождать стек инференса? При сравнении альтернатив используйте одинаковые документы, требования к выводу и правила приёмки. Учитывайте повторные попытки и отклонённые результаты в стоимости.

Kolibri — полезный новый вариант, поскольку опубликованные материалы позволяют изучить эти компромиссы. Число 3.46B активных параметров описывает разреженные вычисления; более крупные веса и состояния запросов остаются реальными требованиями к развёртыванию. Практический шаг вперёд — ещё одна модель для проверки на чётко определённой задаче, а не свидетельство исчезновения ограничений памяти, эксплуатационной работы или независимой проверки результатов.