Стенд CIPHER
CIPHER — это песочница, стенд и место, где ломают конфигурации до того, как их увидит заказчик. Любая фраза «у нас работает» на основном сайте означает «работает вот на этой машине».
Это не спецификация поставки. Коробка заказчика собирается на железе новее: другая видеокарта, зеркало из двух NVMe, ИБП с двойным преобразованием — полная спецификация на основном сайте. Стенд намеренно слабее: если стек ведёт себя прилично здесь, на поставочной машине он хуже не станет.
Конфигурация стенда и поставки
| Позиция | Полигон CIPHER | Tier 1 · AI Core (поставка) |
|---|---|---|
| Процессор | AMD Ryzen 9 PRO 3900, 24 потока | AMD Ryzen 9 7900, 12 ядер |
| Оперативная память | 32 ГБ | 32 ГБ DDR5-6000 |
| Видеокарта | NVIDIA RTX 4060 Ti, 16 ГБ | NVIDIA RTX 5060 Ti, 16 ГБ |
| Накопитель | NVMe 256 ГБ | 2× 2 ТБ NVMe, зеркало ZFS |
| Операционная система | Debian 13 (trixie), ядро 6.12 | Debian 13 (trixie), ядро 6.12 |
| Драйвер | NVIDIA 550.163.01 · CUDA 12.4 | ветка 570+ · CUDA 12.8+ |
| Контейнеризация | Docker 29.5.2 | Docker 29.5.2 |
| Питание | бытовой ИБП | ИБП онлайн, чистая синусоида |
Разница между колонками намеренная. Драйвер ветки 550 корректен для карты стенда, но для карт 50-й серии не подходит вовсе — на поставочной машине идёт ветка 570 с CUDA 12.8. Ровно так же и с накопителем: если конфигурация ведёт себя прилично на одиночном NVMe на 256 ГБ, на зеркале из двух терабайтников она хуже не станет. Полный список программных компонентов — в разделе Стек и версии.
Куда уходит видеопамять
Схема планирования, а не замер: точные объёмы зависят от модели, степени квантования и длины контекста. На Tier 2 карты не складываются в одну большую — задачи разносятся по двум. Смысл картинки в другом — веса и голосовые модели занимают примерно одинаковое место на любой карте, а растёт с объёмом именно запас и место под длинный контекст.
Замеры
| Показатель | Значение | Условия |
|---|---|---|
| Один поиск: гибрид + переранжирование | 0,3 с | на видеокарте, половинная точность; было 16,5 с на процессоре. Замер |
| Полный ответ с поиском по документам | 15 с в среднем | от 9 до 25 с в зависимости от модели; было 66 с |
| Нужный фрагмент найден поиском | 45 из 45 | размеченный набор; в первой тройке — 44 из 45 |
| Верных ответов с базой знаний | 49 из 50 | младшая модель, эталонный корпус; 2 %, доверительный интервал 0–10 %. Замер |
| Верных ответов без базы знаний | 0 из 50 | у всех трёх моделей; корпус заведомо вне обучающих данных |
| Запросов в прогонах без единого сбоя | 386 | надёжность конвейера за день прогонов, не точность ответов |
| Скорость генерации, токенов в секунду | — не опубликовано | модель и окно фиксируются в момент замера |
| Время до первого токена | — не опубликовано | запрос с 5 фрагментами контекста |
| Распознавание речи, реплика 15 секунд | — не опубликовано | okb-stt, large-v3-turbo |
| Синтез речи, ответ 300 символов | — не опубликовано | openedai-speech, XTTS |
| Загрузка архива: 500 документов | — не опубликовано | смешанный корпус, часть через OCR |
Цифры мы публикуем только после прогона на стенде и только вместе с условиями замера. Первые замеры сняты 18 и 20 сентября и подробно разобраны в серии «Замеры»; остальные строки закроются следующими прогонами. Чужие бенчмарки и «до 40 токенов в секунду» из презентаций к вашей нагрузке отношения не имеют: результат зависит от модели, квантования, длины контекста и числа одновременных сессий. Как только очередной прогон закрыт — таблица обновляется.
Проверки устойчивости · 20.09.2026
Методика
- Модель, степень квантования, длину контекстного окна.
- Число одновременных сессий и тип нагрузки — текст или голос.
- Состав корпуса: сколько фрагментов, какая доля прошла через распознавание.
- Версии сервисов из раздела «Стек и версии» на дату прогона.
- Не показываем лучший прогон из десяти. Публикуется типовой, а не рекордный.
- Не смешиваем замеры с разных конфигураций в одну таблицу.
- Не переносим цифры со стенда на бокс заказчика без оговорки: другая карта — другие числа.
- Не называем скорость «до N», когда N достигается один раз из двадцати.