При сборке бокса можно ошибиться почти в любом компоненте и починить это позже: добавить оперативной памяти, поменять диск, доложить сеть. Единственная позиция, где ошибка стоит новой карты, — объём видеопамяти. Поэтому её выбирают первой, а всё остальное подгоняют под неё.
На что тратится видеопамять
Расход складывается из пяти частей, и только первая из них очевидна.
- Веса модели. Основная и самая предсказуемая статья. Модель на 12 миллиардов параметров в типичном квантованном виде занимает единицы гигабайт; чем выше точность квантования, тем больше и тем аккуратнее ответы.
- Контекст (KV-кэш). Растёт вместе с длиной диалога и количеством найденных фрагментов, которые мы подкладываем модели. Именно эта часть коварна: на коротких вопросах её почти не видно, на длинном разборе документа она отъедает заметный кусок.
- Голосовой контур. Распознавание и синтез держат свои модели. Они меньше языковой, но они там есть.
- Поиск по документам. Эмбеддинги и переранжирование можно считать на процессоре или на карте. На карте поиск быстрее в десятки раз — на стенде 0,3 секунды против 16,5, — но он занимает её память. Это выбор, а не бесплатное ускорение: замер.
- Запас. Память, которую нельзя занимать. Когда её не остаётся, система не «немного замедляется» — она падает с ошибкой нехватки памяти или начинает выгружать модель на диск, что по ощущениям хуже падения.
Считать надо не «влезет ли модель», а «влезет ли модель вместе с длинным контекстом, поиском, распознаванием, синтезом и запасом». Первая арифметика даёт красивую презентацию, вторая — работающий сервер.
Как это ложится на тарифные контуры
Tier 1, он же AI Core — одна карта на 16 ГБ. Модель уровня Gemma 4 на 12 миллиардов параметров, гибридный поиск, умный OCR, голосовой контур. Одной карты хватает на небольшую рабочую группу, но с оговоркой, которая записана в договор: голос и работа с документами идут по очереди, не одновременно. Шестнадцати гигабайт не хватит, чтобы держать резидентно и языковую модель, и распознавание, и синтез, и переранжирование.
Tier 2, он же AI Power — две карты по 16 ГБ. И это принципиально не «модель побольше», а разнос сервисов: языковая модель остаётся на первой карте, распознавание речи, синтез, эмбеддинги и переранжирование уезжают на вторую. Отсюда два следствия. Первое: голосовая нагрузка идёт параллельно работе с документами, а не в очередь. Второе: при отказе одной карты контур деградирует, а не падает — вторая половина продолжает отвечать. Здесь же живёт режим обязательного цитирования — про него отдельный разбор.
Что дальше. Конфигурации сверх двух карт мы обсуждаем по запросу и только после разведки: пока такой сборки у нас не стояло, обещать по ней сроки и поведение было бы выдумкой.
Почему не взять сразу максимум
Потому что деньги заказчика — не абстракция, а Setup fee, который он платит один раз и сразу. Вторая карта в боксе, где идут только текстовые вопросы и никто параллельно не пользуется голосом, — это оплаченный воздух: она будет простаивать, только за деньги.
Правильная последовательность обратная: сначала понять сценарий (как часто спрашивают, какие документы, нужен ли голос, нужен ли параллельный доступ), потом подобрать карту. Если сценарий неизвестен — а на старте он часто неизвестен честно, — разумнее начать с Tier 1 и увидеть реальную нагрузку. Платформа под обе конфигурации одна: два полноразмерных слота и киловаттный блок питания ставятся сразу, поэтому апгрейд до Tier 2 — это приезд на день и установка второй карты, а не новая коробка и не новый проект.
Не только память
Видеопамять определяет, поместится ли задача. Скорость определяют другие вещи, и о них тоже стоит знать:
- Пропускная способность памяти карты — от неё напрямую зависит скорость генерации токенов.
- Процессор и оперативная память — на них ложатся индексация, распознавание документов при загрузке архива и работа хранилища, а если поиск оставлен на процессоре — то и время ответа: тогда именно поиск, а не модель, решает, сколько человек будет ждать.
- Диск. NVMe нужен не ради красоты: векторное хранилище и база документов живут именно там, а бэкап в 03:30 не должен пересекаться с рабочим днём.
Конкретные значения — скорость генерации, время ответа, объём базы — зависят от карты, модели, длины контекста и ваших документов настолько, что чужие замеры для вас бесполезны. Первые замеры стенда уже опубликованы — вместе с конфигурацией, на которой они сняты: страница стенда.
Коротко
Видеопамять расходуется на веса, контекст, поиск, голосовой контур и обязательный запас. На стенде языковая модель, поиск и голос работают на одной карте в 16 ГБ одновременно — это проверено под длительной нагрузкой. Чем крупнее модель, тем меньше места остаётся остальным, и тогда что-то приходится разносить во времени или по картам. Вторая карта Tier 2 нужна именно для этого — не ради модели покрупнее, а ради параллельной работы голоса и документов. Всё, что сверх сценария, — это не «на вырост», а деньги, которые лучше потратить на зеркало из двух дисков и проверенные резервные копии.