Словарь терминов

Модель, которая продолжает текст по вероятности следующего слова. Всё остальное — диалог, ответы по документам, пересказ — надстройки над этой одной способностью.

Схема, при которой модель сначала ищет фрагменты в вашей базе, а потом отвечает по ним со ссылками. Именно она превращает языковую модель в рабочий инструмент, а не в собеседника.

Представление куска текста в виде набора чисел так, что близкие по смыслу куски оказываются рядом. У нас — BAAI/bge-m3, 1024 измерения.

Классический поиск по совпадению слов с учётом их редкости. Не понимает смысла, зато находит точный номер приказа — там, где вектор промахивается.

Одновременный запуск обоих способов поиска со сведением результатов; базовый вес — 0.5. Нужен потому, что каждый из способов ошибается в своих, предсказуемых местах.

Второй, более дорогой проход: читает пару «запрос + фрагмент» целиком и оценивает соответствие. Применяется к десяткам кандидатов, а не ко всей базе.

Единица, по которой идёт поиск. Мы режем документы по разделам, а не по числу символов, и сохраняем заголовок в теле фрагмента — отсюда ссылки на раздел в ответах.

Сколько текста модель может держать «в голове» за один раз: вопрос, история диалога и найденные фрагменты. У основной модели контура — 16К.

Кусочек текста, которым оперирует модель, — обычно часть слова. В русском языке слово в среднем занимает больше токенов, чем в английском, и это влияет на длину контекста.

Сжатие весов модели за счёт снижения точности чисел. Меньше видеопамяти и выше скорость — ценой аккуратности ответов. Выбор степени квантования всегда компромисс.

Собственно генерация ответа обученной моделью. У нас идёт на 100% на видеокарте — процессор в этот момент занят другими вещами.

Правдоподобный ответ, не подкреплённый источником. Лечится не уговорами, а дисциплиной: отвечать только по найденным фрагментам и всегда показывать ссылку.

Извлечение текста из картинки. Дорогая операция, которая портит хороший текстовый слой, поэтому включается точечно — только там, где без неё никак.

Docling разбирает документы, наш слой docling-shim решает, где включать распознавание, и режет текст по разделам с сохранением заголовков.

Речь в текст. В контуре — сервис okb-stt на базе faster-whisper (large-v3-turbo), работает на той же карте, что и языковая модель.

Текст в голос. У нас openedai-speech с движком XTTS — тоже локально, без внешних голосовых сервисов.

Определение, кто из участников говорит в каждый момент записи. Нужна для протоколов совещаний. В нашем контуре её нет — она в бэклоге.

Сайт, который ставится на домашний экран телефона и ведёт себя как приложение. Не требует магазина приложений — значит, не создаёт внешней зависимости.

Определяет, что поместится на карту: веса модели, контекст, голосовые модели и обязательный запас. Единственный параметр бокса, который нельзя добавить позже.

Место в видеопамяти, где живёт текущий диалог и подложенные фрагменты. Растёт вместе с длиной контекста — и незаметно съедает запас.

Состояние, когда видеопамять кончилась. Проявляется не замедлением, а ошибкой или выгрузкой модели на диск. Запас памяти закладывается именно ради этого.

Способ дообучить модель, не трогая её целиком: обучается компактный дополнительный блок. Именно такие блоки, а не документы, ходят между узлами при федеративном обучении.

Обучение на данных многих участников без передачи самих данных: наружу уходят только обезличенные веса. У нас — долгосрочная стратегия, а не сегодняшняя функция.

Узел, который физически не подключён к сети. Самый скучный и самый надёжный вид резервной копии: до него нельзя дотянуться удалённо.

Программное обеспечение работает на вашем железе, в вашем помещении. Противоположность облаку — и единственный способ дать проверяемое обещание о данных.

Модель поставки: физический сервер плюс сопровождение. Разовая сборка и установка, дальше ежемесячная поддержка. Железо при этом ваше с первого дня.

Хранилище, которое проверяет контрольные суммы при чтении и умеет самовосстановление. Защищает от тихой порчи данных, которую обычная файловая система не заметит.

Постепенная порча файлов на диске без единого сообщения об ошибке. Обнаруживается обычно тогда, когда понадобился именно этот файл.

Способ упаковать сервис со всем окружением. Образы зафиксированы по цифровому отпечатку, поэтому обновление и откат каждого сервиса выполняются независимо.

Канал, по которому идёт наше сопровождение. Может быть выключен по умолчанию и подниматься только на время работ — по вашему решению.

Выдаёт сертификаты HTTPS внутри контура (у нас — через Caddy). Ничего не нужно продлевать снаружи, но корневой сертификат придётся один раз поставить на устройства.

Единственный компонент, которому нужен внешний доступ: ищет свежие данные в интернете без рекламы и профилирования. Изолирован от контура с документами.

В нашей архитектуре такого режима нет: внешние запросы не уходят и без него. Но если очень хочется — введите на любой странице хаба код Konami: ↑ ↑ ↓ ↓ ← → ← → B A.