Что такое self-hosted ИИ?

Это больше, чем модель

Запуск локальной модели всё равно оставляет разговоры, файлы, память и данные аккаунта в том приложении, которым вы пользовались. Self-hosting переносит всё это на вашу инфраструктуру.

Различие важно всем, чьи обязательства касаются хранимых данных, а не вывода. Где работает модель и где живёт история — разные вопросы, и на второй отвечает только self-hosting.

Чего это стоит в эксплуатации

Вы берёте на себя обновления, резервные копии, мониторинг, TLS и разбор поломок в неудобное время. Это реальная постоянная плата, измеряемая вниманием, а не деньгами.

Оно того стоит, когда данные действительно не могут находиться в другом месте или когда развёртывание должно пережить любые отношения с вендором. Как общая мера предосторожности — не стоит.

Self-hosted не значит отключённый

Self-hosted развёртывание всё ещё может вызывать размещённые модели. Многие так и делают: платформа и её данные ваши, а облачные провайдеры используются там, где их возможности оправдывают выход данных наружу.

Комбинация, полностью убирающая внешнюю обработку, — это self-hosting плюс локальные модели, и это осознанная конфигурация, а не значение по умолчанию.

Частые вопросы

Self-hosting — это то же, что локальный ИИ?

Нет. Локальный ИИ — про то, где работает модель. Self-hosting — про то, где живут приложение и его данные. Одно бывает без другого, а самая сильная позиция по приватности требует обоих.

Делает ли self-hosting нас соответствующими требованиям?

Нет. Это может быть частью истории о соответствии, но соответствие складывается из договоров, контролей, свидетельств и аудитов. Где работает софт — один из входов, а не всё.

Что нужно, чтобы это эксплуатировать?

Для большинства платформ — контейнеры, база данных и место, где их запускать, плюс человек, отвечающий за путь обновлений. Именно последнее чаще всего недооценивают.