Что такое маршрутизация моделей ИИ?

На чём основано решение

Большинство маршрутизаторов сочетают несколько сигналов: на какую задачу это похоже, насколько длинный вход, насколько чувствительны данные, как быстро нужен ответ и сколько запросу позволено стоить.

Эти сигналы конфликтуют. Самая быстрая модель редко самая сильная; самый приватный вариант редко самый способный. Маршрутизатор — это на самом деле политика о том, чем жертвовать, поэтому полезные дают вам сказать, что важно, а не угадывают.

Автоматическая и явная маршрутизация

Автоматическая читает запрос и решает. Это удобно и время от времени ошибочно, а ошибку трудно заметить, если система не сообщает, какая модель ответила.

Явная означает, что приоритет задаёте вы — это остаётся локально, это должно быть дёшево, для этого возьми самое сильное рассуждение — и маршрутизатор его соблюдает. На практике большинству нужно и то и другое: разумное значение по умолчанию и возможность его переопределить для конкретного запроса.

Как маршрутизация ломается

Две частые беды — тихие понижения и невидимые решения. Тихое понижение — это маршрутизатор, незаметно отправляющий ваш продуманный запрос дешёвой модели. Невидимое решение — любая маршрутизация, которую нельзя проверить постфактум.

Лечится одинаково: система должна фиксировать, какая модель действительно ответила, и показывать это. Маршрутизатор, который нельзя проверить, неотличим от сломанного.

Как это устроено в ClawAI

В ClawAI 7 режимов маршрутизации. «Авто» читает запрос и выбирает. «Ручной» фиксирует модель. «Только локально» держит всю цепочку на моделях, работающих на вашем железе. «Приватность прежде всего» предпочитает локальное и отказывается покидать его молча. Остальные склоняют выбор к меньшей задержке, более сильному рассуждению или меньшей цене.

Каждый ответ записывает модель, которая его создала, поэтому автоматическое решение можно проверить, а не принимать на веру.

Частые вопросы

Ухудшает ли маршрутизация качество ответов?

Может, если политика не подходит запросу. Поэтому режим выбираете вы и поэтому показывается ответившая модель. Маршрутизация, которую вы видите и можете переопределить, — это контроль затрат; та, которую не видите, — понижение.

Может ли маршрутизатор полностью удержать данные от облака?

Только если ему позволено отказать, а не переключиться. Режим «только локально», чья резервная цепочка достаёт до облачного провайдера, — это не контроль приватности. В ClawAI такой режим держит цепочку на локальных провайдерах.

Стоит ли маршрутизация усилий для одного человека?

Обычно да, ради затрат больше, чем ради надёжности. Почти любая индивидуальная нагрузка — это в основном рутинные вопросы с несколькими сложными; отправлять рутинные более дешёвой модели — самый крупный рычаг на личном счёте за ИИ.