Самое сложное в мультимодельной инфраструктуре — это всё, что происходит между запросом и ответом. Именно это WayJet выстраивает в каждом вызове, чтобы ваш код оставался одной чистой интеграцией, а слой отрабатывал своё.
Каждый вызов оценивается по актуальному состоянию провайдера, задержке и цене, а затем направляется по лучшему маршруту — с балансировкой нагрузки, с учётом задержки, с учётом стоимости или по правилам. Закрепите провайдера, отдайте предпочтение самому дешёвому участнику или маршрутизируйте по header; политика — это конфигурация, а не повторное развёртывание.
Неработоспособные upstream-маршруты выявляются и отключаются автоматическим предохранителем (circuit breaker); вызовы повторяются с экспоненциальной задержкой (backoff) и переключаются на исправного провайдера для той же модели. Ветка BYOK может откатиться к пулу. Ваше приложение продолжает отвечать во время сбоя, а не наследует его.
Задержка, статус и расходы по каждой модели в одном месте — с разбивкой по каждому запросу на сегменты маршрутизации, upstream и cache, чтобы ничто в вызове не оставалось чёрным ящиком, о котором приходится гадать.
Определите виртуальную модель, которая разрешается в лучшего участника по стоимости, приоритету или весу. Меняйте политику выбора, не трогая ни строки вашего кода.
Маршрутизируйте через собственные аккаунты провайдеров, когда захотите, — сохраняйте скидки за обязательства по расходам, доверьте оркестрацию WayJet, который берёт лишь плату за услугу.
Лимиты на ключ по RPM, TPM, параллелизму и дневным расходам, а также бюджеты организации — управление встроено в слой и применяется до вызова upstream, а не пристроено постфактум.
Точное и семантическое кеширование с переключателями на ключ и наблюдаемостью попаданий — повторная работа выдаётся из cache, поэтому стоимость upstream вы оплачиваете один раз, а не каждый раз.
Стоимость token рассчитывается из собственного потребления upstream по ценам каталога, в decimal, с fail-closed, когда вызов невозможно оценить точно. Точность уровня OpenRouter — по замыслу.
Единый источник истины о расходах и объёме по всем моделям и ключам — запрашивайте по периоду, модели или ключу, с предоплаченным балансом, который никогда не сгорает.
Один API-ключ ко всем моделям — маршрутизация, отказоустойчивость, наблюдаемость и контроль включены.