A parte difícil de uma infraestrutura multimodelo é tudo o que acontece entre a requisição e a resposta. É isso que a WayJet projeta em cada chamada — para que seu código continue sendo uma integração limpa enquanto a camada faz por merecer.
Cada chamada é pontuada conforme a saúde, a latência e o preço do provedor em tempo real e, então, enviada pela melhor rota — com balanceamento de carga, por latência, por custo ou por regras. Fixe um provedor, prefira o membro mais barato ou roteie por header; a política é configuração, não um novo deploy.
Upstreams sem saúde são detectados e isolados por circuit breaker; as chamadas são repetidas com backoff e fazem failover para um provedor saudável do mesmo modelo. Uma perna BYOK pode recorrer ao pool. Seu app continua respondendo durante uma queda em vez de herdá-la.
Latência, status e gasto de cada modelo em um só lugar — detalhados por requisição em segmentos de roteamento, upstream e cache, para que nada de uma chamada seja uma caixa-preta que você precise adivinhar.
Defina um modelo virtual que resolve para o melhor membro por custo, prioridade ou peso. Troque a política de seleção sem tocar em uma linha do seu código.
Roteie pelas suas próprias contas de provedor quando quiser — mantenha os descontos por gasto comprometido, deixe a WayJet fazer a orquestração e cobrar apenas sua taxa de serviço.
Limites por chave de RPM, TPM, concorrência e gasto diário, além de orçamentos da organização — governança integrada à camada, aplicada antes da chamada ao upstream, não acoplada depois.
Cache exato e semântico com chaves de ativação por chave e observabilidade de acertos — o trabalho repetido é servido a partir do cache, então você paga o custo do upstream uma vez, não toda vez.
O custo por token é calculado a partir do próprio uso do upstream a preços de catálogo, em decimal — com fail-closed quando uma chamada não pode ser precificada com exatidão. Precisão de nível OpenRouter, por design.
Uma única fonte de verdade para gasto e volume em todos os modelos e chaves — consulte por período, modelo ou chave, com o saldo pré-pago que nunca expira.
Uma única chave de API para cada modelo — roteamento, failover, observabilidade e controles incluídos.