Le plus dur dans une infrastructure multimodèle, c’est tout ce qui se passe entre la requête et la réponse. C’est précisément ce que WayJet conçoit à chaque appel — pour que votre code reste une intégration propre pendant que la couche fait son travail.
Chaque appel est noté selon la santé, la latence et le prix du fournisseur en temps réel, puis dirigé vers la meilleure route — équilibrage de charge, selon la latence, selon le coût ou par règles. Épinglez un fournisseur, privilégiez le membre le moins cher ou routez par header ; la politique est une configuration, pas un redéploiement.
Les upstreams défaillants sont détectés et coupés par circuit breaker ; les appels sont relancés avec backoff et basculent vers un fournisseur sain pour le même modèle. Une branche BYOK peut se rabattre sur le pool. Votre application continue de répondre pendant une panne au lieu d’en hériter.
Latence, statut et dépense de chaque modèle au même endroit — décomposés par requête en segments de routage, d’upstream et de cache, pour qu’aucun aspect d’un appel ne reste une boîte noire à deviner.
Définissez un modèle virtuel qui se résout vers le meilleur membre selon le coût, la priorité ou le poids. Changez la politique de sélection sans toucher une seule ligne de votre code.
Routez par vos propres comptes fournisseurs quand vous le souhaitez — conservez les remises sur engagement de dépense, laissez WayJet faire l’orchestration et ne facturer que ses frais de service.
Plafonds par clé de RPM, TPM, concurrence et dépense quotidienne, plus des budgets d’organisation — une gouvernance intégrée à la couche, appliquée avant l’appel upstream, et non ajoutée après coup.
Mise en cache exacte et sémantique avec interrupteurs par clé et observabilité des hits — le travail répété est servi depuis le cache, vous payez donc le coût upstream une fois, pas à chaque fois.
Le coût des tokens est calculé à partir de l’usage propre de l’upstream aux prix du catalogue, en décimal — fail-closed lorsqu’un appel ne peut pas être tarifé avec exactitude. Une précision de niveau OpenRouter, par conception.
Une source unique de vérité pour la dépense et le volume sur chaque modèle et chaque clé — interrogez par période, par modèle ou par clé, avec un solde prépayé qui n’expire jamais.
Une seule clé d’API vers chaque modèle — routage, bascule, observabilité et contrôles inclus.