मल्टी-मॉडल इंफ्रास्ट्रक्चर का कठिन हिस्सा रिक्वेस्ट और रिस्पॉन्स के बीच की हर चीज़ है। WayJet हर कॉल पर यही इंजीनियर करता है — ताकि आपका कोड एक साफ़ इंटीग्रेशन बना रहे, जबकि यह लेयर अपना काम बखूबी निभाती रहे।
हर कॉल को लाइव प्रोवाइडर हेल्थ, लेटेंसी और कीमत पर स्कोर किया जाता है, फिर सबसे बेहतर रास्ते से भेजा जाता है — लोड-बैलेंस्ड, लेटेंसी-अवेयर, कॉस्ट-अवेयर या रूल-आधारित। किसी प्रोवाइडर को पिन करें, सबसे सस्ते मेंबर को प्राथमिकता दें, या header से रूट करें; पॉलिसी एक config है, रीडिप्लॉय नहीं।
अस्वस्थ अपस्ट्रीम का पता लगाकर सर्किट-ब्रेक कर दिया जाता है; कॉल backoff के साथ रीट्राई होती हैं और उसी मॉडल के लिए किसी स्वस्थ प्रोवाइडर पर फेल-ओवर हो जाती हैं। एक BYOK लेग पूल पर वापस गिर सकता है। आपका ऐप किसी आउटेज के दौरान भी जवाब देता रहता है, उसे विरासत में नहीं लेता।
हर मॉडल की लेटेंसी, स्टेटस और खर्च एक ही जगह — हर रिक्वेस्ट के लिए रूटिंग, अपस्ट्रीम और cache सेगमेंट में विभाजित, ताकि किसी कॉल का कुछ भी ऐसा ब्लैक बॉक्स न रहे जिसका आपको अनुमान लगाना पड़े।
एक वर्चुअल मॉडल परिभाषित करें जो कीमत, प्राथमिकता या वेट के आधार पर सबसे बेहतर मेंबर पर रिज़ॉल्व हो। अपने कोड की एक भी लाइन छुए बिना सिलेक्शन पॉलिसी बदलें।
जब चाहें अपने ही प्रोवाइडर अकाउंट्स से रूट करें — कमिटेड-स्पेंड छूट बनाए रखें, ऑर्केस्ट्रेशन WayJet को करने दें, जो केवल अपनी सर्विस फ़ीस लेता है।
प्रति-key RPM, TPM, कन्करेंसी और दैनिक-खर्च की सीमाएँ, साथ ही संगठन बजट — गवर्नेंस इस लेयर में निर्मित, अपस्ट्रीम कॉल से पहले लागू, बाद में जोड़ी गई नहीं।
प्रति-key स्विच और हिट ऑब्ज़र्वेबिलिटी के साथ एग्ज़ैक्ट और सिमैंटिक कैशिंग — दोहराया गया काम cache से दिया जाता है, इसलिए आप अपस्ट्रीम लागत एक बार चुकाते हैं, हर बार नहीं।
token लागत अपस्ट्रीम के अपने उपयोग से catalog कीमतों पर, decimal में गणना की जाती है — जब किसी कॉल की क़ीमत ठीक-ठीक न लगाई जा सके तो fail-closed। डिज़ाइन से ही OpenRouter-स्तरीय सटीकता।
हर मॉडल और key के खर्च और वॉल्यूम के लिए एक ही सत्य का स्रोत — अवधि, मॉडल या key के अनुसार क्वेरी करें, उस प्रीपेड बैलेंस के साथ जो कभी समाप्त नहीं होता।
हर मॉडल तक एक ही API key — रूटिंग, फेल-ओवर, ऑब्ज़र्वेबिलिटी और नियंत्रण शामिल।