মাল্টি-মডেল অবকাঠামোর কঠিন অংশটি হলো রিকোয়েস্ট ও রেসপন্সের মাঝের সবকিছু। প্রতিটি কলে WayJet ঠিক এই কাজটিই করে — যাতে আপনার কোড একটি পরিচ্ছন্ন ইন্টিগ্রেশন হয়েই থাকে, আর লেয়ারটি তার দায়িত্ব ভালোভাবে পালন করে।
প্রতিটি কলকে রিয়েল-টাইম প্রোভাইডার হেলথ, লেটেন্সি ও দামের ভিত্তিতে স্কোর করা হয়, এরপর সেরা পথ দিয়ে পাঠানো হয় — লোড-ব্যালান্সড, লেটেন্সি-সচেতন, খরচ-সচেতন বা নিয়মভিত্তিক। কোনো প্রোভাইডার পিন করুন, সবচেয়ে সস্তা সদস্যকে অগ্রাধিকার দিন, কিংবা header দিয়ে রাউট করুন; নীতিটি একটি config, কোনো রিডিপ্লয় নয়।
অসুস্থ আপস্ট্রিম শনাক্ত করে সার্কিট-ব্রেক করা হয়; কলগুলো backoff সহ পুনরায় চেষ্টা করে এবং একই মডেলের একটি সুস্থ প্রোভাইডারে ফেল-ওভার হয়। একটি BYOK লেগ পুলে ফিরে যেতে পারে। আউটেজের সময়ও আপনার অ্যাপ সাড়া দিতে থাকে, আউটেজে আটকে পড়ে না।
প্রতিটি মডেলের লেটেন্সি, স্ট্যাটাস ও খরচ এক জায়গায় — প্রতিটি রিকোয়েস্ট অনুযায়ী রাউটিং, আপস্ট্রিম ও cache সেগমেন্টে বিভক্ত, যাতে কোনো কলের কিছুই এমন ব্ল্যাক বক্স না থাকে যা আপনাকে আন্দাজ করতে হয়।
এমন একটি ভার্চুয়াল মডেল সংজ্ঞায়িত করুন যা খরচ, অগ্রাধিকার বা ওয়েট অনুযায়ী সেরা সদস্যে রিজলভ হয়। আপনার কোডের একটি লাইনও না ছুঁয়ে সিলেকশন নীতি বদলান।
যখন চান নিজের প্রোভাইডার অ্যাকাউন্ট দিয়ে রাউট করুন — কমিটেড-স্পেন্ড ছাড় ধরে রাখুন, অর্কেস্ট্রেশন WayJet-কে করতে দিন, যে কেবল তার সার্ভিস ফি নেয়।
প্রতি-key RPM, TPM, কনকারেন্সি ও দৈনিক-খরচের সীমা, সঙ্গে প্রতিষ্ঠান বাজেট — গভর্ন্যান্স এই লেয়ারে নির্মিত, আপস্ট্রিম কলের আগেই প্রয়োগ হয়, পরে জুড়ে দেওয়া নয়।
প্রতি-key সুইচ ও হিট পর্যবেক্ষণযোগ্যতা সহ এগজ্যাক্ট ও সিমান্টিক ক্যাশিং — পুনরাবৃত্ত কাজ cache থেকে দেওয়া হয়, তাই আপস্ট্রিম খরচ একবারই দেন, প্রতিবার নয়।
token খরচ আপস্ট্রিমের নিজস্ব ব্যবহার থেকে catalog দামে, decimal-এ হিসাব করা হয় — কোনো কলের দাম নিখুঁতভাবে নির্ধারণ করা না গেলে fail-closed। নকশাগতভাবেই OpenRouter-মানের নির্ভুলতা।
প্রতিটি মডেল ও key জুড়ে খরচ ও পরিমাণের একক সত্যের উৎস — সময়কাল, মডেল বা key অনুযায়ী কোয়েরি করুন, এমন প্রিপেইড ব্যালান্স সহ যা কখনো শেষ হয় না।
প্রতিটি মডেলে একটিই API key — রাউটিং, ফেল-ওভার, পর্যবেক্ষণযোগ্যতা ও নিয়ন্ত্রণ অন্তর্ভুক্ত।