按打分选路由,而非固定一条
每次调用都按上游实时健康度、延迟与价格打分,再送往最优路由——负载均衡、延迟优先、成本优先或按规则。可钉住某上游、优先最便宜成员、或按 header 路由;策略是配置,不是重新部署。
多模型基础设施最难的,是请求与响应之间的一切。这正是 WayJet 在每次调用上做的事——让你的代码始终是一处干净的集成,而由这一层去扛重活。
每次调用都按上游实时健康度、延迟与价格打分,再送往最优路由——负载均衡、延迟优先、成本优先或按规则。可钉住某上游、优先最便宜成员、或按 header 路由;策略是配置,不是重新部署。
不健康上游被探测并熔断;调用按退避重试,并切换到提供同一模型的健康上游。BYOK 这一路可回退到平台池。你的应用在故障中持续有响应,而不是把故障继承过来。
每个模型的延迟、状态与花费汇于一处——并按每次请求拆成路由、上游与缓存几段,调用绝不是只能靠猜的黑盒。
定义一个虚拟模型,按成本、优先级或权重解析到最优成员。改选路策略,无需动你一行代码。
想用时可经你自己的上游账户路由——保留承诺消费折扣,让 WayJet 负责编排,只收其服务费。
每密钥的 RPM、TPM、并发与每日花费上限,加上组织级预算——治理内建于这一层、在上游调用前就执行,而非事后外挂。
精确缓存与语义缓存,按密钥开关、命中可观测——重复的活直接从缓存返回,上游成本只付一次,而非每次。
按上游自身用量、catalog 单价、以 decimal 计算 token 成本——算不准就 fail-closed 拒绝。生而 OpenRouter 级精度。
跨每个模型与密钥的花费与量的唯一事实源——按周期、模型或密钥查询,预付余额永不过期。