供應商路由

诺玛AI 支援多供應商架構，同一模型可透過不同供應商節點提供服務。透過路由策略，你可以控制請求的分發方式。

路由策略#

策略

說明

適用場景

`priority`

按優先順序（預設）

穩定性優先

`cost`

成本最低優先

批次處理、成本敏感

`latency`

延遲最低優先

即時對話、使用者互動

`balanced`

負載平衡

高併發場景

使用方式#

透過 `provider.routing` 擴充套件引數設定路由策略：

from openai import OpenAI
 
client = OpenAI(
    base_url="https://as.apinoma.com/v1",
    api_key="<你的 APINOMA_API_KEY>"
)
 
response = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "你好"}],
    extra_body={
        "provider": {
            "routing": "cost"  # 成本最低優先
        }
    }
)

策略詳解#

`priority` — 優先順序路由（預設）

按 诺玛AI 預設的供應商優先順序順序分發請求。優先使用穩定性最高的節點。

`cost` — 成本優先

自動選擇當前成本最低的供應商節點。適合批次處理、資料標註等對延遲不敏感的場景。

`latency` — 延遲優先

選擇回應延遲最低的供應商節點。適合需要快速回應的即時對話場景。

`balanced` — 負載均衡

將請求均勻分配到所有可用的供應商節點。適合高併發場景，避免單點過載。

最佳實踐#

• 即時對話使用 `latency` — 使用者等待時間更短
• 批次任務使用 `cost` — 降低整體成本
• 生產環境預設 `priority` — 確保穩定性
• 配合故障回復 — 路由策略可以和 `fallback` 引陣列合使用

你也可以在 诺玛AI 控制台中設定全域預設路由策略，無需在每次請求中指定。

最後更新於 2026 年 6 月 23 日