プロバイダールーティング
诺玛AI はマルチプロバイダーこうせいにたいおうし、おなじモデルをべつのプロバイダーノードからていきょうできます。ルーティングせんりゃくで、リクエストのふりわけをコントロールできます。
ルーティングせんりゃく#
せんりゃく
せつめい
てきようシーン
`priority`
ゆうせんどじゅん（デフォルト）
あんていせいゆうせん
`cost`
さいていコストゆうせん
バッチしょり、コストじゅうし
`latency`
さいていレイテンシゆうせん
リアルタイムたいわ、ユーザーインタラクション
`balanced`
ロードバランシング
こうへいこうシーン
つかいかた#
`provider.routing` かくちょうパラメータでルーティングせんりゃくをせっていします:
コード
from openai import OpenAI
client = OpenAI(
base_url="https://as.apinoma.com/v1",
api_key="<あなたの APINOMA_API_KEY>"
)
response = client.chat.completions.create(
model="openai/gpt-4o",
messages=[{"role": "user", "content": "こんにちは"}],
extra_body={
"provider": {
"routing": "cost" # 最低コスト優先
}
}
)せんりゃくのしょうさい#
`priority` — ゆうせんルーティング（デフォルト）
诺玛AI はあらかじめせっていされたプロバイダーゆうせんじゅんでリクエストをふりわけ、もっともあんていしたノードをゆうせんします。
`cost` — コストゆうせん
いまもっともコストがひくいプロバイダーノードをじどうでえらびます。レイテンシがあまりじゅうようでないバッチしょりやデータアノテーションにむいています。
`latency` — レイテンシゆうせん
レスポンスレイテンシがもっともひくいプロバイダーノードをえらびます。はやいへんとうがひつようなリアルタイムチャットにむいています。
`balanced` — ロードバランシング
つかえるすべてのプロバイダーノードへリクエストをきんとうにふりわけます。たかいどうじしょりにむき、ひとつのノードへのかふかをさけます。
ベストプラクティス#
- リアルタイムチャットには `latency` をつかう — ユーザーのまちじかんをへらす
- バッチタスクには `cost` をつかう — ぜんたいコストをへらす
- ほんばんではデフォルトの `priority` をつかう — あんていせいをたもつ
- フォールバックとくみあわせる — ルーティングせんりゃくは `fallback` パラメータといっしょにつかえます
诺玛AI コンソールでグローバルなデフォルトルーティングせんりゃくもせっていでき、リクエストごとのしていはひつようありません。
さいしゅうこうしん: 2026 ねん 6 がつ 23 にち