Perutean Penyedia

诺玛AI mendukung arsitektur multi-penyedia, model yang sama dapat dilayani melalui node penyedia yang berbeda. Melalui strategi perutean, Anda dapat mengontrol cara distribusi permintaan.

Strategi Perutean#

Strategi

Keterangan

Skenario Penerapan

`priority`

Berdasarkan urutan prioritas (default)

Stabilitas diutamakan

`cost`

Biaya terendah diutamakan

Pemrosesan batch, sensitif terhadap biaya

`latency`

Latensi terendah diutamakan

Percakapan real-time, interaksi pengguna

`balanced`

Penyeimbangan beban

Skenario konkurensi tinggi

Cara Penggunaan#

Konfigurasikan strategi perutean melalui parameter ekstensi `provider.routing`:

from openai import OpenAI
 
client = OpenAI(
    base_url="https://as.apinoma.com/v1",
    api_key="<APINOMA_API_KEY_Anda>"
)

response = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Halo"}],
    extra_body={
        "provider": {
            "routing": "cost"  # biaya terendah diutamakan
        }
    }
)

Penjelasan Strategi#

`priority` — Perutean prioritas (default)

Mendistribusikan permintaan berdasarkan urutan prioritas penyedia yang telah ditetapkan 诺玛AI. Mengutamakan penggunaan node dengan stabilitas tertinggi.

`cost` — Biaya diutamakan

Secara otomatis memilih node penyedia dengan biaya terendah saat ini. Cocok untuk skenario yang tidak sensitif terhadap latensi seperti pemrosesan batch dan anotasi data.

`latency` — Latensi diutamakan

Memilih node penyedia dengan latensi respons terendah. Cocok untuk skenario percakapan real-time yang membutuhkan respons cepat.

`balanced` — Penyeimbangan beban

Mendistribusikan permintaan secara merata ke semua node penyedia yang tersedia. Cocok untuk skenario konkurensi tinggi, menghindari kelebihan beban pada satu titik.

Praktik Terbaik#

• Percakapan real-time gunakan `latency` — waktu tunggu pengguna lebih singkat
• Tugas batch gunakan `cost` — menurunkan biaya secara keseluruhan
• Lingkungan produksi default `priority` — memastikan stabilitas
• Dipadukan dengan Fallback — strategi perutean dapat dikombinasikan dengan parameter `fallback`

Anda juga dapat mengatur strategi perutean default global di 诺玛AI Konsol, tanpa perlu menentukannya pada setiap permintaan.

Terakhir diperbarui pada 23 Juni 2026