Định tuyến nhà cung cấp

诺玛AI hỗ trợ kiến trúc đa nhà cung cấp, cùng một mô hình có thể được cung cấp dịch vụ qua các node nhà cung cấp khác nhau. Thông qua chiến lược định tuyến, bạn có thể kiểm soát cách phân phối yêu cầu.

Chiến lược định tuyến#

Chiến lược

Mô tả

Tình huống áp dụng

`priority`

Theo thứ tự ưu tiên (mặc định)

Ưu tiên độ ổn định

`cost`

Ưu tiên chi phí thấp nhất

Xử lý hàng loạt, nhạy cảm với chi phí

`latency`

Ưu tiên độ trễ thấp nhất

Hội thoại thời gian thực, tương tác người dùng

`balanced`

Cân bằng tải

Tình huống đồng thời cao

Cách sử dụng#

Cấu hình chiến lược định tuyến thông qua tham số mở rộng `provider.routing`:

from openai import OpenAI
 
client = OpenAI(
    base_url="https://as.apinoma.com/v1",
    api_key="<APINOMA_API_KEY của bạn>"
)

response = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Xin chào"}],
    extra_body={
        "provider": {
            "routing": "cost"  # Ưu tiên chi phí thấp nhất
        }
    }
)

Giải thích chi tiết chiến lược#

`priority` — Định tuyến theo ưu tiên (mặc định)

Phân phối yêu cầu theo thứ tự ưu tiên nhà cung cấp được 诺玛AI thiết lập sẵn. Ưu tiên sử dụng node có độ ổn định cao nhất.

`cost` — Ưu tiên chi phí

Tự động chọn node nhà cung cấp có chi phí thấp nhất hiện tại. Phù hợp với các tình huống không nhạy cảm với độ trễ như xử lý hàng loạt, gán nhãn dữ liệu.

`latency` — Ưu tiên độ trễ

Chọn node nhà cung cấp có độ trễ phản hồi thấp nhất. Phù hợp với các tình huống hội thoại thời gian thực cần phản hồi nhanh.

`balanced` — Cân bằng tải

Phân bổ đều yêu cầu đến tất cả các node nhà cung cấp khả dụng. Phù hợp với tình huống đồng thời cao, tránh quá tải tại một điểm.

Thực hành tốt nhất#

• Hội thoại thời gian thực dùng `latency` — thời gian chờ của người dùng ngắn hơn
• Tác vụ hàng loạt dùng `cost` — giảm chi phí tổng thể
• Môi trường sản xuất mặc định `priority` — đảm bảo độ ổn định
• Kết hợp với dự phòng khi lỗi — chiến lược định tuyến có thể kết hợp với tham số `fallback`

Bạn cũng có thể thiết lập chiến lược định tuyến mặc định toàn cục trong bảng điều khiển 诺玛AI, không cần chỉ định trong từng yêu cầu.

Cập nhật lần cuối vào 23 tháng 6, 2026