Dự phòng khi lỗi

Cơ chế dự phòng khi lỗi của 诺玛AI tự động chuyển sang mô hình dự phòng khi mô hình chính không khả dụng, đảm bảo dịch vụ của bạn không bị gián đoạn.

Nguyên lý hoạt động#

• Yêu cầu được gửi đến mô hình chính
• Nếu mô hình chính trả về lỗi (5xx, hết thời gian chờ, giới hạn tần suất, v.v.)
• Tự động thử lần lượt các mô hình trong danh sách fallback
• Trả về phản hồi thành công đầu tiên

Dự phòng cho từng yêu cầu#

Cấu hình dự phòng cho từng yêu cầu thông qua tham số `provider.fallback`:

from openai import OpenAI
 
client = OpenAI(
    base_url="https://as.apinoma.com/v1",
    api_key="<APINOMA_API_KEY của bạn>"
)

response = client.chat.completions.create(
    model="openai/gpt-4o",  # Mô hình chính
    messages=[{"role": "user", "content": "Xin chào"}],
    extra_body={
        "provider": {
            "fallback": [
                "anthropic/claude-sonnet-4.6",  # Dự phòng thứ nhất
                "google/gemini-pro-compatible-flash-lite-preview"              # Dự phòng thứ hai
            ]
        }
    }
)

# Xem mô hình thực tế được sử dụng
print(response.model)

Điều kiện kích hoạt dự phòng#

Các trường hợp sau sẽ kích hoạt dự phòng:

Điều kiện

Mô tả

HTTP 5xx

Lỗi máy chủ

Hết thời gian chờ yêu cầu

Mô hình phản hồi quá thời gian

429 giới hạn tần suất

Mô hình thượng nguồn đạt giới hạn tốc độ

Mô hình không khả dụng

Nhà cung cấp bảo trì hoặc ngừng hoạt động

Các trường hợp sau sẽ không kích hoạt dự phòng:

Điều kiện

Mô tả

HTTP 4xx (không phải 429)

Lỗi phía client cần sửa lại yêu cầu

Lọc nội dung

Nội dung bị mô hình từ chối tạo

Kết hợp với định tuyến#

Cơ chế dự phòng có thể kết hợp với định tuyến nhà cung cấp:

response = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Xin chào"}],
    extra_body={
        "provider": {
            "routing": "latency",    # Định tuyến ưu tiên độ trễ
            "fallback": [             # Danh sách dự phòng
                "anthropic/claude-sonnet-4.6",
                "google/gemini-pro-compatible-flash-lite-preview"
            ]
        }
    }
)

Phương án dự phòng đề xuất#

Vui lòng tham khảo Quảng trường mô hình để biết các mô hình được đề xuất.

Thực hành tốt nhất#

• Chọn mô hình dự phòng có năng lực tương đương — đảm bảo chất lượng đầu ra nhất quán sau khi dự phòng
• Dự phòng chéo nhà cung cấp — tránh các mô hình của cùng một nhà cung cấp đồng thời không khả dụng
• Thiết lập 2-3 mô hình dự phòng — đủ để xử lý hầu hết các tình huống lỗi
• Giám sát tần suất dự phòng — nếu dự phòng thường xuyên, có thể cần thay đổi mô hình chính

Cập nhật lần cuối vào 23 tháng 6, 2026