Маршрутизация поставщиков

诺玛AI поддерживает архитектуру с несколькими поставщиками: одна и та же модель может обслуживаться через узлы разных поставщиков. С помощью стратегий маршрутизации вы можете управлять способом распределения запросов.

Стратегии маршрутизации#

Стратегия

Описание

Сценарии применения

`priority`

По порядку приоритета (по умолчанию)

Приоритет стабильности

`cost`

Приоритет наименьшей стоимости

Пакетная обработка, чувствительность к затратам

`latency`

Приоритет наименьшей задержки

Диалог в реальном времени, взаимодействие с пользователем

`balanced`

Балансировка нагрузки

Сценарии высокой нагрузки

Способ использования#

Настройте стратегию маршрутизации через расширенный параметр `provider.routing`:

from openai import OpenAI
 
client = OpenAI(
    base_url="https://as.apinoma.com/v1",
    api_key="<ваш APINOMA_API_KEY>"
)

response = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Привет"}],
    extra_body={
        "provider": {
            "routing": "cost"  # приоритет наименьшей стоимости
        }
    }
)

Подробно о стратегиях#

`priority` — маршрутизация по приоритету (по умолчанию)

Распределяет запросы в порядке приоритета поставщиков, заданном 诺玛AI по умолчанию. В первую очередь используются узлы с наивысшей стабильностью.

`cost` — приоритет стоимости

Автоматически выбирает узел поставщика с наименьшей текущей стоимостью. Подходит для сценариев, нечувствительных к задержке, таких как пакетная обработка и разметка данных.

`latency` — приоритет задержки

Выбирает узел поставщика с наименьшей задержкой ответа. Подходит для сценариев диалога в реальном времени, требующих быстрого отклика.

`balanced` — балансировка нагрузки

Равномерно распределяет запросы по всем доступным узлам поставщиков. Подходит для сценариев высокой нагрузки и помогает избежать перегрузки отдельного узла.

Лучшие практики#

• Для диалога в реальном времени используйте `latency` — меньше время ожидания пользователя
• Для пакетных задач используйте `cost` — снижает общие затраты
• В продакшене по умолчанию `priority` — обеспечивает стабильность
• Сочетайте с резервным переходом — стратегию маршрутизации можно комбинировать с параметром `fallback`

Вы также можете задать глобальную стратегию маршрутизации по умолчанию в консоли 诺玛AI, не указывая её в каждом запросе.

Последнее обновление: 23 июня 2026 г.