Caching Prompt

Prompt Caching memungkinkan caching prefiks prompt yang digunakan berulang, mengurangi konsumsi token dan latensi respons.

Cara Kerja#

Ketika permintaan Anda berisi system prompt atau informasi konteks yang panjang dan digunakan berulang:

• Permintaan pertama — memproses semua token sepenuhnya, dan men-cache prefiks prompt
• Permintaan berikutnya — saat cache hit, token pada bagian yang di-cache tidak dikenakan biaya berulang
• Cache kedaluwarsa — cache memiliki TTL tertentu (biasanya 5-10 menit), setelah kedaluwarsa perlu di-cache ulang

Dukungan Cache#

Sumber daya model 诺玛AI masing-masing disediakan oleh penyedia cloud resmi model seperti AWS Bedrock, Azure OpenAI, Google Cloud, Alibaba Cloud, Volcano Engine. Model yang mendukung Prompt Caching pada penyedia cloud juga didukung oleh 诺玛AI.

Penyedia Cloud

Model Perwakilan

Mekanisme Cache

AWS Bedrock

Seri Claude

Prompt Caching native

Azure OpenAI

Seri GPT-4o

Cache otomatis

Google Cloud

Seri Gemini

Context Caching

Alibaba Cloud

Seri Qwen

Cache sisi platform

Volcano Engine

Seri Doubao

Cache sisi platform

Dukungan cache untuk model tertentu mengacu pada Dokumentasi resmi masing-masing penyedia cloud. 诺玛AI akan meneruskan parameter terkait cache, tanpa konfigurasi tambahan.

Cara Penggunaan#

Protokol OpenAI

Prompt Caching pada model OpenAI bersifat otomatis — diaktifkan secara otomatis saat mendeteksi prefiks prompt yang berulang:

# system prompt yang panjang akan di-cache otomatis
SYSTEM_PROMPT = """Anda adalah asisten dukungan teknis 诺玛AI.

Berikut informasi produk yang perlu Anda ketahui:
- 诺玛AI adalah sebuah LLM Gateway, mendukung berbagai model besar utama
- Mendukung tiga protokol utama OpenAI / Anthropic / Gemini
- ...
(pengetahuan produk lainnya dihilangkan)
"""

# Permintaan pertama: men-cache system prompt
response1 = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": "Model apa saja yang didukung 诺玛AI?"}
    ]
)

# Permintaan kedua: cache hit, lebih cepat dan lebih murah
response2 = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},  # cache hit
        {"role": "user", "content": "Bagaimana cara mengonfigurasi alat pengembangan?"}
    ]
)

Protokol Anthropic

Model Anthropic mendukung cache control yang eksplisit:

Penghematan Biaya#

Setelah cache hit, token pada bagian yang di-cache dikenakan biaya dengan harga lebih rendah, dengan rasio penghematan yang bervariasi tergantung modelnya:

• Anthropic seri Claude — cache hit dapat menghemat sekitar 90% biaya input
• OpenAI seri GPT — cache hit dapat menghemat sekitar 50% biaya input
• Google seri Gemini — cache hit dapat menghemat sekitar 50-75% biaya input

Rasio penghematan aktual bergantung pada tingkat cache hit dan kebijakan penagihan masing-masing penyedia cloud, silakan lihat statistik penggunaan di 诺玛AI Konsol untuk detailnya.

Praktik Terbaik#

• Tempatkan teks panjang di depan — bagian yang tidak berubah seperti system prompt dan konten basis pengetahuan diletakkan di awal messages
• Jaga prefiks tetap konsisten — hanya prefiks yang benar-benar identik yang dapat menghasilkan cache hit
• Rancang struktur prompt secara wajar — pisahkan bagian yang tetap dari bagian yang berubah

# ✅ Desain yang baik: konten tetap di depan, konten yang berubah di belakang
messages = [
    {"role": "system", "content": LONG_STATIC_PROMPT},   # dapat di-cache
    {"role": "user", "content": dynamic_question}          # bagian yang berubah
]

# ❌ Desain yang buruk: konten yang berubah disisipkan di antara konten tetap
messages = [
    {"role": "system", "content": f"Today is {date}. {LONG_PROMPT}"}  # berbeda setiap hari, tidak dapat di-cache
]

Cache hit dapat dilihat pada kolom `usage` di respons API, dan juga dapat dilihat tingkat cache hit-nya pada statistik penggunaan di 诺玛AI Konsol.

Terakhir diperbarui pada 23 Juni 2026