Menu docs

Docs / Panduan

Prompt caching

Cara percakapan panjang tetap kena cache model lewat Cent AI, dan cara token cache ditagih.

Terakhir diperbarui


Yang dihemat prompt caching

Banyak model menyimpan cache awalan prompt yang pernah dilihatnya. Bila giliran berikutnya dalam percakapan diawali dengan awalan yang sama, token input itu dibaca dari cache dan ditagih dengan tarif cache read, yang jauh lebih murah dari tarif input. Agen coding mengirim ulang seluruh percakapan di setiap giliran, jadi sebagian besar biayanya ada di sini.

Yang dilakukan Cent AI

  • Rute yang sama untuk satu percakapan. Setelah giliran pertama, giliran berikutnya dalam percakapan yang sama dikirim ke rute yang melayani giliran sebelumnya, agar cache model bisa kena. Anda tidak perlu menambah field apa pun di request.
  • Identitas percakapan. Cent AI memakai sinyal sesi yang dikirim tool Anda bila ada. Tanpa sinyal itu, Cent AI memakai bagian awal prompt yang stabil, bukan bagian yang berubah tiap giliran.
  • Kontrol cache Anda tetap. cache_control di /v1/messages dan field request lain diteruskan ke model tanpa diubah. Cent AI tidak menambah header sesi sendiri.
  • Failover. Bila rute sebuah percakapan gagal, percakapan pindah ke rute berikutnya. Giliran pertama di sana bisa tidak kena cache.

Cent AI tidak menjanjikan tingkat cache hit. Kena atau tidaknya cache bergantung pada model dan cara tool Anda menyusun prompt.

Cara token cache ditagih

Tarif cache hanya berlaku bila model melaporkan token cache untuk request itu. Cent AI tidak pernah menebak atau mengasumsikan pemakaian cache.

FormatCache readCache write
Chat Completionsusage.prompt_tokens_details.cached_tokens—
Responsesusage.input_tokens_details.cached_tokens—
Messagesusage.cache_read_input_tokensusage.cache_creation_input_tokens, dengan cache_creation.ephemeral_5m_input_tokens dan ephemeral_1h_input_tokens bila dilaporkan

Empat tarif dijelaskan di Harga; cache write ditagih dengan tarif input.

Mengeceknya

Buka Requests di dashboard: setiap request menampilkan token per tarif, jadi Anda bisa melihat berapa bagian dari satu giliran yang berasal dari cache.