Menu docs

Docs / Panduan

Streaming panjang

Komentar keepalive tiap 15 detik, stream sampai 2 jam, dan yang terjadi bila stream putus.

Terakhir diperbarui


Kapan memakai stream

Request yang bisa berjalan lebih dari 100 detik wajib memakai stream: true. Contoh umumnya giliran agen yang panjang, output besar, dan model reasoning yang lambat.

Cara stream dimulai

Cent AI langsung mengirim status 200 dan header text/event-stream, sebelum model mulai menjawab. Sejak itu Cent AI mengirim satu baris komentar setiap 15 detik:

: keepalive

Baris yang diawali : adalah komentar dalam server-sent events. Client mengabaikannya, tetapi baris ini menjaga proxy dan timer idle agar tidak menutup koneksi yang sedang sepi, misalnya saat model reasoning berpikir.

Batas

BatasNilai
Jeda keepalive15 detik, sejak detik pertama
Waktu sampai output pertama dari modelPaling lama 600 detik total termasuk percobaan ulang; lewat dari itu request gagal dengan upstream_timeout
Durasi stream maksimum2 jam secara default; sebagian model punya batas berbeda

Bila model gagal

  • Sebelum byte pertama. Cent AI mencoba ulang request di rute lain untuk model yang sama. Anda tidak melihat kegagalannya, dan percobaan yang gagal tidak ditagih.
  • Setelah stream dimulai. Tidak ada percobaan ulang. Stream diakhiri error dalam format protokol Anda, dan token yang sudah terkirim ditagih.
data: {"error":{"message":"The model is temporarily unavailable. Try again shortly.","type":"server_error","code":"upstream_unavailable"}}

data: [DONE]

Endpoint Responses memakai event response.failed dengan kode yang sama.

Bila client terputus

Menutup koneksi tidak membatalkan tagihan atas yang sudah dihasilkan model. Request dicatat dengan token yang sudah terkirim. Bila usage belum tiba sebelum koneksi putus, token dihitung dengan tokenizer dan request ditandai estimated.

Timeout di client

Banyak client HTTP punya timeout total per request. Atur lebih lama dari stream terpanjang yang Anda perkirakan, atau matikan untuk panggilan streaming dan andalkan timeout baca: komentar keepalive datang setiap 15 detik. Lihat Stream timeout.