Docs / Panduan
Streaming panjang
Komentar keepalive tiap 15 detik, stream sampai 2 jam, dan yang terjadi bila stream putus.
Terakhir diperbarui
Kapan memakai stream
Request yang bisa berjalan lebih dari 100 detik wajib memakai stream: true. Contoh umumnya giliran agen yang panjang, output besar, dan model reasoning yang lambat.
Cara stream dimulai
Cent AI langsung mengirim status 200 dan header text/event-stream, sebelum model mulai menjawab. Sejak itu Cent AI mengirim satu baris komentar setiap 15 detik:
: keepalive
Baris yang diawali : adalah komentar dalam server-sent events. Client mengabaikannya, tetapi baris ini menjaga proxy dan timer idle agar tidak menutup koneksi yang sedang sepi, misalnya saat model reasoning berpikir.
Batas
| Batas | Nilai |
|---|---|
| Jeda keepalive | 15 detik, sejak detik pertama |
| Waktu sampai output pertama dari model | Paling lama 600 detik total termasuk percobaan ulang; lewat dari itu request gagal dengan upstream_timeout |
| Durasi stream maksimum | 2 jam secara default; sebagian model punya batas berbeda |
Bila model gagal
- Sebelum byte pertama. Cent AI mencoba ulang request di rute lain untuk model yang sama. Anda tidak melihat kegagalannya, dan percobaan yang gagal tidak ditagih.
- Setelah stream dimulai. Tidak ada percobaan ulang. Stream diakhiri error dalam format protokol Anda, dan token yang sudah terkirim ditagih.
data: {"error":{"message":"The model is temporarily unavailable. Try again shortly.","type":"server_error","code":"upstream_unavailable"}}
data: [DONE]
Endpoint Responses memakai event response.failed dengan kode yang sama.
Bila client terputus
Menutup koneksi tidak membatalkan tagihan atas yang sudah dihasilkan model. Request dicatat dengan token yang sudah terkirim. Bila usage belum tiba sebelum koneksi putus, token dihitung dengan tokenizer dan request ditandai estimated.
Timeout di client
Banyak client HTTP punya timeout total per request. Atur lebih lama dari stream terpanjang yang Anda perkirakan, atau matikan untuk panggilan streaming dan andalkan timeout baca: komentar keepalive datang setiap 15 detik. Lihat Stream timeout.