Menu docs

Docs / Konsep

Apa itu AI gateway

AI gateway menaruh banyak model di balik satu API dan satu key. Cara Cent AI melakukannya, dari cek key sampai tagihan.

Terakhir diperbarui


Gagasannya

AI gateway adalah layanan yang berada di antara aplikasi Anda dan model AI. Aplikasi Anda berbicara dengan satu API memakai satu key, lalu gateway mengirim setiap request ke model yang Anda minta, mengembalikan jawabannya, dan mencatat biayanya.

Tanpa gateway, setiap penyedia model berarti akun lain, key lain, pengaturan SDK lain, dan tagihan lain. Dengan gateway, Anda berganti model cukup dengan mengganti field model, dan pemakaian serta biaya semuanya ada di satu tempat.

Cara kerja Cent AI

BagianDi Cent AI
Satu keyAPI key yang sama, cai_<secret>, berlaku di model-model katalog. Lihat Autentikasi
Tiga format APIOpenAI Chat Completions dan Responses di https://api.cent-ai.dev/v1, Anthropic Messages di https://api.cent-ai.dev. SDK dan tool yang sudah ada tetap jalan dengan mengganti base URL dan key
Banyak modelModel chat yang tercantum di GET /v1/models, masing-masing dengan nama publik yang stabil seperti glm-5.3 atau claude-opus-5
Harga per tokenEmpat tarif publik per model: input, cache read, cache write, dan output. Lihat Harga
PrabayarRequest dibayar dari saldo USD prabayar atau paket budget sekali beli $1,99, $9,99, atau $99. Pembayaran dilakukan manual, tanpa perpanjangan otomatis. Lihat Saldo
Biaya per requestSetiap respons memuat usage.cost, jumlah yang ditagih. Lihat Biaya per request

Yang terjadi pada sebuah request

  1. Cek key. Key di Authorization: Bearer atau x-api-key diperiksa. Key yang salah dijawab 401.
  2. Aturan key dan project. Allowlist IP dan model milik key, rate limit 600 request per menit, limit pengeluaran key, dan budget project diperiksa.
  3. Saldo. Bila tidak ada saldo yang bisa dipakai untuk model itu, request dijawab 402 dan tidak dikirim ke model.
  4. Rute. Setiap model punya satu rute atau lebih ke penyedia model. Cent AI memilih rute. Bila model punya lebih dari satu rute dan rute pertama gagal sebelum jawaban dimulai, Cent AI mencoba rute berikutnya.
  5. Jawaban. Jawaban dialirkan kembali ke Anda dalam format yang Anda panggil. Parameter request Anda diteruskan ke model tanpa diubah.
  6. Tagihan. Saat request selesai, Cent AI menagihnya dari jumlah token yang dilaporkan model, dengan harga yang berlaku saat request diterima, lalu menambahkan usage.cost ke respons.

Request yang ditolak di langkah 1 sampai 3, atau yang gagal sebelum model menerimanya, berbiaya $0.

Percakapan dan cache

Agen coding dan aplikasi chat mengirim ulang seluruh percakapan di setiap giliran. Cent AI mengirim giliran berikutnya dalam satu percakapan ke rute yang melayani giliran sebelumnya, agar prompt cache model bisa kena. Tarif cache hanya berlaku bila model melaporkan token cache. Cent AI tidak menjanjikan tingkat cache hit. Lihat Prompt caching.

Yang bisa Anda lihat

  • Halaman Requests: setiap request beserta model, status, token per tarif, tarif yang dipakai, dan biayanya. Header x-request-id dari respons adalah ID yang tampil di sana.
  • Halaman Usage: total per hari, model, key, dan project.
  • Isi: isi request yang berhasil tidak disimpan secara default; request yang gagal disimpan sebagai catatan error terenkripsi selama 30 hari. Lihat Privasi data request.

Langkah berikutnya