API LLM vs OpenRouter: Mana yang Cocok untuk Anda

Dua rute berbeda ke protokol yang sama

Pertanyaan llm api vs openrouter sebenarnya adalah pertanyaan tentang bentuk. OpenRouter secara publik dijelaskan sebagai satu API yang memungkinkan Anda menjangkau model dari banyak penyedia berbeda dengan satu akun. API khusus seperti yang ada di situs ini adalah kebalikannya: satu model, dijalankan oleh satu penyedia independen, di balik satu endpoint.

Keduanya menggunakan format OpenAI Chat Completions. Itu kabar baik, karena berarti Anda tidak terkunci. Kode yang ditulis untuk satu dapat berjalan di yang lain setelah Anda mengubah URL dasar, kunci, dan nama model. Jadi keputusannya bukan tentang menulis ulang aplikasi Anda. Ini tentang akses model mana yang Anda butuhkan, seberapa dapat diprediksi Anda ingin perilakunya, dan bagaimana Anda ingin membayar.

Sebuah kata tentang keadilan: situs ini menjual opsi khusus, jadi baca klaim dengan mempertimbangkan itu. Semua hal di bawah ini tentang layanan lain terbatas pada apa yang diketahui secara publik, dan untuk daftar model, harga, dan kebijakan mereka, Anda harus memeriksa harga dan dokumentasi terkini mereka.

Bersebelahan

Tabel menunjukkan trade-off inti: luas versus fokus. Tidak ada yang lebih baik secara abstrak.

Ketika agregator adalah pilihan yang lebih baik

Jujurlah pada diri sendiri tentang kasus-kasus ini, karena dalam setiap kasus API model tunggal khusus adalah alat yang salah.

• Anda membutuhkan beberapa model. Jika satu tugas menginginkan model penalaran besar, tugas lain menginginkan model kecil yang murah, dan tugas ketiga membutuhkan visi, gerbang menghindarkan Anda dari mengelola banyak akun.
• Anda ingin membandingkan model. Mengevaluasi lima model pada prompt yang sama paling mudah ketika mereka berbagi satu kunci dan satu format.
• Anda membutuhkan gambar, audio, atau embedding. Layanan ini hanya teks. Tidak ada pembuatan gambar atau audio, tidak ada embedding, dan tidak ada fine-tuning.
• Anda menginginkan fallback di seluruh vendor. Satu model khusus tidak dapat beralih ke keluarga model yang berbeda.
• Anda membutuhkan model vendor resmi berdasarkan nama. Ini bukan API resmi dari Meta, Mistral, Qwen, DeepSeek, OpenAI, Google, Anthropic, atau vendor lain mana pun, dan ini bukan router lintas vendor.

Jika dua atau lebih dari itu berlaku untuk Anda, mulailah dengan agregator dan abaikan sisa artikel ini.

Kapan API tanpa sensor khusus adalah pilihan yang lebih baik

Rute khusus masuk akal ketika persyaratan produk sempit dan stabil.

Anda membutuhkan perilaku yang sama setiap saat

Ketika aplikasi mendapatkan jawabannya dari kumpulan model, perilaku dapat berbeda di antara mereka, dan model dapat berubah atau hilang. Dengan satu ID model, uncensored, prompt Anda diuji terhadap satu hal. Untuk alat fiksi, roleplay, dan aplikasi teman untuk orang dewasa, prediktabilitas itu lebih berharga daripada daftar model yang panjang.

Penolakan adalah masalah yang sedang Anda selesaikan

Jika pengguna Anda menulis fiksi dewasa atau membahas topik yang ditolak oleh asisten tujuan umum, Anda menginginkan model yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Satu batasan kerasnya adalah bahwa konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan.

Anda ingin penagihan yang sederhana

Ada satu pasangan harga, $0,15 per 1M token input dan $0,50 per 1M token output. Permintaan yang gagal atau ditolak tidak dikenakan biaya. Saldo prabayar, tidak pernah kedaluwarsa, dan isi ulang mulai dari $20 hingga $500 dengan +5% dari $50, +10% dari $100, dan +15% dari $200. Detail lengkap ada di halaman harga.

Berapa biaya yang mungkin dikeluarkan dalam sebulan, dihitung

Asumsikan aplikasi chat dengan 2.000 percakapan per bulan. Setiap percakapan memiliki 10 giliran, rata-rata 1.800 token input dan 350 token output per giliran.

• Giliran: 2.000 x 10 = 20.000
• Token input: 20.000 x 1.800 = 36.000.000, jadi 36 x $0,15 = $5,40
• Token output: 20.000 x 350 = 7.000.000, jadi 7 x $0,50 = $3,50
• Total: $8,90 untuk bulan ini

Karena isi ulang minimum adalah $20, itu adalah sekitar dua bulan dari beban kerja ini dari satu isi ulang, dan saldo tidak kedaluwarsa. Untuk menjalankan aritmatika yang sama terhadap layanan lain, ambil harga per juta dari halaman harga terkini mereka dan masukkan ke dalam rumus yang sama. Jangan percaya angka yang disalin dari pos blog, termasuk ini, karena harga berubah.

Ada juga jebakan dalam perbandingan biaya: model termurah per token bukan yang termurah per tugas. Model yang membutuhkan tiga percobaan ulang, atau yang menolak dan membuang giliran, lebih mahal dalam praktiknya. Hitung token asli Anda per tugas yang selesai.

Berpindah di antara keduanya tanpa penulisan ulang

Karena kedua rute berbagi protokol, Anda dapat mempertahankan pilihan Anda. Masukkan URL dasar, kunci, dan nama model dalam konfigurasi, bukan dalam kode. Kemudian beralih tugas dari satu rute ke rute lainnya adalah perubahan lingkungan.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: process.env.LLM_BASE_URL ?? "https://api.comparellmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const model = process.env.LLM_MODEL ?? "uncensored";

const resp = await client.chat.completions.create({
  model,
  messages: [{ role: "user", content: "Summarize the plot of a heist story in three lines." }],
});
console.log(resp.choices[0].message.content);

Pola umum adalah mengirim tugas umum (ringkasan, klasifikasi, bantuan kode) ke model tujuan umum yang Anda sukai, dan mengirim tugas konten kreatif atau dewasa ke endpoint tanpa sensor. Anda mendapatkan keragaman model di mana Anda menginginkannya dan tanpa penolakan di mana Anda tidak menginginkannya.

Pertanyaan yang perlu Anda selesaikan sebelum berkomitmen

1. Apakah Anda memerlukan lebih dari satu model? Jika ya, gunakan agregator untuk bagian tersebut.
2. Apakah konten Anda ditolak hari ini? Jika ya, uji endpoint khusus pada prompt yang sama persis tersebut.
3. Apakah Anda memerlukan output non-teks? Jika ya, layanan ini tidak dapat menyediakannya.
4. Seberapa banyak lalu lintas paralel yang Anda butuhkan? Bandingkan dengan 8 permintaan paralel pada kunci penuh.

Batas yang perlu Anda ketahui sebelum memilih

Perbandingan yang adil mencakup batasan di sisi ini.

• Jendela konteks: 100.000 token, prompt plus penyelesaian.
• Kunci penuh mengizinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba mengizinkan 2 dan 60.
• Ukuran badan permintaan maksimum: 8 MB.
• Kesalahan 429 disertai kode: rate_limited, concurrency, atau kelebihan beban singkat dengan Retry-After: 5.
• Fitur yang didukung: streaming, pemanggilan fungsi, mode JSON, dan parameter sampling standar.

Jika aplikasi Anda memerlukan ribuan permintaan paralel, 8 permintaan paralel akan menjadi batas atas Anda, dan Anda harus merencanakan hal itu atau memilih opsi lain. Lihat juga perbandingan biaya token untuk detail harga lebih lanjut.

Keandalan adalah pertanyaan terpisah

Orang sering memasukkan ketersediaan layanan ke dalam keputusan ini, tetapi tidak ada rute yang dapat dinilai hanya dari postingan blog. Gerbang menambahkan satu hop dan bergantung pada penyedia di balik model yang Anda pilih. Endpoint khusus bergantung pada satu operator dan satu model. Tidak ada yang secara otomatis lebih aman. Jika ketersediaan penting bagi produk Anda, jalankan pengujian Anda sendiri: kirim aliran permintaan yang stabil selama seminggu, catat kesalahan dan latensi, dan putuskan berdasarkan angka Anda sendiri.

Bangun retry untuk kesalahan 429 dan 5xx di rute mana pun yang Anda pilih, dan simpan URL dasar dalam konfigurasi agar Anda dapat beralih jika salah satu sisi mengalami masalah. Kebiasaan itu lebih berharga daripada tabel perbandingan apa pun.

Mencobanya membutuhkan waktu sepuluh menit

Cara termudah untuk memutuskan adalah dengan menguji. Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API, berlaku selama 7 hari, tanpa kartu, satu per orang. Kemudian arahkan klien OpenAI Anda yang ada ke endpoint ini:

Copyimport os
from openai import OpenAI

client = OpenAI(base_url="https://api.comparellmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a two-line villain monologue."}],
)
print(resp.choices[0].message.content)

Jalankan prompt yang ditolak atau ditangani dengan buruk oleh pengaturan Anda saat ini, dan bandingkan. Karena formatnya sama, Anda dapat mempertahankan kedua rute dalam kode Anda dan memilih berdasarkan tugas. Dokumentasi mencakup streaming dan panggilan alat. Prompt tidak digunakan untuk pelatihan.

Panduan lainnya

• API LLM Tanpa Sensor: Perbandingan Harga & Biaya Token