LLM API vs OpenRouter: Hangi Yol Size Uyuyor

Aynı protokol için iki farklı rota

llm api vs openrouter sorusu aslında bir yapı sorusudur. OpenRouter, tek bir API ile birçok farklı sağlayıcıdan modellere tek bir hesapla erişim sağladığı şekilde kamuoyunda tanımlanır. Bu sitedeki gibi bir özel API ise tam tersidir: bir model, bağımsız bir sağlayıcı tarafından çalıştırılır, tek bir uç nokta arkasında.

Her ikisi de OpenAI Chat Completions formatını kullanır. Bu iyi bir haberdir çünkü bu, kilitlenmediğiniz anlamına gelir. Bir uygulama için yazılan kod, temel URL'yi, anahtarı ve model adını değiştirdikten sonra diğerinde çalışır. Bu nedenle karar, uygulamanızı yeniden yazmak hakkında değildir. Hangi model erişimine ihtiyacınız olduğu, davranışın ne kadar öngörülebilir olmasını istediğiniz ve nasıl ödeme yapmak istediğiniz hakkındadır.

Dürüstlük hakkında bir söz: Bu site özel seçeneği sattığı için, iddiaları bunu göz önünde bulundurarak okuyun. Diğer hizmet hakkında aşağıdaki her şey yalnızca halka açık olarak bilinenlerle sınırlıdır ve model listeleri, fiyatları ve politikaları için güncel fiyatlandırmalarını ve dokümantasyonlarını kontrol etmelisiniz.

Yan yana

Tablo temel ödünleşimi gösterir: genişlik odaklanmaya karşı. Soyut olarak hiçbirisi daha iyi değildir.

Bir toplayıcının daha iyi bir tercih olduğu durumlar

Bu durumlarda kendinize dürüst olun, çünkü her birinde tek modellili bir özel API yanlış bir araçtır.

• Birden fazla modele ihtiyacınız var. Bir görev büyük bir akıl yürütme modeli isterken, diğeri ucuz bir küçük model ister ve üçüncüsü görüntüye ihtiyaç duyarsa, bir ağ geçidi birçok hesap yönetmekten sizi kurtarır.
• Modelleri karşılaştırmak istiyorsunuz. Aynı istemlerde beş modeli değerlendirmek, tek bir anahtar ve tek bir format paylaştıklarında en kolaydır.
• Görsel, ses veya embedding'lere ihtiyacınız var. Bu hizmet yalnızca metin içindir. Görsel veya ses oluşturma, embedding ve fine-tuning desteği yoktur.
• Sağlayıcılar arasında yedekleme arıyorsunuz. Tek bir özel model, farklı bir model ailesine geçiş yapamaz.
• Resmi bir satıcı modeline ihtiyacınız var. Bu, Meta, Mistral, Qwen, DeepSeek, OpenAI, Google, Anthropic veya başka herhangi bir satıcının resmi API'si değildir ve satıcılar arasında bir yönlendirici de değildir.

Eğer bunlardan ikisi veya daha fazlası size uygulanıyorsa, bir toplayıcı ile başlayın ve bu makalenin geri kalanını görmezden gelin.

Özel bir sansürsüz API'nin daha iyi bir tercih olduğu durumlar

Özel rota, ürün gereksinimi dar ve istikrarlı olduğunda mantıklıdır.

Her seferinde aynı davranışa ihtiyacınız var

Bir uygulama, modeller havuzundan yanıt aldığında davranışlar arasında farklılıklar olabilir ve bir model değişebilir veya kaybolabilir. Tek bir model kimliği uncensored ile, istemleriniz tek bir şeye karşı test edilir. Yetişkinler için kurgu araçları, rol yapma ve companion uygulamaları için bu öngörülebilirlik, uzun bir model listesinden daha değerlidir.

Reddetmeler, çözmeye çalıştığınız sorundur

Kullanıcılarınız yetişkinlik temalı kurgu yazıyor veya genel amaçlı asistanların reddettiği konuları tartışıyor ise, yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış bir modele ihtiyacınız vardır. Tek bir katı sınır olarak, reşit olmayanlar içeren cinsel içerik asla izin verilmez.

Basit faturalandırma istiyorsunuz

Tek bir fiyat çifti vardır: $0.15 her 1M girdi token başına ve $0.50 her 1M çıktı token başına. Başarısız veya reddedilen istekler için ücret alınmaz. Kredi ön ödemelidir, süresi dolmaz ve bakiye yüklemeleri $20 ile $500 arasında değişir; $50'den +%5, $100'den +%10 ve $200'den +%15 eklenir. Tüm detaylar fiyatlandırma sayfasında yer almaktadır.

Bir ayın maliyeti, hesaplanmış

Ayda 2.000 konuşma olan bir sohbet uygulaması varsayalım. Her konuşma 10 dönüş içerir ve dönüş başına ortalama 1.800 giriş token'ı ve 350 çıktı token'ı vardır.

• Dönüşler: 2.000 x 10 = 20.000
• Giriş tokenları: 20.000 x 1.800 = 36.000.000, yani 36 x $0.15 = $5.40
• Çıktı tokenları: 20.000 x 350 = 7.000.000, yani 7 x $0.50 = $3.50
• Toplam: Ay için $8.90

Minimum yükleme $20 olduğundan, bu iş yükünün yaklaşık iki ayı tek bir yükleme ile karşılanır ve kredi sona ermez. Aynı aritmetiği başka bir hizmet için çalıştırmak için, güncel fiyatlandırma sayfalarından milyon başına fiyatları alın ve aynı formüle yerleştirin. Blog gönderilerinden kopyalanan sayılara, bu dahil olmak üzere, güvenmeyin çünkü fiyatlar değişir.

Maliyet karşılaştırmasında ayrıca bir tuzak da vardır: token başına en ucuz model, görev başına en ucuz model değildir. Üç yeniden deneme gerektiren veya reddedip bir dönüşü boşa harcayan bir model, pratikte daha pahalıdır. Tamamlanan görev başına gerçek tokenlarınızı sayın.

Yeniden yazma olmadan iki rota arasında geçiş

Her iki rota da bir protokol paylaştığı için, seçeneklerinizi açık tutabilirsiniz. Temel URL'yi, anahtarı ve model adını koda değil, yapılandırmaya yerleştirin. Ardından bir görevi bir rotadan diğerine geçirmek bir ortam değişikliğidir.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: process.env.LLM_BASE_URL ?? "https://api.comparellmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const model = process.env.LLM_MODEL ?? "uncensored";

const resp = await client.chat.completions.create({
  model,
  messages: [{ role: "user", content: "Summarize the plot of a heist story in three lines." }],
});
console.log(resp.choices[0].message.content);

Yaygın bir desen, genel görevleri (özetler, sınıflandırma, kod yardımı) tercih ettiğiniz genel amaçlı modele göndermek ve yaratıcı veya olgun içerik görevlerini sansürsüz uç noktaya göndermektir. İstediğiniz yerde genişlik elde edersiniz ve istemediğiniz yerde reddetme olmaz.

Taahhüt vermeden önce çözülmesi gereken sorular

1. Birden fazla modele mi ihtiyacınız var? Evet ise, bu kısımlar için bir toplayıcı kullanın.
2. İçeriğiniz bugün reddediliyor mu? Evet ise, bu tam istemler için ayrılmış uç noktayı test edin.
3. Metin dışı çıktıya mı ihtiyacınız var? Evet ise, bu hizmet bunu sağlayamaz.
4. Ne kadar eşzamanlı trafiğe ihtiyacınız var? Tam anahtar başına 8 eşzamanlı istek ile karşılaştırın.

Seçim yapmadan önce bilmeniz gereken limitler

Adil bir karşılaştırma, bu tarafın kısıtlamalarını da içerir.

• Bağlam penceresi: 100.000 token, istem ve tamamlama dahil.
• Tam bir anahtar 8 eşzamanlı istek ve dakika başına 300 istek izni verir. Deneme anahtarı 2 ve 60'a izin verir.
• Maksimum istek gövdesi: 8 MB.
• 429 hataları bir kod ile gelir: rate_limited, concurrency veya Retry-After: 5 ile kısa bir aşırı yüklenme.
• Desteklenen özellikler: akış, fonksiyon çağırma, JSON modu ve yaygın örnekleme parametreleri.

Uygulamanız binlerce eşzamanlı istek gerektiriyorsa, 8 eşzamanlı istek üst sınırınız olacaktır ve buna göre planlamalı veya farklı bir seçenek seçmelisiniz. Daha fazla fiyat detayı için token maliyeti karşılaştırması sayfasına da bakın.

Güvenilirlik ayrı bir sorundur

İnsanlar genellikle çalışma süresini bu karara dahil eder, ancak hiçbir rota bir blog yazısıyla yargılanamaz. Bir ağ geçidi bir ek hop ekler ve seçtiğiniz modelin arkasındaki sağlayıcıya bağlıdır. Özel bir uç nokta tek bir operatöre ve tek bir modele bağlıdır. Otomatik olarak daha güvenli olan yoktur. Ürününüz için kullanılabilirlik önemliyse, kendi testinizi yapın: bir hafta boyunca düzenli bir istek akışı gönderin, hataları ve gecikmeyi günlüğe kaydedin ve kendi verilerinizden karar verin.

Seçtiğiniz yoldan bağımsız olarak 429 ve 5xx hataları için bir yeniden deneme mekanizması ekleyin ve bir tarafın kötü bir günü olursa değiştirebileceğiniz için base URL'i yapılandırmada tutun. Bu tek alışkanlık, herhangi bir karşılaştırma tablosundan daha değerlidir.

Denemek on dakika sürer

Karar vermenin en basit yolu test etmektir. Yeni kullanıcılar API anahtarı sayfası üzerinde tek tıkla 7 gün geçerli, kart gerekmez, kişi başı bir kez olmak üzere $0.50 deneme kredisi talep edebilir. Ardından mevcut OpenAI istemcinizi bu uç noktaya yönlendirin:

Copyimport os
from openai import OpenAI

client = OpenAI(base_url="https://api.comparellmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a two-line villain monologue."}],
)
print(resp.choices[0].message.content)

Mevcut kurulumunuzun reddettiği veya kötü yönettiği istemleri çalıştırın ve karşılaştırın. Format aynı olduğu için, her iki rotayı da kodunuzda tutabilir ve görev başına seçim yapabilirsiniz. Dokümantasyon akış ve fonksiyon çağırma konularını kapsar. İstemler eğitim için kullanılmaz.

Daha fazla kılavuz

• Sansürsüz LLM API: Fiyatlandırma ve Token Maliyeti Karşılaştırması