API LLM so với OpenRouter: Lộ trình nào phù hợp với bạn

Hai lộ trình khác nhau cho cùng một giao thức

Câu hỏi llm api vs openrouter thực chất là câu hỏi về hình dạng. OpenRouter được mô tả công khai là một API duy nhất cho phép bạn truy cập các mô hình từ nhiều nhà cung cấp khác nhau bằng một tài khoản. Một API chuyên dụng như trang web này là điều ngược lại: một mô hình, do một nhà cung cấp độc lập vận hành, phía sau một endpoint.

Cả hai đều hỗ trợ định dạng OpenAI Chat Completions. Điều này rất tốt vì nghĩa là bạn không bị khóa chặt. Code viết cho bên này chạy được ở bên kia sau khi bạn thay đổi base URL, khóa và tên mô hình. Vì vậy, quyết định không nằm ở việc viết lại ứng dụng của bạn. Nó nằm ở việc bạn cần quyền truy cập mô hình nào, mức độ dự đoán hành vi bạn muốn và cách bạn muốn thanh toán.

Một lời về sự công bằng: trang web này bán tùy chọn chuyên dụng, vì vậy hãy đọc các tuyên bố với tâm thế đó. Mọi thông tin dưới đây về dịch vụ khác đều dựa trên những gì được biết đến công khai, và đối với danh sách mô hình, giá cả và chính sách của họ, bạn nên kiểm tra bảng giá và tài liệu hiện tại của họ.

Bên cạnh nhau

Bảng này cho thấy sự đánh đổi cốt lõi: độ rộng so với sự tập trung. Không bên nào tốt hơn một cách trừu tượng.

Khi bộ tổng hợp là lựa chọn tốt hơn

Hãy trung thực với bản thân về các trường hợp này, vì trong mỗi trường hợp đó, API chuyên dụng một mô hình là công cụ không phù hợp.

• Bạn cần nhiều mô hình. Nếu một nhiệm vụ cần mô hình suy luận lớn, một nhiệm vụ khác cần mô hình nhỏ giá rẻ, và một nhiệm vụ thứ ba cần xử lý thị giác, một gateway sẽ giúp bạn tiết kiệm việc quản lý nhiều tài khoản.
• Bạn muốn so sánh các mô hình. Đánh giá năm mô hình trên cùng một prompt dễ nhất khi chúng chia sẻ một khóa và một định dạng.
• Bạn cần hình ảnh, âm thanh hoặc vector nhúng. Dịch vụ này chỉ xử lý văn bản. Nó không có khả năng tạo hình ảnh hoặc âm thanh, không có vector nhúng và không có fine-tuning.
• Bạn muốn dự phòng giữa các nhà cung cấp. Một mô hình chuyên dụng đơn lẻ không thể chuyển đổi sang một nhóm mô hình khác.
• Bạn cần mô hình chính thức của nhà cung cấp theo tên. Đây không phải là API chính thức của Meta, Mistral, Qwen, DeepSeek, OpenAI, Google, Anthropic hoặc bất kỳ nhà cung cấp nào khác, và nó không phải là bộ định tuyến giữa các nhà cung cấp.

Nếu hai hoặc nhiều điều kiện trên áp dụng cho bạn, hãy bắt đầu với bộ tổng hợp và bỏ qua phần còn lại của bài viết này.

Khi API không kiểm duyệt chuyên dụng là lựa chọn tốt hơn

Lộ trình chuyên dụng có ý nghĩa khi yêu cầu sản phẩm hẹp và ổn định.

Bạn cần hành vi giống nhau mỗi lần

Khi ứng dụng nhận câu trả lời từ một nhóm các mô hình, hành vi có thể khác nhau giữa chúng, và một mô hình có thể thay đổi hoặc biến mất. Với một model ID, uncensored, prompt của bạn được kiểm tra trên một thứ duy nhất. Đối với các công cụ truyện, nhập vai và ứng dụng bạn đồng hành cho người lớn, sự dự đoán được này có giá trị hơn một danh sách mô hình dài.

Từ chối là vấn đề bạn đang giải quyết

Nếu người dùng của bạn viết truyện dành cho người lớn hoặc thảo luận về các chủ đề mà các trợ lý phổ thông thường từ chối, bạn cần một mô hình được tinh chỉnh để trả lời mà không có sự từ chối nội dung cho mục đích người trưởng thành hợp pháp. Giới hạn cứng duy nhất là nội dung tình dục liên quan đến người chưa thành niên luôn bị cấm.

Bạn muốn thanh toán đơn giản

Có một cặp giá: $0.15 cho mỗi 1 triệu token đầu vào và $0.50 cho mỗi 1 triệu token đầu ra. Các yêu cầu bị lỗi hoặc bị từ chối sẽ không bị tính phí. Tín dụng là trả trước, không bao giờ hết hạn, và các lần nạp tiền bắt đầu từ $20 đến $500 với ưu đãi +5% khi nạp từ $50, +10% khi nạp từ $100 và +15% khi nạp từ $200. Chi tiết đầy đủ có trên trang giá.

Chi phí ước tính cho một tháng

Giả sử một ứng dụng chat với 2.000 cuộc hội thoại mỗi tháng. Mỗi cuộc hội thoại có 10 lượt, trung bình 1.800 token đầu vào và 350 token đầu ra mỗi lượt.

• Lượt: 2.000 x 10 = 20.000
• Token đầu vào: 20.000 x 1.800 = 36.000.000, vậy 36 x $0.15 = $5.40
• Token đầu ra: 20.000 x 350 = 7.000.000, vậy 7 x $0.50 = $3.50
• Tổng cộng: $8.90 cho tháng

Vì mức nạp tiền tối thiểu là $20, nên đó là khoảng hai tháng cho khối lượng công việc này từ một lần nạp tiền, và tín dụng không bao giờ hết hạn. Để chạy cùng phép tính trên một dịch vụ khác, hãy lấy giá trên mỗi triệu token từ trang giá hiện tại của họ và áp dụng vào cùng công thức. Đừng tin tưởng một con số sao chép từ bài viết trên blog, bao gồm cả bài viết này, vì giá cả thay đổi.

Cũng có một bẫy trong so sánh chi phí: mô hình rẻ nhất trên mỗi token không phải là mô hình rẻ nhất trên mỗi tác vụ. Một mô hình cần ba lần thử lại, hoặc từ chối và lãng phí một lượt, sẽ tốn kém hơn trong thực tế. Hãy đếm token thực tế của bạn trên mỗi tác vụ hoàn thành.

Chuyển đổi giữa hai bên mà không cần viết lại code

Vì cả hai lộ trình chia sẻ một giao thức, bạn có thể giữ các tùy chọn của mình. Đặt base URL, khóa và tên mô hình trong cấu hình, không phải trong code. Sau đó, việc chuyển đổi một tác vụ từ lộ trình này sang lộ trình kia chỉ là thay đổi môi trường.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: process.env.LLM_BASE_URL ?? "https://api.comparellmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const model = process.env.LLM_MODEL ?? "uncensored";

const resp = await client.chat.completions.create({
  model,
  messages: [{ role: "user", content: "Summarize the plot of a heist story in three lines." }],
});
console.log(resp.choices[0].message.content);

Một mẫu phổ biến là gửi các tác vụ chung (tóm tắt, phân loại, trợ giúp code) đến bất kỳ mô hình mục đích chung nào bạn thích, và gửi các tác vụ sáng tạo hoặc nội dung trưởng thành đến endpoint không kiểm duyệt. Bạn có được độ rộng ở nơi bạn muốn và không có từ chối ở nơi bạn không muốn.

Các câu hỏi cần giải quyết trước khi bạn quyết định

1. Bạn có cần nhiều hơn một mô hình không? Nếu có, hãy sử dụng một bộ tổng hợp cho những phần đó.
2. Nội dung của bạn có bị từ chối ngày hôm nay không? Nếu có, hãy thử endpoint chuyên dụng cho các prompt chính xác đó.
3. Bạn có cần đầu ra không phải văn bản không? Nếu có, dịch vụ này không thể cung cấp nó.
4. Bạn cần lưu lượng truy cập song song bao nhiêu? So sánh nó với 8 yêu cầu đồng thời trên một khóa đầy đủ.

Các giới hạn bạn nên biết trước khi chọn

Một so sánh công bằng bao gồm các ràng buộc ở phía này.

• Cửa sổ ngữ cảnh: 100.000 token, bao gồm prompt và kết quả.
• Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 và 60.
• Kích thước tối đa của thân yêu cầu: 8 MB.
• Lỗi 429 đi kèm mã: rate_limited, concurrency, hoặc quá tải ngắn với Retry-After: 5.
• Các tính năng được hỗ trợ: truyền phát (streaming), gọi hàm, chế độ JSON và các tham số lấy mẫu thông thường.

Nếu ứng dụng của bạn cần hàng nghìn yêu cầu đồng thời, 8 yêu cầu đồng thời sẽ là giới hạn của bạn, và bạn nên lên kế hoạch cho điều đó hoặc chọn cách khác. Xem thêm so sánh chi phí token để biết thêm chi tiết về giá cả.

Độ tin cậy là một câu hỏi riêng biệt

Mọi người thường gộp thời gian hoạt động vào quyết định này, nhưng không lộ trình nào có thể được đánh giá qua một bài đăng trên blog. Một gateway thêm một bước nhảy và phụ thuộc vào nhà cung cấp phía sau mô hình mà bạn đã chọn. Một endpoint chuyên dụng phụ thuộc vào một nhà điều hành và một mô hình. Không bên nào an toàn hơn một cách tự động. Nếu tính khả dụng quan trọng đối với sản phẩm của bạn, hãy tự chạy thử nghiệm: gửi một luồng yêu cầu ổn định trong một tuần, ghi lại lỗi và độ trễ, và đưa ra quyết định dựa trên số liệu của chính bạn.

Hãy thêm cơ chế thử lại (retry) cho lỗi 429 và 5xx bất kể bạn chọn cách nào, và giữ base URL trong cấu hình để bạn có thể chuyển đổi nếu một bên gặp sự cố. Thói quen đó có giá trị hơn bất kỳ bảng so sánh nào.

Thử nghiệm mất mười phút

Cách đơn giản nhất để quyết định là thử nghiệm. Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API, có hiệu lực trong 7 ngày, không cần thẻ, một người dùng một lần. Sau đó, hãy trỏ máy khách OpenAI hiện có của bạn vào endpoint này:

Copyimport os
from openai import OpenAI

client = OpenAI(base_url="https://api.comparellmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a two-line villain monologue."}],
)
print(resp.choices[0].message.content)

Chạy các prompt mà cấu hình hiện tại của bạn từ chối hoặc xử lý kém, rồi so sánh. Vì định dạng giống nhau, bạn có thể giữ cả hai tuyến trong mã của mình và chọn theo từng nhiệm vụ. Tài liệu bao gồm truyền phát và tool calls. Prompt không được dùng để huấn luyện.

Hướng dẫn khác

• API LLM không kiểm duyệt: Giá cả & So sánh chi phí token