Szybki start LLM API: Endpointy kompatybilne z OpenAI

Uwierzytelnianie i URL bazowy

Aby rozpocząć korzystanie z usług dostawcy llm api, potrzebujesz klucza API. Zarejestruj się na stronie Pobierz klucz API podając tylko adres e-mail i hasło. Twój klucz pojawi się natychmiast. Nie jest wymagany numer telefonu ani karta kredytowa dla kredytu próbnego. Chroń swój klucz; możesz go wygenerować ponownie w dowolnym momencie, co unieważni poprzedni klucz.

Skonfiguruj klienta tak, aby wskazywał nasz URL bazowy. Zapewnia to, że wszystkie zapytania są kierowane do naszego modelu bez cenzury. Struktura endpointu odzwierciedla standardowy interfejs chat completions OpenAI.

• URL bazowy: https://api.comparellmapi.com/v1
• Nagłówek: Authorization: Bearer YOUR_API_KEY

Ta konfiguracja działa z dowolnym SDK kompatybilnym z OpenAI. Musisz tylko dostosować URL bazowy i wstrzyknąć swój klucz.

Twoje pierwsze zapytanie

Wyślij proste zapytanie o uzupełnienie tekstu, aby przetestować łączność. Potwierdza to, że Twój klucz API jest ważny i kredyty są dostępne. Użyj identyfikatora modelu uncensored, aby uzyskać dostęp do surowego modelu. Endpoint akceptuje żądania POST z ciałem JSON zawierającym wiadomości.

Upewnij się, że ciało Twojego zapytania mieści się w 8 MB. Jeśli przekroczysz ten limit, serwer odrzuci zapytanie. Dla większości aplikacji tekstowych jedna tura lub krótka rozmowa mieszczą się dobrze w tym ograniczeniu.

Copycurl https://api.comparellmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

W przypadku powodzenia otrzymasz odpowiedź JSON z wygenerowanym tekstem. Potwierdza to, że struktura cennika llm api dotyczy Twojego użycia. Każdy token liczy się do Twojego przedpłaconego salda.

Integracja z Python SDK

Użyj oficjalnej biblioteki OpenAI Python dla najłatwiejszej integracji. Zainstaluj pakiet przez pip, a następnie skonfiguruj klienta z naszym URL bazowym. Pozwala to na używanie znanych metod takich jak chat.completions.create().

Ustaw model na uncensored. Przekaż swoje wiadomości w standardowym formacie. SDK obsługuje serializację i parsowanie błędów automatycznie.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.comparellmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

To podejście jest idealne dla usług backendowych lub skryptów. Biblioteka zarządza ponownymi próbami i podstawową obsługą błędów. Pamiętaj, aby sprawdzić zawartość odpowiedzi pod kątem wygenerowanego tekstu. Możesz również uzyskać dostęp do danych o użyciu tokenów dla przejrzystości rozliczeń.

Konfiguracja Node.js SDK

W środowiskach JavaScript lub TypeScript SDK Node.js OpenAI działa bezproblemowo. Zainstaluj pakiet i zainicjuj klienta z naszym URL bazowym. To zapewnia kompatybilność ze standardowym interfejsem API.

Zdefiniuj swoje wiadomości systemowe i użytkownika. Identyfikator modelu pozostaje uncensored. SDK zwraca obietnicę z wynikiem uzupełnienia. Obsłuż błędy odpowiednio, aby zarządzać limitami API lub niewystarczającymi kredytami.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.comparellmapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ta metoda jest odpowiednia dla serwerów sieciowych lub aplikacji Node.js. Struktura kodu odzwierciedla przykład Pythona, zapewniając spójność między językami. Możesz łatwo zintegrować to z trasami Express lub funkcjami serverless.

Odpowiedzi strumieniowe (SSE)

Dla aplikacji w czasie rzeczywistym włącz strumieniowanie, ustawiając parametr stream na true. Serwer wysyła serię zdarzeń wysłanych przez serwer (SSE). Każde zdarzenie zawiera częściowy fragment odpowiedzi.

Zmniejsza to postrzeganą opóźnienie dla użytkowników. Klient otrzymuje tokeny, gdy są generowane. Jest to przydatne dla interfejsów czatu lub generowania tekru na żywo.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Sparsuj strumień SSE, aby wyodrębnić każdy token. Kumuluj tekst, aby utworzyć pełną odpowiedź. Koszt chatgpt api i innych dostawców często jest podobny przy strumieniowaniu, ale nasz model bez cenzury oferuje surowe dane wyjściowe bez dodatkowych opłat za ten tryb. Monitoruj zdarzenie końca strumienia, aby sfinalizować odpowiedź.

Limity, błędy i kontekst

Zrozum limity operacyjne, aby zapewnić płynną integrację. Masz dozwolone 300 zapytań na minutę na klucz API. Jeśli przekroczysz ten limit, otrzymasz błąd limitu zapytań 429. Poczekaj przed ponowną próbą.

Typowe błędy to 401 dla nieprawidłowych kluczy i 402 za niewystarczający kredyt. Upewnij się, że Twoje saldo przedpłacone jest wystarczające. Okno kontekstu obsługuje do 100 000 tokenów dla prompta i uzupełnienia. Zarządzaj zużyciem tokenów ostrożnie, aby uniknąć ucięcia.

Szczegółowe ceny llm api znajdziesz na stronie z cenami. Każdy token jest rozliczany zgodnie z stawkami za dane wejściowe i wyjściowe. Nie ma ukrytych opłat. Ta przejrzystość pomaga Ci planować budżet dla swojej aplikacji.