Wybór LLM bez cenzury: Jak wybrać między lokalnym uruchomieniem a API
Osoby szukające rekomendacji LLM bez cenzury muszą najpierw zdecydować o sposobie uruchomienia, a nie o nazwie modelu. Wybór między lokalnym uruchomieniem a API z hostingu zmienia wymagany sprzęt, koszty i obciążenie.
Data aktualizacji:

Kluczowe wnioski
- Określenie sposobu uruchomienia (lokalnie lub API) przed wyborem modelu zmniejsza liczbę prób i błędów.
- Lokalnie: zalety to offline i pełna kontrola. API: zaletą jest możliwość natychmiastowego startu bez sprzętu.
- W tym tekście nie ma rankingów wydajności ani liczb z benchmarków. Pokażemy, jak przetestować modele tym samym promptem.
- API obsługuje jeden model (uncensored), okno kontekstu 100 000 tokenów, cenę $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych.
Czego nie polecamy, a co polecamy
Trudno wierzyć, że jeden konkretny model zajmuje 1. miejsce. Modele się zmieniają, a wyniki tego samego modelu zależą od poziomu kwantyzacji i promptu. Zamiast rankingów podajemy kryteria wyboru. Dzięki nim będziesz mógł oceniać nowe modele w ten sam sposób.
Mówiąc o modelach bez cenzury, mamy na myśli modele open-weight dostosowane tak, aby odrzucały mniej treści niż ogólne komercyjne boty czatowe, z założeniem legalnego użytku przez dorosłych. Główne zastosowanie to tworzenie treści i rozmowy dla dorosłych, np. pisanie powieści, roleplay czy aplikacje towarzyskie. Treści seksualne z udziałem nieletnich są niedozwolone w każdym trybie użycia i to jest granica, którą należy respektować zarówno w lokalnym uruchomieniu, jak i przez API.
Trzy drogi: Lokalnie, własny serwer, API
Uruchomienie lokalne
Sposób, w jaki pliki modeli są uruchamiane lokalnie na Twoim komputerze za pomocą narzędzi takich jak Ollama czy llama.cpp. Nie wymaga połączenia z internetem, a rozmowy nie są wysyłane na zewnątrz. Wymaga jednak więcej pamięci VRAM, im większy model. Można zmniejszyć rozmiar poprzez kwantyzację, co może obniżyć jakość. Sprawdź opisy na stronach narzędzi i modeli, aby zobaczyć, które modele działają na Twoim sprzęcie.
Własny serwer GPU
Wynajem GPU w chmurze i samodzielne skonfigurowanie serwera. Masz pełną wolność wyboru modelu, ale odpowiadasz za konfigurację, aktualizacje, monitoring i koszty. Upewnij się, czy struktura kosztów nie wymaga płacenia za czas bezczynności.
API hostingu
Wysyłanie zapytań do serwera operatora i płacenie za zużycie. Nie wymaga sprzętu ani konfiguracji, ale wybór modelu jest ograniczony do oferty dostawcy, a Twój prompt przechodzi przez zewnętrzny serwer. Nasze API należy do tej kategorii.
Tabela porównawcza według kryteriów
| Kryterium | Lokalnie | API hostingu |
|---|---|---|
| Koszt początkowy | Wymagany GPU zgodny ze specyfikacją lub wystarczająca pamięć | Start tylko od doładowania prepaid, min. $20 |
| Niskie zużycie | Przy posiadanym sprzęcie brak dodatkowych kosztów | Płatność tylko za zużycie, co zmniejsza obciążenie. |
| Bardzo wysokie zużycie | Koszty stałe mogą być korzystne | Wzrost proporcjonalny do ceny za token. |
| Długość kontekstu | Ograniczone przez VRAM i konfigurację | To API obsługuje 100 000 tokenów. |
| Wybór modelu | Możliwość dowolnej zmiany | Model dostarczany przez operatora (w tym przypadku jeden uncensored). |
| Prywatność | Dane nie opuszczają Twojego urządzenia | Zapytanie przechodzi przez zewnętrzny serwer |
| Przetwarzanie równoległe | Zależy od sprzętu | 8 żądań równoległych i 300 żądań na minutę przy oficjalnym kluczu |
| Obciążenie administracyjne | Wymaga instalacji i aktualizacji | Skonfiguruj tylko klucz i base URL |
Trudno powiedzieć, która opcja zawsze wygrywa w tabeli. Jeśli priorytetem jest prywatność i masz sprzęt, lokalne rozwiązanie jest lepsze; jeśli nie masz sprzętu lub musisz obsługiwać wiele aplikacji jednocześnie, API jest wygodniejsze.
Kiedy lokalne rozwiązanie jest lepsze
- Kiedy musisz używać go w środowisku offline. W samolocie lub w miejscu bez dostępu do zewnętrznej sieci nie masz wyboru.
- Gdy dane nie mogą opuścić Twojego urządzenia. Żadna polityka dostawcy nie zapewnia takiej pewności jak przechowywanie danych lokalnie.
- Kiedy celem jest sama eksperymentacja z różnymi modelami.
- Gdy masz już wystarczająco VRAM i masz stałe, wysokie obciążenie zapytaniami.
Na odwrót, trzy najczęstsze powody, dla których porzuca się lokalne rozwiązanie, to: konieczność skracania kontekstu z powodu braku pamięci, wolna generacja oraz blokada przy jednoczesnym wywoływaniu z wielu aplikacji. Jeśli dotknie Cię którykolwiek z tych problemów, API jest realistyczną alternatywą.
Kiedy lepsze jest API hostowane
API tej strony jest kompatybilne z OpenAI, więc możesz je podłączyć, dodając kompatybilny z OpenAI endpoint w narzędziach takich jak SillyTavern lub wpisując base URL i klucz w swojej aplikacji. Dostępny jest tylko jeden model uncensored z oknem kontekstu 100 000 tokenów (łącznie z promptem i wyjściem). Obsługuje strumieniowanie, wywoływanie funkcji i tryb JSON.
Szczególnie wygodne w poniższych przypadkach.
- Kiedy nie masz GPU lub programujesz na laptopie.
- Kiedy tworzysz bota lub aplikację jako usługę i musisz obsługiwać zapytania wielu użytkowników jednocześnie. Oficjalny klucz pozwala na 8 żądań równoległych.
- Kiedy często wykonujesz zadania wymagające dużego kontekstu, takie jak długie rozmowy lub dokumenty.
- Kiedy miesięczne zużycie jest niestabilne i trudno jest pokrywać stałe koszty.
To API to usługa jednego modelu zarządzana przez niezależnego operatora, a nie oficjalne API innej firmy. Jeśli oczekiwałeś usługi pozwalającej wybierać spośród wielu modeli, to nie jest to właściwe rozwiązanie. Prompty nie są używane do uczenia modelu, ale fakt, że zapytanie przechodzi przez serwer, pozostaje bez zmian, więc jeśli przetwarzasz wrażliwe dane, przeczytaj politykę prywatności.
Metoda porównania bez benchmarków
Tabele wyników stworzone przez innych często nie pasują do Twoich potrzeb. W 30 minut możesz przeprowadzić własne porównanie w następującej kolejności.
- Wybierz 10 promptów, których faktycznie używasz. Dodaj również swój standardowy system prompt i ustawienia postaci.
- Wyślij ten sam prompt do modelu lokalnego i do API. Ustaw takie same parametry, takie jak temperature.
- Odczytaj odpowiedzi, zatajując ich nazwy, i oceń je. Zwróć uwagę na styl, utrzymanie ustawień, wykonanie instrukcji oraz powtarzalność tych samych słów.
- Nie rób tego za jednym razem; uruchom każdy prompt 3 razy, aby sprawdzić wariancję.
API można w pełni przetestować za pomocą $0,50 kredytu próbny. Po zalogowaniu się można go uzyskać na stronie klucz API. Limit to 1 użytkownik, 1 raz, ważność 7 dni, nie jest wymagana metoda płatności. Poniżej znajduje się minimalny kod do wysłania tego samego prompt do API.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.mugeomyeolapi.com/v1", api_key=os.environ["MUGEOMYEOL_API_KEY"])
prompts = ["내 프롬프트 1", "내 프롬프트 2"] # 실제 쓸 프롬프트로 교체
for p in prompts:
for run in range(3):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p}],
temperature=0.8,
)
print(f"[{p[:10]} / {run + 1}회]", r.choices[0].message.content[:200])Tryb hybrydowy i ostateczna lista kontrolna
Nie musisz wybierać tylko jednej opcji. Wielu użytkowników dzieli zastosowania: wrażliwe szkice generuje lokalnie, a zadania wymagające dużego kontekstu lub równoległych zapytań wysyła przez API. Dzięki kompatybilności z formatem OpenAI możesz przełączać się między obiema opcjami w tym samym kodzie, zmieniając tylko base URL, co zapewnia niski koszt przejścia.
Przed podjęciem decyzji sprawdź:
- Czy VRAM Twojego sprzętu wystarczy na pożądany długość kontekstu.
- Ile wynosi miesięczna liczba wywołań? W przypadku API spróbuj najpierw obliczyć koszty według cen z strony z cenami. Cena to $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych.
- Czy prompt może przechodzić przez zewnętrzny serwer.
- Ile zapytań musisz obsłużyć jednocześnie.
Metodę konfiguracji znajdziesz w dokumentacji API. Doładowanie wynosi od $20 do $500, a metodami płatności są USDT (TRC20) i USDC (Base).
Więcej przewodników
Najczęściej zadawane pytania
Która opcja jest lepsza dla LLM bez cenzury: lokalna czy API?
Nie ma jednej poprawnej odpowiedzi – zależy to od zastosowania. Jeśli potrzebujesz pracy offline lub pełnej kontroli i masz sprzęt, wybierz lokalną opcję; jeśli chcesz korzystać od razu bez sprzętu lub potrzebujesz równoległych zapytań, wybierz API.
Czy mogę wybrać model w tym API?
Nie. Dostępny jest jeden model uncensored. Jeśli potrzebujesz usługi pozwalającej wybierać spośród wielu modeli, to może nie być dla Ciebie odpowiednie.
Czy mogę używać lokalnie i API jednocześnie?
Tak. Jeśli oba narzędzia korzystają z formatu kompatybilnego z OpenAI, możesz przełączać się między nimi w tym samym kodzie, zmieniając tylko base URL i klucz.
Czy obsługuje generowanie obrazów?
To API jest przeznaczone wyłącznie do tekstu. Nie obsługuje generowania obrazów, głosu, wideo, embeddingów ani fine-tuningu.
Klucz API po samej rejestracji
Utwórz konto, skopiuj klucz, zmień base URL. To wszystko, jeśli chodzi o konfigurację.