Sansürsüz LLM önerisi: Yerel çalıştırma ve barındırılan API seçim yöntemi
Sansürsüz LLM arayanların ilk belirlemesi model adı değil, çalıştırma biçimidir. PC'nizde mi çalıştıracağınız yoksa barındırılan API'yi mi kullanacağınız, gereken donanım, maliyet ve yönetim yükünü büyük ölçüde değiştirir.
Güncelleme tarihi:

Özet
- Deneme-yanılma sayısını azaltmak için model sıralamasından önce çalışma biçimini (yerel veya API) belirlemek daha iyidir.
- Yerel kullanımın avantajı çevrim dışı çalışma ve tam kontroldür; barındırılan API'nin avantajı donanım olmadan hemen başlamanızdır.
- Bu yazıda performans sıralaması veya benchmark verisi yoktur. Aynı istemle doğrudan test etme yöntemi anlatılır.
- API tarafı; tek bir (uncensored) model, 100.000 token bağlam penceresi, giriş $0,15 ve çıkış $0,50 (1 milyon token başına) fiyatlandırmasına sahiptir.
Bu yazıda önerilmeyen ve önerilenler
Belirli bir modeli 1. sıraya koyan yazılara güvenmek zordur. Modeller sürekli değişir ve aynı model bile niceleme düzeyi ve istemlere göre sonuçlar farklılık gösterir. Bu yazı, sıralama tablosu yerine seçim kriterleri sunar. Kriterler varsa yeni modeller çıktığında da aynı şekilde değerlendirebilirsiniz.
Burada bahsedilen sansürsüz model, yasal yetişkin kullanımını temel alır ve genel ticari sohbet botlarına göre içerik reddi daha az olacak şekilde ayarlanmış açık ağırlıklı bir modeli ifade eder. Roman yazma, rol yapma ve eşlik uygulamaları gibi yetişkinlere yönelik yaratıcı ve diyalog amaçlı kullanımlar için tasarlanmıştır. Reşit olmayanların dahil olduğu cinsel içerik, nasıl kullanılırsa kullanılsın kabul edilmez ve bu, yerel kurulumda da API'de de aynı şekilde korunması gereken bir sınırdır.
Üç yol: Yerel, özel sunucu kiralama ve barındırılan API
Yerel çalışma
Model dosyasını Ollama veya llama.cpp gibi araçlarla kendi bilgisayarınızda çalıştırma yöntemidir. İnternet gerekmez, konuşmalar dışarı çıkmaz. Ancak model büyüdükçe GPU belleği (VRAM) ihtiyacı artar. Quantization ile boyut küçültülebilir ancak bu kalite kaybına yol açabilir. Hangi modelin donanımınızda çalıştığını araç ve model sayfalarındaki açıklamalardan kontrol edin.
GPU sunucusunu kirala ve yönet
Bulut GPU kiralamak ve sunucuyu kendiniz kurmaktır. Model seçimi serbesttir ancak sunucu kurulumu, güncelleme, izleme ve maliyet yönetimi size aittir. Kullanmadığınız zamanlarda da kiralama bedeli ödenip ödenmediğini mutlaka kontrol edin.
Barındırılan API
Bir işletmeci tarafından yönetilen sunuculara istek gönderip, kullandıkça ödeme yapma yöntemidir. Cihaz ve operasyon yükü olmaması avantajdır, ancak model seçimi sağlayıcının belirlediği sınırlar içinde kalır ve istemler harici sunuculardan geçer. Bu sitenin API'si bu kategoriye girer.
Kriterlere göre karşılaştırma tablosu
| Kriter | Yerel | Barındırılan API |
|---|---|---|
| Başlangıç maliyeti | Uygun GPU veya yeterli bellek gerekir | Ön ödeme ile başlar, minimum $20 |
| Düşük kullanım | Donanım zaten varsa ek maliyet neredeyse yoktur | Kullanılan kadar ücretlendirildiği için yük azdır |
| Çok yüksek kullanım | Sabit maliyet avantajlı olabilir | Token başına fiyatla orantılı olarak artar |
| Bağlam penceresi uzunluğu | VRAM ve ayarlar tarafından sınırlıdır | Bu API 100.000 token destekler |
| Model seçimi | Serbestçe değiştirilebilir | Sağlayıcının belirlediği model (burada tek seçenek: uncensored) |
| Gizlilik | Veriler cihazınızdan ayrılmaz | İstek harici sunuculardan geçer |
| Eşzamanlı işleme | Donanıma bağlıdır | Resmi anahtar ile eşzamanlı 8 istek, dakikada 300 istek |
| Yönetim yükü | Kurulum ve güncelleme gerekir | Sadece anahtarı ve base URL'i ayarlayın |
Tabloda hangi seçeneğin her zaman daha iyi olduğunu söylemek zordur. Gizliliği ön planda tutuyorsanız ve donanımınız varsa yerel çözüm daha uygundur; donanımınız yoksa veya birden fazla uygulamadan eşzamanlı çağrı yapmanız gerekiyorsa API daha pratiktir.
Yerel kullanmanın daha uygun olduğu durumlar
- Çevrimdışı ortamda kullanım gerektiğinde. Uçak içinde veya dış ağların engellendiği yerlerde başka seçenek kalmaz.
- Konuşma geçmişinin cihaz dışına çıkmasının kesinlikle imkansız olduğu durumlarda. Herhangi bir sağlayıcının politikası, verilerin cihazınızda kalması kadar güvenilir değildir.
- Modeli çeşitli şekillerde değiştirerek deney yapmanın kendisi amaç olduğunda.
- Zaten yeterli VRAM'e sahip bir PC'niz varsa ve istek hacminiz sürekli yüksekse.
Buna karşın, yerel kurulumdan vazgeçilmesinin yaygın üç nedeni şunlardır: Bellek yetersizliği nedeniyle bağlam penceresinin kısaltılması, yavaş üretim hızı ve birden fazla uygulamada eşzamanlı istek gönderildiğinde engellenmesidir. Bunlardan herhangi birine takılıyorsanız, API gerçekçi bir alternatiftir.
Barındırılan API'nin daha uygun olduğu durumlar
Bu API OpenAI uyumlu formattadır; SillyTavern gibi OpenAI uyumlu uç nokta ekleyebilen araçlarda veya kendi geliştirdiğiniz uygulamalarda base URL ve anahtar girildiğinde doğrudan bağlantı kurulur. Tek model uncensored şeklindedir ve bağlam penceresi, istem ile çıktı toplamı olarak 100.000 token'dır. Akış, fonksiyon çağırma ve JSON modu desteklenir.
Aşağıdaki durumlarda özellikle pratiktir.
- GPU'nuz yoksa veya dizüstü bilgisayarda geliştirme yapıyorsanız.
- Bot veya uygulamayı hizmet olarak sunup birden fazla kullanıcının isteklerini eşzamanlı olarak işlemeniz gereken durumlar. Normal anahtar, eşzamanlı olarak 8 isteğe kadar izin verir.
- Uzun konuşmalar veya uzun belgeler gibi büyük bağlam penceresi gerektiren işleri sık sık yapıyorsanız.
- Aylık kullanım miktarı düzensizse ve sabit maliyetleri karşılamak zorlaşıyorsa.
Bu API, bağımsız bir işletmeci tarafından yönetilen tek bir model hizmetidir ve başka bir şirketin resmi API'si değildir. Model seçip kullanabileceğiniz bir hizmet bekliyorsanız, bu size uygun olmayabilir. İstemler model eğitimi için kullanılmaz ancak isteklerin sunuculardan geçtiği gerçeği değişmez; hassas içerikler üzerinde çalışıyorsanız gizlilik politikasını önceden okumanız önerilir.
Benchmarks olmadan doğrudan karşılaştırma yöntemi
Başkalarının hazırladığı skor tabloları genellikle kullanım amacınızla uyuşmaz. Aşağıdaki adımları izleyerek 30 dakika içinde doğrudan karşılaştırma yapabilirsiniz.
- Gerçekten kullanacağınız 10 istemi seçin. Normalde kullandığınız sistem istemi ve karakter ayarlarını olduğu gibi ekleyin.
- Aynı istemi yerel model ve API'ye ayrı ayrı gönderin. temperature gibi ayarları aynı şekilde eşitleyin.
- Yanıtları okuyun ve puanlayın. Üslup, ayarların korunması, talimatların yerine getirilmesi ve aynı ifadilerin tekrar edilip edilmediğine bakın.
- İşi tek seferde bitirmeyin; her istemi 3 kez çalıştırarak sapmayı görün.
API tarafını $0,50 deneme kredisiyle yeterince test edebilirsiniz. Kayıt olduktan sonra API anahtarı sayfası üzerinden alabilirsiniz. 1 kişi, 1 kez, 7 gün geçerli, ödeme bilgisi gerekmez. Aşağıda aynı istemi API'ye gönderen minimum kod bulunmaktadır.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.mugeomyeolapi.com/v1", api_key=os.environ["MUGEOMYEOL_API_KEY"])
prompts = ["내 프롬프트 1", "내 프롬프트 2"] # 실제 쓸 프롬프트로 교체
for p in prompts:
for run in range(3):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p}],
temperature=0.8,
)
print(f"[{p[:10]} / {run + 1}회]", r.choices[0].message.content[:200])Hibrit yaklaşım ve son kontrol listesi
İkisinden sadece birini seçmek zorunda değilsiniz. Hassas taslakları yerelde yazıp, büyük bağlam penceresi veya eşzamanlı çağrı gerektiren işleri API'ye gönderenler vardır. OpenAI uyumlu formatta olması, base URL'i değiştirerek aynı kodla iki taraf arasında geçiş yapmayı mümkün kılar ve geçiş maliyetini düşürür.
Karar vermeden önce şunları kontrol edin.
- Cihazınızdaki VRAM ile istediğiniz bağlam penceresi uzunluğunu karşılayabilir misiniz?
- Bir ayda ne kadar çağrı yapılıyor? Bir API ise, fiyatlandırma sayfasıdaki birim fiyatlarla öncelikle hesaplayın. Giriş için 1 milyon token başına $0,15, çıkış için 1 milyon token başına $0,50.
- İstemler harici sunuculardan geçse de sorun olmayan içerikler mi?
- Eşzamanlı olarak kaç isteği işlemeniz gerekiyor?
Kurulum talimatları API dokümantasyonunda yer almaktadır. Bakiye yükleme $20 ile $500 arasındadır ve ödeme yöntemleri USDT (TRC20) ile USDC (Base) şeklindedir.
Daha fazla rehber
Sıkça sorulan sorular
Sansürsüz LLM için yerel mi yoksa API mi daha iyidir?
Doğru cevap kullanım amacına bağlıdır. Çevrimdışı kullanım veya tam kontrol gerekiyorsa ve donanımınız varsa yerel çözüm; donanım olmadan hemen kullanmak veya eşzamanlı çağrı yapmak gerekiyorsa API uygundur.
Bu API'de model seçebilir miyim?
Hayır. Tek model uncensored'dır. Birden fazla modeli seçip kullanabileceğiniz bir servis arıyorsanız bu size uygun olmayabilir.
Yerel ve API'yi birlikte kullanabilir miyim?
Mümkündür. Her ikisi de OpenAI uyumlu biçimi kullanıyorsa, base URL ve anahtarı değiştirerek aynı kodla geçiş yapabilirsiniz.
Görüntü üretimi de yapılıyor mu?
Bu API yalnızca metin içindir. Görüntü, ses, video üretimi, yerleştirme (embedding) ve ince ayar (fine-tuning) desteklenmez.
API anahtarı sadece kayıt ile
Hesap oluşturma, anahtarı kopyalama, base URL değiştirme. Ayarlar bu kadarla biter.