無審查 LLM 推薦:本地運行與託管 API 選擇指南
尋找無審查 LLM 推薦的人首先需要決定的是執行方式,而非模型名稱。根據選擇在本地 PC 運行還是使用託管 API,所需的硬體、成本及管理負擔會有很大差異。
更新日期

重點摘要
- 先決定執行方式(本地或 API)比決定模型排名更能減少試錯成本。
- 本地運行的優點在於離線與完全控制,託管 API 的優點在於無需設備即可立即開始。
- 本文不包含性能排名或基準數據。我們將介紹如何使用相同的提示詞進行直接測試的方法。
- API 側僅有一個模型(uncensored),上下文視窗為 100,000 token,輸入價格為 $0.15,輸出價格為 $0.50(每 100 萬 token)。
本文不推薦與推薦的內容
只將特定模型排為第 1 名的文章難以相信。因為模型不斷更迭,且同一模型在不同量化層級與提示詞下結果也會不同。本文提供選擇標準而非排名表。只要掌握標準,即使有新模型推出,也能以相同方式進行評估。
此處所指的無審查模型是指基於合法成人使用前提,並調整為比一般商用聊天機器人更少拒絕內容的開放權重模型。主要用途為成人向創作與對話,如小說撰寫、角色扮演、伴侶應用程式等。無論以何種方式使用,涉及未成年人的性內容均不被允許,這是在本地運行還是 API 使用中都必須遵守的界線。
三條路:本地、自建伺服器、託管 API
本地運行
使用 Ollama 或 llama.cpp 等工具在本地電腦上直接運行模型檔案。無需網路連線,對話也不會傳送至外部。缺點是模型越大,需要的 GPU 記憶體(VRAM)越多。雖然可以透過量化減少容量,但品質可能會下降。請確認各工具與模型頁面的說明,以確定哪些模型能在您的設備上運行。
租用 GPU 伺服器進行運營
租用雲端 GPU 並自行建立伺服器的方式。雖然可以自由选择模型,但伺服器設定、更新、監控及成本管理均由負責。務必確認在不使用時間是否仍需支付租賃費用。
託管 API
向運營中的伺服器發送請求並按使用量付費的方式。雖然無需設備與運營負擔,但模型選擇權限由提供者限定,且提示詞會經過外部伺服器。本站的 API 即屬於此類。
基準比較表
| 基準 | 本地運行 | 託管 API |
|---|---|---|
| 初始成本 | 需要符合規格的 GPU 或充足的記憶體 | 只需儲值即可開始,最低 $20 |
| 使用量較少時 | 如果已有設備,幾乎沒有額外成本 | 僅按使用量計費,負擔較小 |
| 使用量非常大時 | 固定成本可能較有利 | 隨 token 單價比例增加 |
| 上下文長度 | 受 VRAM 與設定限制 | 此 API 為 100,000 token |
| 模型選擇 | 可自由替換 | 由提供者指定的模型(此處為 uncensored) |
| 隱私 | 資料不會離開你的裝置 | 請求會經過外部伺服器 |
| 並行處理 | 取決於硬體 | 依正式金鑰標準,並行 8 件,每分鐘 300 件 |
| 管理負擔 | 需要安裝與更新 | 只需設定金鑰與 base URL |
表格中很難說哪一種總是勝出。若將隱私視為首要考量且擁有硬體,本地端較佳;若沒有硬體或需要同時從多個應用程式呼叫,則 API 較方便。
適合使用本地端的狀況
- 當需要在離線環境中使用時。在飛機上或外部網路被阻斷的地方,沒有其他選擇。
- 對話記錄絕對不會離開裝置時。沒有任何提供者的政策能像將資料保留在你的裝置上那樣可靠。
- 以嘗試各種模型 進行實驗為目的時。
- 已擁有具備充足 VRAM 的電腦,且呼叫量持續較高時。
反過來,選擇本地端後放棄的常見原因有三種:因記憶體不足而必須縮短上下文、生成速度較慢、以及多個應用程式同時呼叫時會受阻。若遇到其中任何一項,API 是更務實的替代方案。
適合使用託管 API 的狀況
本站的 API 採用 OpenAI 相容格式,因此只需在支援 OpenAI 相容端點的應用程式(如 SillyTavern)或自行開發的應用程式中輸入 base URL 與金鑰即可連線。模型僅有 uncensored 一種,上下文視窗可容納提示詞與輸出總計 100,000 token。支援串流輸出、工具呼叫與 JSON 模式。
以下情況特別方便。
- 沒有 GPU 或正在使用筆記型電腦開發時。
- 需要將機器人或應用程式作為服務運行,以同時處理多個使用者的請求時。正式金鑰允許最多並行 8 件請求。
- 經常處理需要大量上下文視窗的任務,例如長對話或長文件時。
- 每月使用量波動大,難以負擔固定成本時。
此 API 是由獨立業者營運的單一模型服務,並非其他業者的官方 API。若期望能選擇並使用多種模型,則不適合。提示詞不會用於模型訓練,但請求經過伺服器的事實無法消除,因此若處理敏感內容,請先閱讀 隱私權政策。
無基準測試下的直接比較方法
他人製作的評分表往往不符合你的使用情境。依照以下步驟,30 分鐘即可自行比較。
- 選擇 10 個實際會使用的提示詞。請直接放入平時使用的系統提示詞與角色設定。
- 將相同的提示詞分別發送給本地端模型與 API。請將 temperature 等設定調整為相同。
- 遮蓋名稱後閱讀回答並評分。觀察語氣、設定維持、指令遵循以及是否重複相同內容。
- 不要一次完成,請將每個提示詞執行 3 次以觀察偏差。
API 端可透過 $0.50 免費試用額度充分測試。註冊後可在 API 金鑰頁面領取,每人限領一次,有效期 7 天,無需提供付款資訊。以下是將相同提示詞發送給 API 的最小程式碼。
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.mugeomyeolapi.com/v1", api_key=os.environ["MUGEOMYEOL_API_KEY"])
prompts = ["내 프롬프트 1", "내 프롬프트 2"] # 실제 쓸 프롬프트로 교체
for p in prompts:
for run in range(3):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p}],
temperature=0.8,
)
print(f"[{p[:10]} / {run + 1}회]", r.choices[0].message.content[:200])混合模式與最終檢查清單
不需要只選擇其中一種。許多人會將敏感草稿在本地端處理,而將需要大量上下文視窗或並行呼叫的任務發送給 API。由於採用 OpenAI 相容格式,只需更換 base URL 即可使用相同的程式碼在兩者之間切換,轉換成本很低。
在做出決定前,請確認以下事項。
- 你裝置的 VRAM 是否能負擔所需的上下文長度。
- 每月的呼叫量大約是多少。若是 API,可先依 價格頁面的單價計算。每 100 萬 token 輸入為 $0.15,每 100 萬 token 輸出為 $0.50。
- 提示詞經過外部伺服器處理是否可接受。
- 需要同時處理多少件請求。
設定方法整理於 API 文件。儲值金額從 $20 到 $500 不等,付款方式為 USDT (TRC20) 與 USDC (Base)。
更多指南
常見問題
無審查 LLM 是本地端好還是 API 好?
答案取決於使用情境。若需要離線使用、完全控制且有硬體,則選擇本地端;若無需硬體即可立即使用或需要並行呼叫,則選擇 API。
此 API 可以選擇模型嗎?
不行。模型僅有 uncensored 一種。若需要選擇並使用多種模型,則可能不適合。
可以同時使用本地端與 API 嗎?
可以。只要兩者都是使用 OpenAI 相容格式的工具,只需更改 base URL 和金鑰,即可使用相同的程式碼進行切換。
支援影像生成嗎?
此 API 僅支援文字。不支援影像、語音、影片生成,也不支援嵌入(embedding)與微調(fine-tuning)。
API 金鑰僅需註冊即可
建立帳戶、複製金鑰、更改 base URL。設定到此為止。