繁中 ▾
獲取 API 金鑰

無審查 LLM 推薦:本地運行與託管 API 選擇指南

尋找無審查 LLM 推薦的人首先需要決定的是執行方式,而非模型名稱。根據選擇在本地 PC 運行還是使用託管 API,所需的硬體、成本及管理負擔會有很大差異。

更新日期

比較插圖,將本地 PC 和雲端伺服器放在天平兩側

重點摘要

  • 先決定執行方式(本地或 API)比決定模型排名更能減少試錯成本。
  • 本地運行的優點在於離線與完全控制,託管 API 的優點在於無需設備即可立即開始。
  • 本文不包含性能排名或基準數據。我們將介紹如何使用相同的提示詞進行直接測試的方法。
  • API 側僅有一個模型(uncensored),上下文視窗為 100,000 token,輸入價格為 $0.15,輸出價格為 $0.50(每 100 萬 token)。

本文不推薦與推薦的內容

只將特定模型排為第 1 名的文章難以相信。因為模型不斷更迭,且同一模型在不同量化層級與提示詞下結果也會不同。本文提供選擇標準而非排名表。只要掌握標準,即使有新模型推出,也能以相同方式進行評估。

此處所指的無審查模型是指基於合法成人使用前提,並調整為比一般商用聊天機器人更少拒絕內容的開放權重模型。主要用途為成人向創作與對話,如小說撰寫、角色扮演、伴侶應用程式等。無論以何種方式使用,涉及未成年人的性內容均不被允許,這是在本地運行還是 API 使用中都必須遵守的界線。

三條路:本地、自建伺服器、託管 API

本地運行

使用 Ollama 或 llama.cpp 等工具在本地電腦上直接運行模型檔案。無需網路連線,對話也不會傳送至外部。缺點是模型越大,需要的 GPU 記憶體(VRAM)越多。雖然可以透過量化減少容量,但品質可能會下降。請確認各工具與模型頁面的說明,以確定哪些模型能在您的設備上運行。

租用 GPU 伺服器進行運營

租用雲端 GPU 並自行建立伺服器的方式。雖然可以自由选择模型,但伺服器設定、更新、監控及成本管理均由負責。務必確認在不使用時間是否仍需支付租賃費用。

託管 API

向運營中的伺服器發送請求並按使用量付費的方式。雖然無需設備與運營負擔,但模型選擇權限由提供者限定,且提示詞會經過外部伺服器。本站的 API 即屬於此類。

基準比較表

基準本地運行託管 API
初始成本需要符合規格的 GPU 或充足的記憶體只需儲值即可開始,最低 $20
使用量較少時如果已有設備,幾乎沒有額外成本僅按使用量計費,負擔較小
使用量非常大時固定成本可能較有利隨 token 單價比例增加
上下文長度受 VRAM 與設定限制此 API 為 100,000 token
模型選擇可自由替換由提供者指定的模型(此處為 uncensored)
隱私資料不會離開你的裝置請求會經過外部伺服器
並行處理取決於硬體依正式金鑰標準,並行 8 件,每分鐘 300 件
管理負擔需要安裝與更新只需設定金鑰與 base URL

表格中很難說哪一種總是勝出。若將隱私視為首要考量且擁有硬體,本地端較佳;若沒有硬體或需要同時從多個應用程式呼叫,則 API 較方便。

適合使用本地端的狀況

  • 當需要在離線環境中使用時。在飛機上或外部網路被阻斷的地方,沒有其他選擇。
  • 對話記錄絕對不會離開裝置時。沒有任何提供者的政策能像將資料保留在你的裝置上那樣可靠。
  • 以嘗試各種模型 進行實驗為目的時。
  • 已擁有具備充足 VRAM 的電腦,且呼叫量持續較高時。

反過來,選擇本地端後放棄的常見原因有三種:因記憶體不足而必須縮短上下文、生成速度較慢、以及多個應用程式同時呼叫時會受阻。若遇到其中任何一項,API 是更務實的替代方案。

適合使用託管 API 的狀況

本站的 API 採用 OpenAI 相容格式,因此只需在支援 OpenAI 相容端點的應用程式(如 SillyTavern)或自行開發的應用程式中輸入 base URL 與金鑰即可連線。模型僅有 uncensored 一種,上下文視窗可容納提示詞與輸出總計 100,000 token。支援串流輸出、工具呼叫與 JSON 模式。

以下情況特別方便。

  • 沒有 GPU 或正在使用筆記型電腦開發時。
  • 需要將機器人或應用程式作為服務運行,以同時處理多個使用者的請求時。正式金鑰允許最多並行 8 件請求。
  • 經常處理需要大量上下文視窗的任務,例如長對話或長文件時。
  • 每月使用量波動大,難以負擔固定成本時。

此 API 是由獨立業者營運的單一模型服務,並非其他業者的官方 API。若期望能選擇並使用多種模型,則不適合。提示詞不會用於模型訓練,但請求經過伺服器的事實無法消除,因此若處理敏感內容,請先閱讀 隱私權政策。

無基準測試下的直接比較方法

他人製作的評分表往往不符合你的使用情境。依照以下步驟,30 分鐘即可自行比較。

  1. 選擇 10 個實際會使用的提示詞。請直接放入平時使用的系統提示詞與角色設定。
  2. 將相同的提示詞分別發送給本地端模型與 API。請將 temperature 等設定調整為相同。
  3. 遮蓋名稱後閱讀回答並評分。觀察語氣、設定維持、指令遵循以及是否重複相同內容。
  4. 不要一次完成,請將每個提示詞執行 3 次以觀察偏差。

API 端可透過 $0.50 免費試用額度充分測試。註冊後可在 API 金鑰頁面領取,每人限領一次,有效期 7 天,無需提供付款資訊。以下是將相同提示詞發送給 API 的最小程式碼。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.mugeomyeolapi.com/v1", api_key=os.environ["MUGEOMYEOL_API_KEY"])

prompts = ["내 프롬프트 1", "내 프롬프트 2"]  # 실제 쓸 프롬프트로 교체
for p in prompts:
    for run in range(3):
        r = client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": p}],
            temperature=0.8,
        )
        print(f"[{p[:10]} / {run + 1}회]", r.choices[0].message.content[:200])

混合模式與最終檢查清單

不需要只選擇其中一種。許多人會將敏感草稿在本地端處理,而將需要大量上下文視窗或並行呼叫的任務發送給 API。由於採用 OpenAI 相容格式,只需更換 base URL 即可使用相同的程式碼在兩者之間切換,轉換成本很低。

在做出決定前,請確認以下事項。

  • 你裝置的 VRAM 是否能負擔所需的上下文長度。
  • 每月的呼叫量大約是多少。若是 API,可先依 價格頁面的單價計算。每 100 萬 token 輸入為 $0.15,每 100 萬 token 輸出為 $0.50。
  • 提示詞經過外部伺服器處理是否可接受。
  • 需要同時處理多少件請求。

設定方法整理於 API 文件。儲值金額從 $20 到 $500 不等,付款方式為 USDT (TRC20) 與 USDC (Base)。

更多指南

常見問題

無審查 LLM 是本地端好還是 API 好?

答案取決於使用情境。若需要離線使用、完全控制且有硬體,則選擇本地端;若無需硬體即可立即使用或需要並行呼叫,則選擇 API。

此 API 可以選擇模型嗎?

不行。模型僅有 uncensored 一種。若需要選擇並使用多種模型,則可能不適合。

可以同時使用本地端與 API 嗎?

可以。只要兩者都是使用 OpenAI 相容格式的工具,只需更改 base URL 和金鑰,即可使用相同的程式碼進行切換。

支援影像生成嗎?

此 API 僅支援文字。不支援影像、語音、影片生成,也不支援嵌入(embedding)與微調(fine-tuning)。

API 金鑰僅需註冊即可

建立帳戶、複製金鑰、更改 base URL。設定到此為止。

取得 API 金鑰
取得 API 金鑰