中文 ▾
获取 API 密钥

无审查 LLM 推荐:本地运行与托管 API 选择指南

想找无审查 LLM 推荐的人,首先要定下来的不是模型名称,而是运行方式。是在自己的电脑上直接运行,还是使用托管 API,所需的设备、成本和管理负担会有很大差异。

更新日期

天平两侧分别放置本地 PC 和云服务器,用于对比的插图

核心要点

  • 比起模型排名,先确定运行方式(本地或 API)能减少试错。
  • 本地运行的优势在于离线使用和完全控制,托管 API 的优势在于无需硬件即可立即开始使用。
  • 本文不包含性能排名或基准测试数值,只介绍如何用相同的提示词自行测试。
  • API 侧仅提供一个模型(uncensored),上下文窗口为 100,000 token,输入价格为 $0.15,输出价格为 $0.50(每 100 万 token)。

本文不推荐与推荐的内容

很难相信只将单个模型排在第 1 位的文章。因为模型在不断更新,且同一模型在不同量化级别和提示词下表现也会不同。本文不列排名,而是提供 选择标准。只要掌握标准,面对新模型也能以相同方式做出判断。

此处所说的无审查模型,是指在允许合法成人使用的前提下,比通用商业聊天机器人更少拒绝内容的开放权重模型。主要用途包括小说创作、角色扮演、伴侣应用等成人向创作与对话场景。任何涉及未成年人的性内容均不被允许,这是一条无论本地运行还是通过 API 访问都必须遵守的底线。

三条路径:本地、直接服务器租赁、托管 API

本地运行

使用 Ollama 或 llama.cpp 等工具在本地计算机上直接运行模型文件。无需互联网连接,对话数据不会外泄。缺点是模型越大,对 GPU 显存(VRAM)的需求越高。虽然可以通过量化减小体积,但可能会降低质量。请查阅各工具和模型页面的说明,确认你的设备是否支持运行该模型。

直接租赁 GPU 服务器

租用云 GPU 并自行搭建服务器。你可以自由选择模型,但服务器配置、更新、监控和成本管理均由你负责。务必确认计费模式是否为按使用时间计费(即闲置时仍需付费)。

托管 API

向由他人运营的服务器发送请求,并按使用量付费。无需硬件和管理负担,但模型选择权受限于提供商,且提示词会经过外部服务器。本网站的 API 即属于此类。

按标准对比表

标准本地托管 API
启动成本需要配置合适的 GPU 或足够的内存只需充值预付额度即可开始,最低 $20
当使用量较少时如果已有硬件,几乎无需额外成本按使用量计费,负担较小
当使用量非常大时固定成本可能更有利随 token 单价增加而增加
上下文窗口长度受 VRAM 和设置限制此 API 支持 100,000 token
模型选择可随时更换由提供商指定的模型(此处为 uncensored)
隐私数据不会离开你的设备请求会经过外部服务器
并发处理取决于硬件标准密钥限制为并发 8 个请求,每分钟 300 个请求
管理负担需要安装和更新只需配置密钥和 base URL

很难说表格中的哪一方总是占优。如果你重视隐私且有设备,本地部署更好;如果没有设备或需要同时从多个应用调用,API 更方便。

适合本地部署的情况

  • 需要在离线环境中使用时。在飞机上或外部网络被阻断的地方,你没有其他选择。
  • 绝对不允许对话记录离开设备时。任何提供商的政策都不如将数据保留在你的设备上那样可靠。
  • 当你以尝试各种模型进行实验本身为目的时。
  • 当你已经拥有拥有足够 VRAM 的 PC,且调用量持续较高时。

相反,选择本地部署后放弃的常见原因有三个:因内存不足而必须缩短上下文、生成速度较慢、以及在多个应用中同时调用时遇到瓶颈。如果其中任何一项困扰你,API 是更现实的选择。

托管 API 更适合的情况

本站的 API 采用 OpenAI 兼容格式,因此你可以将其添加到支持 OpenAI 兼容端点的工具(如 SillyTavern)中,或者只需在自建应用中填入 base URL 和密钥即可连接。模型仅为 uncensored,上下文窗口支持提示词和输出合计 100,000 token。支持流式输出、函数调用和 JSON 模式。

在以下情况下尤其方便。

  • 没有 GPU 或使用笔记本电脑进行开发时。
  • 将机器人或应用作为服务提供,需要同时处理多个用户的请求时。标准密钥允许最多 8 个并发请求。
  • 经常处理上下文较大的任务,如长对话或长文档时。
  • 月度用量波动较大,难以承担固定成本时。

此 API 由独立运营商提供单一模型服务,并非其他厂商的官方 API。如果你期望的是可以选择不同模型的服务,那可能不适合你。提示词不会用于模型训练,但请求经过服务器这一事实无法消除,因此如果处理敏感内容,请先阅读 个人信息处理方针。

无基准测试的直接比较方法

他人制作的评分表往往与你的用途不符。按以下步骤,30 分钟即可自行比较。

  1. 选择 10 个实际使用的提示词。请保留你平时使用的系统提示词和角色设定。
  2. 将相同的提示词分别发送给本地模型和 API。确保 temperature 等设置保持一致。
  3. 隐去名称后阅读回答并评分。关注文体、设定保持、指令执行以及是否重复相同内容。
  4. 不要一次性完成,请将每个提示词运行 3 次以查看偏差。

API 部分完全可以使用 $0.50 体验额度进行测试。注册后,可在 API 密钥页面获取,每人限领 1 次,有效期 7 天,无需绑定支付方式。以下是向 API 发送相同提示词的最小代码。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.mugeomyeolapi.com/v1", api_key=os.environ["MUGEOMYEOL_API_KEY"])

prompts = ["내 프롬프트 1", "내 프롬프트 2"]  # 실제 쓸 프롬프트로 교체
for p in prompts:
    for run in range(3):
        r = client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": p}],
            temperature=0.8,
        )
        print(f"[{p[:10]} / {run + 1}회]", r.choices[0].message.content[:200])

混合方式与最终检查清单

你不必只选择其中一种。许多人将敏感草稿在本地处理,而将需要长上下文或并发调用的任务发送到 API。由于采用 OpenAI 兼容格式,只需更改 base URL 即可使用相同的代码在两者之间切换,转换成本很低。

在做出决定之前,请确认以下几点。

  • 你设备的 VRAM 是否能满足所需的上下文长度。
  • 每月的调用量大概是多少。如果是 API,请先按 价格页面上的单价进行计算。每 100 万输入 token $0.15,每 100 万输出 token $0.50。
  • 提示词经过外部服务器处理是否可以接受。
  • 需要同时处理多少个请求。

配置方法整理在 API 文档中。充值金额为 $20 至 $500,支付方式为 USDT (TRC20) 和 USDC (Base)。

更多指南

常见问题

无审查 LLM 是本地好还是 API 好?

答案取决于用途。如果需要离线使用或完全控制且有设备,则选择本地;如果无需设备即可直接使用或需要并发调用,则选择 API。

我可以在此 API 中选择模型吗?

不可以。模型仅为 uncensored。如果你需要选择使用多个模型的服务,这可能不适合你。

可以一起使用本地和 API 吗?

可以。如果两者都使用 OpenAI 兼容格式的工具,只需更改 base URL 和密钥,即可使用相同的代码进行切换。

支持图像生成吗?

此 API 仅限文本。不支持图像、语音、视频生成,以及嵌入和微调。

API 密钥只需注册

创建账户、复制密钥、更改 base URL。配置到此结束。

获取 API 密钥
获取 API 密钥