Рекомендации по моделям без цензуры LLM: как выбрать между локальным запуском и хостинг API
Первое, что нужно решить при поиске моделей без цензуры LLM, — это не название модели, а способ запуска. Требуемое оборудование, стоимость и нагрузка на управление сильно различаются в зависимости от того, будете ли вы запускать модель на своем ПК или использовать хостинг API.
Дата обновления:

Ключевые выводы
- Сначала определить способ запуска (локально или API), а не ранжирование моделей, позволяет избежать ошибок.
- Локальный запуск хорош офлайн-режимом и полным контролем, а хостинг API позволяет начать без оборудования.
- В этой статье нет рейтингов производительности или числовых бенчмарков. Мы покажем, как протестировать модели самостоятельно с помощью одинаковых промптов.
- В API одна модель (uncensored), контекстное окно на 100 000 токенов, входные данные стоят $0,15, а выходные — $0,50 за 1 млн токенов.
Что мы рекомендуем, а что нет
Рейтинг одной модели на 1 место ненадёжен: модели меняются, а результаты зависят от квантования и промпта. Здесь критерии выбора, а не список. Они помогут оценить и новые модели.
Здесь под «безцензурной моделью» понимается модель с открытыми весами, настроенная на меньшее количество отказов в контенте по сравнению с обычными коммерческими чат-ботами, с допущением легального использования взрослыми. Основные сценарии — написание романов, ролевые игры и приложения-компаньоны. Контент сексуального характера с участием несовершеннолетних не допускается ни в каком виде, это граница, которую нужно соблюдать как при локальном запуске, так и при использовании API.
Три пути: локально, аренда сервера, хостинг API
Локальный запуск
Это способ запуска файлов моделей локально с помощью таких инструментов, как Ollama или llama.cpp. Интернет не требуется, и диалоги не уходят во внешнюю сеть. Однако чем больше модель, тем больше требуется видеопамяти (VRAM). Квантование может уменьшить размер, но снижает качество. О том, какие модели работают на вашем оборудовании, см. описание в инструментах и на страницах моделей.
Аренда и эксплуатция GPU-сервера
Аренда облачного GPU для самостоятельного развертывания сервера. Вы свободны в выборе модели, но сами настраиваете сервер, обновляете его, следите за ним и управляете расходами. Обязательно проверьте, взимается ли плата за аренду в периоды простоя.
Хостинг API
Отправка запросов на чужой сервер и оплата по факту использования. Нет нагрузки на оборудование и администрирование, но выбор моделей ограничен провайдером, а промпты проходят через внешний сервер. API этого сайта относится к этому варианту.
Таблица сравнения по критериям
| Критерий | Локально | Хостинг API |
|---|---|---|
| Стартовые затраты | Требуется GPU с подходящими характеристиками или достаточная память | Начало после предоплаты, минимум $20 |
| При низкой нагрузке | Практически нет дополнительных затрат, если оборудование уже есть | Платите только за то, что использовали, поэтому нагрузка небольшая |
| При очень высокой нагрузке | Фиксированные расходы могут быть выгоднее | Растет пропорционально цене за токен |
| Длина контекста | Ограничено VRAM и настройками | В этом API — 100 000 токенов |
| Выбор модели | Легко заменить | Модель, выбранная провайдером (в данном случае — uncensored) |
| Конфиденциальность | Данные не покидают ваше устройство | Запрос проходит через внешний сервер |
| Параллельные запросы | Зависит от оборудования | 8 параллельных запросов, 300 запросов в минуту по официальному ключу |
| Административная нагрузка | Требует установки и обновления | Достаточно указать base URL и ключ |
Сложно сказать, что всегда лучше. Если конфиденциальность для вас в приоритете и есть оборудование, локальное решение предпочтительнее; если оборудования нет или нужно одновременно вызывать API из нескольких приложений, удобнее API.
Когда локальное решение подходит больше
- Когда нужно использовать в автономной среде. В самолёте или в сети без внешнего доступа вариантов нет.
- Когда история диалога ни в коем случае не должна покидать устройство. Никакая политика провайдера не гарантирует такую же надёжность хранения данных на вашем устройстве.
- Когда сама по себе цель — экспериментировать с различными моделями.
- Когда у вас уже есть ПК с достаточным объемом VRAM и стабильно высокая нагрузка.
Обратная сторона: три распространённые причины, по которым отказываются от локального запуска. Необходимость укорачивать контекст из-за нехватки памяти, медленная генерация, блокировка при одновременных вызовах из нескольких приложений. Если хотя бы один из этих факторов мешает, API становится реалистичной альтернативой.
Когда хостинг API подходит больше
API этого сайта совместим с форматом OpenAI, поэтому вы можете подключить его к инструментам, поддерживающим эндпоинт OpenAI (например, SillyTavern), или вставить базовый URL и ключ в собственное приложение. Модель одна — uncensored, контекстное окно составляет 100 000 токенов (включая промпт и вывод). Поддерживаются потоковая передача, вызов функций и JSON-режим.
Это особенно удобно в следующих случаях.
- Когда у вас нет GPU или вы разрабатываете на ноутбуке.
- Когда вы создаете бота или приложение как сервис и должны одновременно обрабатывать запросы от множества пользователей. Официальный ключ позволяет до 8 параллельных запросов.
- Когда вы часто работаете с большими контекстами, например, длинные диалоги или документы.
- Если ваш ежемесячный расход непостоянен и вам сложно покрывать фиксированные расходы.
Это API представляет собой сервис с одной моделью, управляемый независимым оператором, и не является официальным API другой компании. Если вы ожидаете сервис с выбором нескольких моделей, он вам не подойдет. Промпты не используются для обучения модели, но сам факт прохождения запроса через сервер остается неизменным, поэтому, если вы работаете с конфиденциальными данными, сначала ознакомьтесь с политикой конфиденциальности.
Метод прямого сравнения без бенчмарков
Чужие таблицы с оценками часто не соответствуют вашим задачам. Следующие шаги позволят провести прямое сравнение за 30 минут.
- Выберите 10 промптов, которые вы используете на практике. Включите в них системный промпт и настройки персонажа, которые вы обычно используете.
- Отправьте одинаковые промпты локальной модели и API. Убедитесь, что настройки, такие как temperature, совпадают.
- Прочитайте ответы, скрыв имена, и оцените их. Обращайте внимание на стиль, сохранение настроек, выполнение инструкций и повторение одних и тех же фраз.
- Не делайте это в один проход; запустите каждый промпт 3 раза, чтобы увидеть разброс результатов.
API можно достаточно хорошо протестировать с помощью $0,50 пробного кредита. Его можно получить на странице API-ключей после входа в систему. Предложение действует 1 раз для каждого аккаунта, срок действия — 7 дней, данные карты не требуются. Ниже приведён минимальный код для отправки того же промпта в API.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.mugeomyeolapi.com/v1", api_key=os.environ["MUGEOMYEOL_API_KEY"])
prompts = ["내 프롬프트 1", "내 프롬프트 2"] # 실제 쓸 프롬프트로 교체
for p in prompts:
for run in range(3):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p}],
temperature=0.8,
)
print(f"[{p[:10]} / {run + 1}회]", r.choices[0].message.content[:200])Гибридный подход и финальный чек-лист
Вам не обязательно выбирать только один вариант. Многие разделяют использование: конфиденциальные черновики обрабатываются локально, а задачи, требующие большого контекста или параллельных запросов, отправляются через API. Благодаря совместимости с форматом OpenAI, вы можете переключаться между ними, изменив только base URL, что снижает затраты на интеграцию.
Перед принятием решения проверьте следующее.
- Хватает ли VRAM вашего устройства для требуемой длины контекста.
- Каков месячный объем вызовов? Попробуйте сначала рассчитать по тарифам на странице с ценами для API. Ввод: $0,15 за 1 000 000 токенов, вывод: $0,50 за 1 000 000 токенов.
- Можно ли передавать промпты через внешние серверы.
- Сколько запросов нужно обрабатывать одновременно.
Инструкции по настройке приведены в API-документации. Пополнение возможно от $20 до $500. Способы оплаты: USDT (TRC20) и USDC (Base).
Дополнительные руководства
Часто задаваемые вопросы
Что лучше для моделей без цензуры LLM: локальное решение или API?
Правильный ответ зависит от задачи. Если требуется автономная работа или полный контроль и есть оборудование, выбирайте локальное решение; если нужно начать работу без оборудования или требуется параллельный вызов, подходит API.
Можно ли выбрать модель в этом API?
Нет. Доступна только одна модель — uncensored. Если вам нужен сервис с выбором нескольких моделей, он вам не подойдет.
Можно ли использовать локальное решение и API вместе?
Да. Если оба инструмента используют формат, совместимый с OpenAI, вы можете переключаться между ними, изменив только base URL и ключ.
Поддерживается ли генерация изображений?
Это API предназначено только для текста. Генерация изображений, аудио, видео, эмбеддинги и дообучение не поддерживаются.
API-ключ выдается просто при регистрации
Создание аккаунта, копирование ключа, изменение base URL. На этом настройка завершается.