VI ▾
Nhận khóa API

Gợi ý LLM không kiểm duyệt: Cách chọn giữa chạy cục bộ và API lưu trữ

Điều bạn cần quyết định đầu tiên khi tìm kiếm gợi ý LLM không kiểm duyệt không phải là tên mô hình, mà là phương thức chạy. Cách bạn chọn chạy trực tiếp trên PC hay sử dụng API lưu trữ sẽ ảnh hưởng lớn đến thiết bị, chi phí và gánh nặng quản lý cần thiết.

Ngày cập nhật

Minh họa so sánh máy tính cục bộ và máy chủ đám mây trên hai bên cân

Tóm tắt chính

  • Bạn nên xác định cách chạy (local hoặc API) trước khi nhìn vào bảng xếp hạng mô hình.
  • Ưu điểm của cục bộ là khả năng ngoại tuyến và kiểm soát hoàn toàn, trong đó API lưu trữ cho phép bạn bắt đầu ngay mà không cần thiết bị.
  • Bài viết này không cung cấp thứ hạng hiệu năng hay số liệu benchmark. Chúng tôi hướng dẫn bạn cách tự kiểm tra bằng cùng một prompt.
  • API này dùng một mô hình (uncensored), cửa sổ ngữ cảnh 100.000 token, giá đầu vào $0,15 và đầu ra $0,50 (trên 1 triệu token).

Những gì chúng tôi không khuyến nghị và có khuyến nghị

Các bài viết xếp một mô hình duy nhất ở vị trí số 1 thường khó tin. Mô hình liên tục thay đổi, và cùng một mô hình cũng cho kết quả khác nhau tùy theo mức lượng tử hóa và prompt. Bài viết này cung cấp cho bạn tiêu chí lựa chọn thay vì bảng xếp hạng. Chỉ cần có tiêu chí, bạn vẫn có thể đánh giá khi mô hình mới ra mắt.

Mô hình không kiểm duyệt ở đây đề cập đến các mô hình trọng số mở được tinh chỉnh để từ chối nội dung ít hơn so với chatbot thương mại thông thường, với giả định sử dụng hợp pháp cho người lớn. Các ứng dụng chính là sáng tạo và đối thoại dành cho người lớn như viết tiểu thuyết, nhập vai và ứng dụng bạn đồng hành. Nội dung tình dục liên quan đến người chưa thành niên không được phép dưới bất kỳ hình thức nào, đây là ranh giới cần tuân thủ dù bạn dùng cục bộ hay API.

Ba con đường: Cục bộ, thuê máy chủ riêng, API lưu trữ

Chạy cục bộ

Phương thức chạy trực tiếp tệp mô hình trên máy tính của bạn bằng các công cụ như Ollama hoặc llama.cpp. Bạn không cần internet và cuộc trò chuyện không đi ra bên ngoài. Tuy nhiên, mô hình càng lớn thì càng cần nhiều bộ nhớ GPU (VRAM). Bạn có thể giảm dung lượng bằng cách lượng hóa nhưng chất lượng có thể giảm. Hãy kiểm tra trang mô tả của từng công cụ và mô hình để xem mô hình nào chạy được trên thiết bị của bạn.

Tự vận hành máy chủ GPU thuê

Phương thức thuê GPU đám mây để tự xây dựng máy chủ. Bạn có thể tự do chọn mô hình nhưng mọi việc như cài đặt máy chủ, cập nhật, giám sát và quản lý chi phí đều do bạn đảm nhận. Hãy chắc chắn kiểm tra xem cấu trúc tính phí có yêu cầu bạn trả tiền thuê ngay cả khi không sử dụng hay không.

API lưu trữ

Phương thức gửi yêu cầu đến máy chủ do bên khác vận hành và trả tiền theo mức độ sử dụng. Bạn không cần thiết bị và gánh nặng vận hành, nhưng quyền chọn mô hình bị giới hạn trong phạm vi do nhà cung cấp quy định, và prompt sẽ đi qua máy chủ bên ngoài. API của trang web này thuộc loại này.

Bảng so sánh theo tiêu chí

Tiêu chíCục bộAPI lưu trữ
Chi phí bắt đầuCần GPU đạt yêu cầu hoặc bộ nhớ đủ lớnChỉ cần nạp tiền, tối thiểu $20
Khi lượng sử dụng thấpHầu như không tốn thêm chi phí nếu bạn đã có thiết bịBạn chỉ trả tiền cho những gì mình sử dụng nên chi phí thấp.
Khi lượng sử dụng rất caoCó thể có lợi do chi phí cố địnhTăng tỷ lệ thuận với giá đơn vị token
Độ dài ngữ cảnhBị giới hạn bởi VRAM và cài đặtAPI này có 100.000 token
Lựa chọn mô hìnhCó thể thay thế tự doMô hình do nhà cung cấp chỉ định (trong trường hợp này là uncensored)
Quyền riêng tưDữ liệu không rời khỏi thiết bị của bạnYêu cầu đi qua máy chủ bên ngoài
Xử lý đồng thờiPhụ thuộc vào phần cứngVới khóa chính thức: 8 yêu cầu đồng thời, 300 yêu cầu mỗi phút
Gánh nặng quản lýCần cài đặt và cập nhậtChỉ cần thiết lập khóa và base URL

Khó nói trong bảng bên nào luôn thắng. Nếu ưu tiên dữ liệu cá nhân và có thiết bị, local tốt hơn; nếu không có thiết bị hoặc cần gọi từ nhiều ứng dụng cùng lúc, API tiện hơn.

Khi local phù hợp hơn

  • Khi cần sử dụng trong môi trường ngoại tuyến. Trên máy bay hoặc nơi mạng ngoài bị chặn, bạn không có lựa chọn nào khác.
  • Khi việc dữ liệu hội thoại rời khỏi thiết bị của bạn là điều tuyệt đối không thể. Chính sách của bất kỳ nhà cung cấp nào cũng không chắc chắn bằng việc giữ dữ liệu trên thiết bị của bạn.
  • Khi mục đích chính là thử nghiệm bằng cách thay đổi nhiều mô hình khác nhau.
  • Khi bạn đã có PC đủ VRAM và lưu lượng gọi liên tục cao.

Ngược lại, có ba lý do phổ biến khiến bạn từ bỏ giải pháp chạy local. Đó là việc phải cắt ngắn cửa sổ ngữ cảnh do thiếu bộ nhớ, tốc độ sinh chậm và bị chặn khi gọi nhiều ứng dụng cùng lúc. Nếu gặp bất kỳ vấn đề nào trong số này, API là giải pháp thực tế hơn.

Khi API được lưu trữ phù hợp hơn

API của trang web này có định dạng tương thích OpenAI, nên các công cụ như SillyTavern có thể thêm endpoint tương thích OpenAI, hoặc ứng dụng tự tạo chỉ cần điền base URL và khóa là có thể kết nối. Mô hình chỉ có uncensored và cửa sổ ngữ cảnh là 100.000 token (tổng prompt và output). Hỗ trợ truyền phát (streaming), gọi hàm và chế độ JSON.

Rất tiện lợi trong các trường hợp sau.

  • Khi bạn không có GPU hoặc đang phát triển trên máy tính xách tay.
  • Khi bạn tạo bot hoặc ứng dụng dịch vụ để xử lý yêu cầu từ nhiều người dùng cùng lúc. Khóa chính thức cho phép tối đa 8 yêu cầu đồng thời.
  • Khi bạn thường xuyên thực hiện các tác vụ cần ngữ cảnh lớn như hội thoại dài hoặc tài liệu dài.
  • Khi lượng sử dụng hàng tháng biến động nên khó chịu nổi chi phí cố định.

API này là dịch vụ mô hình đơn lẻ do một nhà cung cấp độc lập vận hành, không phải API chính thức của bên khác. Nếu bạn mong đợi một dịch vụ cho phép chọn mô hình, thì đây không phải là lựa chọn phù hợp. Prompt không được dùng để huấn luyện mô hình, nhưng việc yêu cầu đi qua máy chủ là không thể tránh khỏi, vì vậy nếu xử lý nội dung nhạy cảm, bạn nên đọc chính sách quyền riêng tư trước.

Phương pháp so sánh trực tiếp không qua benchmark

Bảng điểm do người khác tạo thường không phù hợp với nhu cầu của bạn. Bạn có thể tự so sánh trong 30 phút theo các bước sau.

  1. Chọn 10 prompt bạn thực sự sẽ sử dụng. Hãy bao gồm cả prompt hệ thống và cài đặt nhân vật bạn thường dùng.
  2. Gửi cùng một prompt cho mô hình local và API. Hãy đảm bảo các cài đặt như temperature giống nhau.
  3. Đọc câu trả lời và chấm điểm mà không tiết lộ danh tính. Xem xét văn phong, khả năng duy trì cài đặt, việc tuân thủ chỉ thị và mức độ lặp lại.
  4. Đừng thực hiện chỉ một lần; hãy chạy mỗi prompt 3 lần để xem xét độ lệch.

Bạn có thể thử nghiệm API với $0,50 tín dụng dùng thử miễn phí. Sau khi đăng nhập, bạn có thể nhận tại trang khóa API, áp dụng cho 1 người dùng 1 lần, thời hạn 7 ngày, không cần thông tin thanh toán. Dưới đây là đoạn mã tối thiểu gửi prompt đến API.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.mugeomyeolapi.com/v1", api_key=os.environ["MUGEOMYEOL_API_KEY"])

prompts = ["내 프롬프트 1", "내 프롬프트 2"]  # 실제 쓸 프롬프트로 교체
for p in prompts:
    for run in range(3):
        r = client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": p}],
            temperature=0.8,
        )
        print(f"[{p[:10]} / {run + 1}회]", r.choices[0].message.content[:200])

Phương thức lai và danh sách kiểm tra cuối cùng

Bạn không cần chọn chỉ một trong hai. Nhiều người dùng chia nhỏ: bản nháp nhạy cảm xử lý local, còn các tác vụ cần cửa sổ ngữ cảnh lớn hoặc gọi đồng thời thì gửi qua API. Vì định dạng tương thích OpenAI, bạn chỉ cần thay đổi base URL để chuyển đổi giữa hai bên bằng cùng một mã nguồn, giúp chi phí chuyển đổi thấp.

Hãy kiểm tra những điều sau trước khi quyết định.

  • VRAM trên thiết bị của bạn có đủ để chịu độ dài cửa sổ ngữ cảnh mong muốn không.
  • Bạn cần bao nhiêu lượt gọi API mỗi tháng? Bạn có thể tính thử theo giá trên trang giá của API: đầu vào $0,15 trên 1 triệu token, đầu ra $0,50 trên 1 triệu token.
  • Liệu prompt của bạn có ổn khi đi qua máy chủ bên ngoài không.
  • Bạn cần xử lý bao nhiêu yêu cầu đồng thời.

Phương pháp thiết lập được trình bày trong tài liệu API. Nạp tiền từ $20 đến $500 và phương thức thanh toán là USDT (TRC20) và USDC (Base).

Hướng dẫn thêm

Câu hỏi thường gặp

LLM không kiểm duyệt nên dùng local hay API?

Câu trả lời phụ thuộc vào mục đích sử dụng. Nếu cần sử dụng ngoại tuyến, kiểm soát hoàn toàn và có thiết bị, hãy dùng local; nếu cần sử dụng ngay mà không có thiết bị hoặc cần gọi đồng thời, API là lựa chọn phù hợp.

Tôi có thể chọn mô hình trên API này không?

Không. Mô hình chỉ có uncensored. Nếu bạn cần một dịch vụ cho phép chọn nhiều mô hình, thì đây có thể không phải là lựa chọn phù hợp.

Tôi có thể dùng cả local và API cùng lúc không?

Có thể. Nếu cả hai đều sử dụng định dạng tương thích OpenAI, bạn chỉ cần thay đổi base URL và khóa để chuyển đổi bằng cùng một mã nguồn.

API này có hỗ trợ tạo hình ảnh không?

API này chỉ dành cho văn bản. Nó không hỗ trợ tạo hình ảnh, âm thanh, video, embedding hay fine-tuning.

Khóa API chỉ cần đăng ký

Tạo tài khoản, sao chép khóa, thay đổi Base URL. Cấu hình xong là xong.

Nhận khóa API
Nhận khóa API