Instructions to use XuhuoRenxian/Xuhuo_7b_v3b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use XuhuoRenxian/Xuhuo_7b_v3b with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf XuhuoRenxian/Xuhuo_7b_v3b # Run inference directly in the terminal: llama cli -hf XuhuoRenxian/Xuhuo_7b_v3b
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf XuhuoRenxian/Xuhuo_7b_v3b # Run inference directly in the terminal: llama cli -hf XuhuoRenxian/Xuhuo_7b_v3b
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf XuhuoRenxian/Xuhuo_7b_v3b # Run inference directly in the terminal: ./build/bin/llama cli -hf XuhuoRenxian/Xuhuo_7b_v3b
Use Docker
docker model run hf.co/XuhuoRenxian/Xuhuo_7b_v3b
- Llama new
- LM Studio
- Jan
- Ollama
How to use XuhuoRenxian/Xuhuo_7b_v3b with Ollama:
ollama run hf.co/XuhuoRenxian/Xuhuo_7b_v3b
- Unsloth Desktop
- Docker Model Runner
How to use XuhuoRenxian/Xuhuo_7b_v3b with Docker Model Runner:
docker model run hf.co/XuhuoRenxian/Xuhuo_7b_v3b
- Lemonade
How to use XuhuoRenxian/Xuhuo_7b_v3b with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull XuhuoRenxian/Xuhuo_7b_v3b
Run and chat with the model
lemonade run user.Xuhuo_7b_v3b-{{QUANT_TAG}}List all available models
lemonade list
- Atomic Chat
How to use from
llama.cppInstall from WinGet (Windows)
winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf XuhuoRenxian/Xuhuo_7b_v3b# Run inference directly in the terminal:
llama cli -hf XuhuoRenxian/Xuhuo_7b_v3bBuild from source code
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-app# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama serve -hf XuhuoRenxian/Xuhuo_7b_v3b# Run inference directly in the terminal:
./build/bin/llama cli -hf XuhuoRenxian/Xuhuo_7b_v3bUse Docker
docker model run hf.co/XuhuoRenxian/Xuhuo_7b_v3bQuick Links
Xuhuo 7B · v3b
基于 tencent/Hy-MT2-7B 微调的 日文 → 简体中文 RPG Maker 游戏翻译模型,Q6_K 量化(5.74 GB),使用了大量含有控制符和黄游文本进行训练而成,但要想有不错的质量翻译必须要有术语表和前后文!
如果你在使用过程中发现控制符丢失、翻译异常问题,希望可以在社区告诉我,包含原文、译文、它们的上下文(上下 5 条)、你当时使用的参数,这些可以帮助我更新模型,如果能发出来我万分感谢!!!
推荐参数
温度 1.3 如果要减少机翻味那就提高到1及以上但不要超过1.5
Top P 0.4
Top K 50
Min P 0.05
重复惩罚 1.00 ★ 三个惩罚必须关闭不然质量大幅下降
频率惩罚 0.00
出现惩罚 0.00
Prompt 格式
*【背景信息】*
{前文,每行「日文/中文」,最多 3~5 行;无前文写:无}
参考下面的翻译:
{术语表,一行一个;无则写基础说明}
将以下文本翻译为 简体中文,注意**只需要输出翻译后的结果,不要额外解释**:
{待翻译的日文}<|extra_0|>
前文格式
「おはよう」/「早上好」
ギルドの受付で少女が手を振っている。/公会的柜台处,少女挥着手。
术语表格式
把日文,英文翻译成中文,保留所有的\,\c,之类的特殊组合通常为\配合字母数字大小括号,完全复用待翻译文本的符号,不允许出现原文以外的符号
キョウタ/恭太
キョウカ/恭香
ギルド/公会
⚠️ 只服从「日文/中文」对照表,不服从复杂的行为准则。
llama-server 调用示例
curl http://127.0.0.1:8080/completion -d '{
"prompt": "*【背景信息】*\n「おはよう」/「早上好」\n\n参考下面的翻译:\n把日文,英文翻译成中文,保留所有的\\,\\c,之类的特殊组合\nキョウカ/恭香\n\n将以下文本翻译为 简体中文,注意**只需要输出翻译后的结果,不要额外解释**:\n\n\\C[27]キョウカ\\C[0]は、こちらを見て微笑んだ。<|extra_0|>",
"temperature": 1.3,
"top_p": 0.4,
"top_k": 50,
"min_p": 0.05,
"repeat_penalty": 1.0,
"frequency_penalty": 0.0,
"presence_penalty": 0.0,
"n_predict": 256,
"stop": ["<|eos|>", "<|im_end|>", "<|extra_0|>"]
}'
评分
机翻味(12 段游戏对白,5 = 完全像人写)
| 版本 | 分数 |
|---|---|
| triv1 | 3.53 |
| v3b(本模型) | 3.98 |
| v3d7 | 3.88 |
| v3d10 | 4.00 |
| v4(无法处理双关谜语人) | 4.23 |
加分点(前文条数 × 术语表)
| 前文 | 术语表 | 分数 |
|---|---|---|
| 0 条 | 无 | 3.87 |
| 5 条 | 无 | 4.00 |
| 5 条 | 有 | 4.05 |
| 10 条 | 有 | 4.08 |
许可
本模型采用 CC BY-NC-SA 4.0(非商用、署名、相同方式共享)。
基座 tencent/Hy-MT2-7B 采用 Apache-2.0。
- Downloads last month
- 691
Hardware compatibility
Log In to add your hardware
We're not able to determine the quantization variants.
Model tree for XuhuoRenxian/Xuhuo_7b_v3b
Base model
tencent/Hy-MT2-7B
Install (macOS, Linux)
# Start a local OpenAI-compatible server with a web UI: llama serve -hf XuhuoRenxian/Xuhuo_7b_v3b# Run inference directly in the terminal: llama cli -hf XuhuoRenxian/Xuhuo_7b_v3b