配方
HIllya51/LunaTranslator: 视觉小说翻译器 / Visual Novel Translator => 插件本体
PiDanShouRouZhouXD/Sakura_Launcher_GUI: Sakura模型启动器 => LLM启动器
SakuraLLM/Sakura-GalTransl-7B-v3.7 · Hugging Face => 本地LLM，翻译用
(如没有访问Huggingface和GitHub的条件，可以使用以下链接)
https://github.com/HIllya51/LunaTranslator/releases/download/v10.15.0/LunaTranslator_x64_win10.zip => 插件本体
(将以上链接输入gh-proxy以下载: GitHub 文件加速代理 – 快速访问 GitHub 文件)
SakuraLLM/Sakura-GalTransl-7B-v3.7 · HF Mirror => 本地LLM，翻译用
配置要求
建议使用独立显卡，显存6G及以上。
流程
- 首先下载、解压并启动插件本体和LLM启动器:
2. 在启动器的“下载”选项卡中下载Sakura模型和llama.cpp。
其中，模型推荐使用“Sakura-Galtransl-7B-v3.7-IQ4_XS.gguf”(7B参数，IQ4量化，6G显存可用，25年8月更新)；也可以按需选择不同的参数量和量化的模型。值得注意的是，启动器中并没有提供完整的模型列表，更多模型可以从SakuraLLM的Huggingface下载，下载后的的模型文件(.gguf)和启动器放在同一个文件夹内即可。
llama.cpp是用 C/C++ 编写的高性能推理引擎，我们需要安装它以在本地推理Sakura模型。请在启动器中选择适合自己配置的版本下载。
3. 启动Sakura模型
4. 配置LunaTranslator使用Sakura模型
打开设置，找到“翻译设置”选项卡，启用Sakura大模型（具体设置按需，可参考截图）。
5. 启动游戏
6. 在LunaTranslator中连接游戏
对于Anemoi，按下图中选择SiglusEngine.exe(Key社传统引擎了属于是)
7. Then, enjoy your time~
总结
使用针对视觉小说进行微调的、相对体量较小的LLM即可取得非常不错的翻译效果——在ToothlessOS的4060上速度和谷歌翻译一样能够做到即时翻译，在Auto下完全不影响阅读，而质量完胜谷歌翻译。更重要的是，在本地部署模型完全没有增加额外的成本。如需进一步优化，可以考虑在LunaTranslator中加入词表以确保人名的正确翻译，也可以对prompt进行优化。（果然，折腾这个还是有成就感的~）
发表回复