用 Rust 写了一个跨平台 LLM 汉化漫画的工具

查看 130|回复 15
WizardLeo   
一直挺希望这样的翻译软件可以手动添加翻译表,对特定关键词(比如人名、专有名词这类)指定特定译名,但好像没人这么做。
9yu
OP
  
@liuliuliuliu TvT velopack 还不支持安装选项,安装的时候只能蠢蠢的丢到 data local 里面去,portable 版会下载到当前目录(但是代码有点小问题,还没修好,已经在修了!)。
主要是 CUDA 和 cuDNN 特别大,N 厂没有自带,所以要开发者来 bundle……其实程序本身特别小。
9yu
OP
  
@yianing 最近刚从 ONNX 迁移到 candle ,我自己实现的 LaMa 模型感觉哪里有问题……
这个问题其实挺麻烦的,manga-image-translator 用的是 Pytorch 的实现,自带了 fft 的 ops ,而 candle 里面根本没有 fft 。
我目前给 candle 的依赖库 cudarc 提了一个 PR 来支持 cufft: https://github.com/chelsea0x3b/cudarc/pull/500
Koharu 用的是我 fork 的 candle ,现在已经用到 cufft 快了一点点了。
除了实现不高效,另一点是我用 LaMa 整张图片处理的,没有切片,这个可能导致速度很慢。
小声说我用的 5090 跑一张图只要几秒钟,所以我没注意到。
用 candle 来实现模型优点是自己可以调整模型的结构,所以一定可以优化得更快。最近我也在尝试向 candle 贡献代码,希望提升整体的性能。
9yu
OP
  
@WizardLeo 其实 SakuraLLM 官方说明了可以添加术语表: https://github.com/SakuraLLM/SakuraLLM#%E6%8E%A8%E7%90%86
目前 Koharu 是允许手动编辑译文,来进行修正的。术语表、或者是给 LLM 提供更多 Context 有打算做,但是 LLM 听不听话就不知道了……
但是这个功能一定会做的!
Ruomeng   
@9yu 您好,我在本地试用了下,但是一直卡在 LLM Generate 中有近 8 分钟了,环境是 win11 13900k+4090 感觉有点问题,另外是日志里显示保存模型到 models 目录,但是我没在目录下看到。使用的便携版,日志可以参考这个 https://privatebin.net/?b2ad896ae3cb85a8#2oSMVe2zyjfmxSA2gDLtRzPQPYymknt512oQ83gbX8Qr
Ruomeng   
@9yu 我换用了安装版 setup.exe 就可以了,迅速搞定!可能是便携版 Koharu-win-Portable.zip 有点小问题!
您需要登录后才可以回帖 登录 | 立即注册

返回顶部