@liuliuliuliu TvT velopack 还不支持安装选项,安装的时候只能蠢蠢的丢到 data local 里面去,portable 版会下载到当前目录(但是代码有点小问题,还没修好,已经在修了!)。 主要是 CUDA 和 cuDNN 特别大,N 厂没有自带,所以要开发者来 bundle……其实程序本身特别小。
@yianing 最近刚从 ONNX 迁移到 candle ,我自己实现的 LaMa 模型感觉哪里有问题…… 这个问题其实挺麻烦的,manga-image-translator 用的是 Pytorch 的实现,自带了 fft 的 ops ,而 candle 里面根本没有 fft 。 我目前给 candle 的依赖库 cudarc 提了一个 PR 来支持 cufft: https://github.com/chelsea0x3b/cudarc/pull/500 Koharu 用的是我 fork 的 candle ,现在已经用到 cufft 快了一点点了。 除了实现不高效,另一点是我用 LaMa 整张图片处理的,没有切片,这个可能导致速度很慢。 小声说我用的 5090 跑一张图只要几秒钟,所以我没注意到。 用 candle 来实现模型优点是自己可以调整模型的结构,所以一定可以优化得更快。最近我也在尝试向 candle 贡献代码,希望提升整体的性能。
@WizardLeo 其实 SakuraLLM 官方说明了可以添加术语表: https://github.com/SakuraLLM/SakuraLLM#%E6%8E%A8%E7%90%86 目前 Koharu 是允许手动编辑译文,来进行修正的。术语表、或者是给 LLM 提供更多 Context 有打算做,但是 LLM 听不听话就不知道了…… 但是这个功能一定会做的!
@9yu 您好,我在本地试用了下,但是一直卡在 LLM Generate 中有近 8 分钟了,环境是 win11 13900k+4090 感觉有点问题,另外是日志里显示保存模型到 models 目录,但是我没在目录下看到。使用的便携版,日志可以参考这个 https://privatebin.net/?b2ad896ae3cb85a8#2oSMVe2zyjfmxSA2gDLtRzPQPYymknt512oQ83gbX8Qr