LLama for nodejs

查看 66|回复 1
作者:hlhr202   
AIGC 这么火,小前端来蹭个热度,写了个 llama-node 的库
https://github.com/hlhr202/llama-node
起因是为了方便自己调用,又希望降低 llama.cpp 和 llama-rs 的调用门槛,我研究了一下 meta 开源的 llama 社区项目,最终找到了 llama-rs 这个 rust 库。
https://github.com/setzer22/llama-rs
对 rust 确实不太熟,还是喜欢留在 typescript 的安全区,所以决定用 llama-rs 写一个 nodejs 的库。
node addon 方面选择了 @太狼 大佬的 napi-rs 。
用法展示:
import path from "path";
import { LLamaClient } from "llama-node";
const model = path.resolve(process.cwd(), "./ggml-alpaca-7b-q4.bin");
const client = new LLamaClient({ path: model, numCtxTokens: 4096 }, true);
const prompt = `// Show an example of counter component in react.js. it has increment and decrement buttons where they change the state by 1.
export const Counter => {`;
client.createTextCompletion(
    {
        prompt,
        numPredict: BigInt(2048),
        temp: 0.2,
        topP: 0.8,
        topK: BigInt(40),
        repeatPenalty: 1,
        repeatLastN: BigInt(512),
    },
    (res) => {
        process.stdout.write(res.token);
    }
);
结论还是:写 ai 程序也是撸 typescript 更快。。。就这样先将就用着吧。rust 写的不好,各位看官轻喷。

const, TypeScript, llama, llama-rs

tool2d   
IT 行业有头部通吃原则。
习惯了 OpenGPT 后,别的 Ai 回答都像刚毕业的小学生,用了几次后,实在没有兴趣继续使用了。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部