做了一个面向张量计算的语言,可从 Python 调用,支持显式索引和自动求导

查看 17|回复 0
作者:bowenfu   
最近一直在做一个小项目Einlang,出发点主要是希望代码本身像数学公式一样直观(但是要够精准无歧义,不需要动脑)。希望下面这几点
  • 张量怎么按索引算
  • 哪里要求和
  • 对谁求导

    都直接体现在代码里。
    比如平时常见的写法可能是这样:
    np.einsum("ik,kj->ij", A, B)
    jax.grad(loss_fn)(W)
    在 Einlang 里,我现在会更希望它长这样:
    let C[i, j] = sum[k](A[i, k] * B[k, j]);
    let dloss_dW = @loss / @W;
    语法上会有一点 Rust 的影子,比如 let 和分号。可以从 Python 调,也可以直接走命令行。
    项目地址:
    https://github.com/einlang/einlang
    如果只是想随手跑一下,可以执行:
    python3 -m pip install "git+https://github.com/einlang/einlang.git"
    python3 -m einlang -c "let x = 1 + 1; print(x);"
    不知道这种实现在 AI 时代是否还有意义,希望能看到大家的点评和建议。
    除了矩阵运算和自动求导,我还想试着把“递推过程”本身也放进同一套语法里。下面这段代码,不是先在外面写循环,再在循环里调用求导,而是可以直接把“每一步依赖前一步”的关系写出来:
    let alpha = 0.25;
    let x[0] = 8.0;
    let x[k in 1..6] = {
        let prev = x[k - 1];
        let loss = prev * prev;
        let g = @loss / @prev;
        prev - alpha * g
    };
  • 您需要登录后才可以回帖 登录 | 立即注册

    返回顶部