我发现了一个新的参数 `--split-mode tensor` 之前我用 row 一直报错 not support split buffers ，我以为不能并行，但是用 tensor 又能并行了，很神奇。 然后没有 nvlink 的话可能要加环境变量 NCCL_P2P_DISABLE=1 。 开了这个之后我的 prefill 速度大概到了 600tok/s 了
不对，我重新又试了一下，关掉 `--split-mode tensor` prefill 速度其实也是 600tok/s 。 他除了能让我两张卡同时跑满之外，没有任何提升（笑哭），甚至还有些许下降我觉得。估计是 PCIe 拖累了。
