hello 劣化是怎么测的呢，试试 kv 用 turbo3 试试呢 --cache-type-k turbo3 ` --cache-type-v turbo3 ` 我试了 5060ti 16G 不开多模态 q3 能开到 161k 35tok/s 左右，但是不好测效果
@lyonll 我有空也测测 turbo3 ，但其实 q4 我觉得就已经有些不太行了。 我就是体感劣化，有的是很明显的劣化的，就是很简单的任务，比如我让他改一个前端展示从 ID 改成获取名称展示，改了量化之后他直接开始一直循环不输出结果，这种就是明显的劣化了。 我 q8 跑就是很慢，但是基本上任务都能完成，但是 q4 还是会有概率出现乱回答或者死循环。 --- 然后还有就是我个人感觉本地部署 prefill 速度比 decode 速度重要，decode 只要有 10tok/s 就有一点安慰作用了，但是我要是等几分钟他还在那转圈，就会开始怀疑是不是模型挂了还是报错了。 （我之前其实是有算过的，特别是长上下文编码的场景，prefill 速度会很大程度决定任务的总耗时，100k 左右的上下文，基本上要缓存命中到 98% 以上，decode 速度才会对总耗时有些影响）
@SSang 图灵，相当于 2080 这代 nvlink 自己玩玩用不上，PCIe 就足够了，我这个甚至是跨了 NUMA 节点的 PCIe 通信。T10 也没有 nvlink 。 nvlink 黄鱼上 300 块一个桥接器简直就是抢钱
