pc: 12700+4090+64G
8b 模型,mac 大概是~50tokens/s,pc 是~100tokens/s (显存吃了 5G 多一点)
70b 模型,mac 大概是 8.8tokens/s(40G 左右内存), pc 是 1.8tokens/s(显存是 23G 左右+20G 左右的内存)
70b 模型,pc 速度慢大概是因为显存不够,如果换 6000 ada 的话,同等算力目测可以到 15tokens/s 。mac70b 的速度感觉跟 chatgpt4 的速度差不多,速度上相当可用了,但是准确性和记忆力跟 gpt4 还是不能比,中文能力 llama 也比较拉胯。对个人来说本地部署完全没必要,免费的用用完全够,不够就上 gpt4 ,开源闭源差距还是不小的
另外想听听各位对于本地大语言模型在企业内(传统行业,比如制造业 [包含但不仅限于] )的应用的想法
视频版可以去