以前是做运维，后来业务调整，现在主要负责新媒体运营这方面。 目前我在写作这方面比较薄弱，想着部署一个 LLM ，自己训练知识库这样。 当然，训练这个是为了处理公司的事情，我还会用它来提升个人知识库等等。 公司现存的台式机配置如下。 CPU i5-13400F RAM 32.0 GB SSD 2T 显卡 RTX3060Ti 8G 请各位部署过、有关注该方面的 V 友踊跃发言，先谢过各位。 知识库, llm, 部署, i5-13400f
8G 显存的话可以试试 4bit 量化的 7B 及以下的模型，比如 Mistral-7B 或 chatglm3-6b 之类的，具体哪些比较好可以去 huggingface 的 models 页上自己挑。
最近看到 firefox 做的一个重新封装方式感觉挺有意思的，里面用来示例的 LLaVA 1.5 用 CPU 就能跑，虽然很慢就是了 ttps://github.com/Mozilla-Ocho/llamafile
