在自己电脑部署ai本地化,路过大佬看看

查看 39|回复 7
作者:a13553419156   
就是想偷懒,搞个ai本地化服务器,可以让ai像deepseek那样,输入我的问题,回复我要的,例如编个批处理,搞点小代码或者Excel表函数之类的,有大佬知道怎么部署吗。服务器没有GPU

大佬, 我要

flyingpig1   

https://zhuanlan.zhihu.com/p/21030210489,看看这篇文章
congcongzhidao   

网上的直接用不好吗,自己部署的慢
https://kimi.moonshot.cn/
https://chat.qwen.ai/
https://www.doubao.com/chat/
https://www.tongyi.com/
https://chat.deepseek.com/
pwd   

机器性能低意义不大,不如用在线版的免费服务,比如当贝AI
影风   

回复你想要的还叫啥AI。。。直接搞个数据库关键词检索就行了
devil_v6   

虽然是dee的算法降低了资源占用,但也不是一般计算机能流畅计算出来的,还是用网络的吧,不见的比自己搭的慢。
991547436   

GPT4All、Code LLaMA、StarCoder 跑个7B模型 缺点是又慢又不准
cyjahfy   

真正的本地化部署AI是需要GPU的,虽然有支持CPU的,但性能一般。假如只是想在你本地实现像deepseek那样输入问题,回复你要的效果,可以前端用开源的AI对话框,后端获取Excel表或sql数据库存储的内容。或者直接在本地部署开源的AI对话页面,然后调用第三方的API接口就行。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部