基于开源的模型微调,然后用 docker 打包模型和代码,去云服务商买 GPU 去跑吗 这个成本应该很高吧,特别是前期用户少的时候? 举个例子,有一个 PDF 内容大纲提取总结的 AI 服务,希望能给 100 人公司用,这个成本多大
你 pdf 的模型要多大显存呢?看下需求呗,24 以内就考虑 4090 ,48 以内考虑 3090 ,或者 a6000 ,48 以上考虑 6000a ,3W-20W 不等,平摊到 100 个人,人均 300-2000 ,大概可以干到公司倒闭。 上云的话,算一下每天的成本就行了