请教一下 Hugging Face 上的模型怎么下载下来使用

查看 65|回复 7
作者:MakHoCheung   
如题,比如如何把 LLama 3.2 内嵌到一个 Java 应用让 Java 调用呢? 我看上面都是作为一个 Python 库给 Python 调用
dejavuwind   
Java 应该没啥库能直接调用模型吧,虽然理论上可以做到,但即便有应该也是很小众的,可以尝试找找
为啥不考虑把 python 调用模型封装成服务然后给 java 调用呢
主流的 AI 相关的库很多都是 python 写的
并且模型文件本身并不能被直接运行 需要通过 python 或者一些 AI 相关的库加载然后调用
murmur   
不会用就别折腾,下一个 xinferrence 这样的服务器,可以下载模型,提供服务,甚至还支持切换国内镜像
murmur   
模型服务器可以把接口抽象成 http 调用,贼好使,还自带问答调试界面,干嘛自己折腾模型啊
idblife   
ollama
CHEN1016   
我也想下载,我看 ios 上有个软件可以导入模型,想试试 qwen2.5 和 llama3.2 上的端侧小模型,就是不知道怎么下载
clf   
我们都是直接用 vllm 之类的跑大模型,然后通过 api 调用的。Java 不适合做这类事情。你可以把大模型+运行它的东西看作是一个服务。Java 当作客户端就行。
Java 推荐 langchain4J ,有封装各个大模型的 api 接口格式。
ahjiangwu   
你的标题和描述的内容实际上是两个问题
1 、如果单存是想从 huggingface 下载模型可以参考:
https://huggingface.co/docs/hub/models-downloading
当然,魔搭上也可以下载: https://www.modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%8B%E8%BD%BD
(#5 可以参考)
2 、如果是想用 java 调用模型,可以用 vllm 部署,vllm server 提供了 api 的调用方式,java 直接调用就可以了
也可以用 xinferrence ,部署起来会更方便一些
您需要登录后才可以回帖 登录 | 立即注册

返回顶部