Java 应该没啥库能直接调用模型吧,虽然理论上可以做到,但即便有应该也是很小众的,可以尝试找找 为啥不考虑把 python 调用模型封装成服务然后给 java 调用呢 主流的 AI 相关的库很多都是 python 写的 并且模型文件本身并不能被直接运行 需要通过 python 或者一些 AI 相关的库加载然后调用
我们都是直接用 vllm 之类的跑大模型,然后通过 api 调用的。Java 不适合做这类事情。你可以把大模型+运行它的东西看作是一个服务。Java 当作客户端就行。 Java 推荐 langchain4J ,有封装各个大模型的 api 接口格式。
你的标题和描述的内容实际上是两个问题 1 、如果单存是想从 huggingface 下载模型可以参考: https://huggingface.co/docs/hub/models-downloading 当然,魔搭上也可以下载: https://www.modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%8B%E8%BD%BD (#5 可以参考) 2 、如果是想用 java 调用模型,可以用 vllm 部署,vllm server 提供了 api 的调用方式,java 直接调用就可以了 也可以用 xinferrence ,部署起来会更方便一些