Botastic:一个自用 LLMs AI 框架,支持类似 ChatGPT 的 Plugin 的模式引入外部数据

查看 17|回复 0
作者:lyric   
动机是这样的:
[ol]
  • OpenAI 的 LLMs 在生成知识和推理方面非常出色,因为它们预先训练了大量公开可用的数据。
  • 但是实际应用中,我们需要 LLMs 能够对我们自己的数据进行推理。
  • 对模型搞 fine-tuning 需要很多数据,而且很贵,而且很多场景并不需要用到 fine-tuning 。
  • 把外部数据嵌入 LLMs 是一个目前最常用的解决方案。包括 OpenAI ChatGPT Plugins, LlamaIndex 都是用的类似方案。Botastic 也通过 Middleware 支持。
  • 我们做 Botastic 的目标是解决自己搞 AI 小程序的需求,而且我们的技术栈是 Go 。总之会长期支持。
  • 旨在提供开箱即用的解决方案,包括对接 OpenAI (未来还会对接其他 LLMs 和支持内置模型,毕竟不能只依赖 OpenAI ),支持 Restful API 方便现有系统调用等等。
  • 支持自己托管(开源的嘛)
    [/ol]
    详细的情况可以看看源码的 repo: https://github.com/pandodao/botastic (希望能给我多多🌟谢谢:)
    另外我还写了个接入教程: https://developers.pando.im/guide/botastic.html
    两个 showcases:
  • Ask Vitalik: A digital avatar of Vitalik Buterin.
  • Ask Scott Alexander: A digital avatar of Scott Alexander.
  • 您需要登录后才可以回帖 登录 | 立即注册

    返回顶部