写了一篇 blog 关于 langchain llm streaming

查看 29|回复 0
作者:scalaer   
Langchain 通过 callback 机制,可以将 LLM 输出的 token 实时处理. 同时支持同步 IO 和异步 IO 的方式来输出 token ,分别对应 StreamingStdOutCallbackHandler 和 AsyncIteratorCallbackHandler
Langchian LLM Streaming
您需要登录后才可以回帖 登录 | 立即注册

返回顶部