浏览器内置离线大模型 Gemini Nano 大家用了吗,体验怎么样?

查看 17|回复 0
作者:oyps   
Gemini Nano 介绍
https://deepmind.google/technologies/gemini/nano/
我们最高效的设备端任务模型
1.0 Nano 经过优化,可在设备上提供快速响应,无论是否使用数据网络。
获得和使用方式
[ol]
  • 下载安装 Chrome (Dev or Canary) version 127 or higher
  • chrome://flags/#prompt-api-for-gemini-nano,设置为 Enabled
  • chrome://flags/#optimization-guide-on-device-model,设置为 Enabled BypassPrefRequirement
  • chrome://components,找到 Optimization Guide On Device Model,点击 Check for Update
  • 如果没有出现 Optimization Guide On Device Model,你可能需要等待几分钟,或者切换代理节点
  • 访问 https://chromeai.org/ 就能开始使用了
    [/ol]

    提示
    模型能力是浏览器内置的,安装部署后,就不再需要联网使用,但是你依然需要联网加载前端界面组件。
    简单来说,前端做的事情如下:
    // 创建大模型实例
    const model = await window.ai.createTextSession()
    // 获取回复流
    const aiReplayStream = await model.promptStreaming('请你讲一个笑话')
    // 获取回复结果
    let result = ''
    for await (const chunk of aiReplayStream) {
        result = chunk
    }
    console.log(`回复结果`, result)

    你可以安装这个拓展,来获得位于浏览器侧边栏的离线的 Web 前端,这样就可以在离线状态下使用 Gemini Nano 了。
  • 您需要登录后才可以回帖 登录 | 立即注册

    返回顶部