做了个 CLI 工具用 AI 来剪辑 vlog 效果意外地还不错

查看 59|回复 5
作者:jybox   
它会用 Gemini 先把视频看一遍,从中提取故事线然后构造时间线,过程中它会添加字幕、转场、裁切、生成背景音乐,当然也可以根据你的指示进一步修改。最后可以用 Remotion 来预览,也可以导出到 Final Cut Pro 做进一步调整。



最后导出的视频:https://www.youtube.com/watch?v=KcqQadtzAm8
Gemini 是目前试下来视频支持比较好的模型,虽然内部其实也是在以 1 帧每秒的形式去读截图,但关键是它能够输出视频画面对应的精确时间戳,这样才能用于后续的剪辑。至于视频的 token 消耗其实比我想象得要低,每秒大概 300 token ,用 Gemini 3 Flash 分析一小时的视频也就 $0.5 。
我的视频真的就是旅行的时候随手拍拍,没有脚本,也没有旁白,于是我这个工具就定位在了剪辑这种「无脚本」视频,只专注在剪辑上,并不会用 AI 生成任何的图像或解说(但背景音乐算个例外,是 AI 生成的)。
其实我做这个项目一开始只是想自己用,不然也不会用命令行界面了,现在就有点犹豫后续是改成一个基于网页的界面(甚至可以做 SaaS ),还是直接开源。

AI, 视频, 剪辑

azhangbing   
好像很不错 我也有一堆没有剪辑的视频躺在 NAS 里
Aprdec   
诶哟 不赖
yuewolf   
大佬,你肯定对比过 Gemini 3.1 Flash-Lite 和 Gemini 3 Flash 预览版 吧?
就你实测,它们实际使用上的差别有哪些?
为什么选择了 Gemini 3 Flash 。
关于你的问题,我觉得你可以做一个 SaaS 版上线试一下,主要面向海外, 反正有 AI 写,很快的。
dassh   
没开声音,没细看,感觉没有足够的吸引力
另外,我买的 insta go ultra 好像也有间隙录相,自动剪视频的能力(不过没试过)
jybox
OP
  
@yuewolf 实际上有两个环节:
- 视频内容分析(从视频生成内容摘要),Flash 或 Lite 都可以,价格其实也只是差了一倍而已,所以直接用 Flash 了
- 视频剪辑(编辑时间线),这个就需要模型有比较好的注意力管理和工具调用能力,至少需要 Flash ,要效果更好就需要 Pro
@dassh 很正常,因为本来就是随手拍拍,更多还是自己留个回忆,然后把几十 G 的原始视频删掉。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部