谷歌的ai也要来了?

查看 56|回复 0
作者:liugogal   
看群里看到的
谷歌发布史上最大的视觉语言模型 PaLM-E
谷歌 PaLM-E 有着5620亿参数 (ChatGPT 为1750亿参数) ,结合了 PaLM-540B 语言模型与 ViT-22B 视觉模型。将现实世界的连续传感器模态直接纳入语言模型,"为AI移植眼睛"从而建立单词和感知之间的联系。
PaLM-E 直接从机器人摄像头获取原始图像数据,并根据自然语言指令进行动作规划和执行,这样就避免了人工预处理或标注数据的需要,可以端到端自主学习这些任务。
研究团队同时发现:
1. 语言模型越大,在视觉语言和机器人任务训练时就越能保持其语言能力,PaLM-E 的5620亿的参数量刚好让它保留住了几乎所有语言能力。
2. "通才AI"的正迁移能力,同时在多个任务领域训练的 PaLM-E,单任务能力相比"专精AI"显着提高。
3. 除了人机交互方面有着重大进展,团队还发现了 PaLM-E 有着诸如多模态思维链推理和多图像推理等新兴能力,在 OK-VQA 视觉问答基准测试上达成了新的 SOTA (最佳水平AI)。

语言, 模型, 能力

您需要登录后才可以回帖 登录 | 立即注册

返回顶部