Sora 2刷屏全网:拍《瑞克和莫蒂》、过物理测试,太棒了

🍹 Insight Daily 🪺

Aitrainee | 公众号:AI进修生

Hi,这里是Aitrainee,欢迎阅读本期新文章。

海外网友基本都在刷屏Sora2:太棒了。

真的,太棒了

Sora 2 能完成以往视频生成模型极难实现的任务。在物理准确性和逼真度上超越了过往系统,并在可控性上实现重大飞跃,还支持同步输出画面和音频,类似Veo3那样。

体操等运动类:

Sora 2 通过了玻璃折射测试:箭头透过一杯水从左变成右。

这是一个 光的折射实验:

神奇的水中箭头实验实验现象当箭头放在玻璃后某个特定距离时,看起来箭头方向反转了。原理解释光从一种材料进入另一种材料时,会发生折射(改变传播方向)。实验中光的传播路径:空气 → 玻璃玻璃 → 水水 → 玻璃背面玻璃 → 空气 → 到达箭头每次光线穿过不同介质(空气、玻璃、水),都会折射,从而产生箭头“反转”的视觉效果。

一句话总结:这是折射现象的直观演示,光在不同介质中折射导致箭头看起来方向反转。

Sora 2 的二创时刻

Sora 2 可让你生成许多电视节目的场景《恶搞之家》中的经典剖面场景,从彼得·格里芬在沙发上开始,开头:“这让我想起了那个时候”,记忆是他在抖音上发布 AI slop 的时候

哦,我们完蛋了……
下面这是一个关于 OpenAI 和 Sora 2 的小片段:瑞克说:“跨维度抖音来了”,并展示了一部装有 Sora 2 的手机,莫蒂说:“哦,我们完蛋了……”,视频随后结束。

手搓日漫:

还能模拟电脑浏览器操作、画面?

提示:用户打开 Chrome、访问谷歌并搜索 Sora 2 邀请的屏幕录制

真实感拉满:两个一模一样的人在一个小房间里,同时想拍 TikTok,不停地互相挡镜头,气得争吵起来。

视频生成的 GPT-3.5 时刻

OpenAI表示:最初的 Sora 模型在 2024 年 2 月推出,在很多方面就像是视频领域的 GPT-1 时刻——首次让视频生成真正看起来可行,并在扩大预训练算力后自然涌现出物体持久性等简单行为。

自那以后,Sora 团队专注于训练具备更强世界模拟能力的模型。OpenAI相信,这类系统对于培养能够深刻理解物理世界的 AI 模型至关重要。一个关键里程碑是掌握大规模视频数据的预训练和后训练,而这方面相较于语言模型仍处于起步阶段。

有了 Sora 2,直接跳到视频生成的 GPT-3.5 时刻。

Sora 2 能完成以往视频生成模型极其困难、甚至根本不可能的任务:奥运会体操动作、在桨板上完成后空翻并精准模拟浮力与刚性动态、还有猫咪死死抱住时的三周半跳。

在文本提示 man does a cannonball off diving board 下,旧模型往往过于乐观,会扭曲物体、改变现实来满足指令。

例如,一个篮球运动员投篮未中,球可能瞬移进框。而在 Sora 2 中,如果没投中,球会反弹到篮板。更有趣的是,它犯的“错误”,往往像是内部虚拟智能体犯的错——虽然仍不完美,但相比以往系统,它更好地遵守物理规律。这对任何想成为有用世界模拟器的模型至关重要:必须能模拟失败,而不仅是成功。

你甚至可以直接将现实世界的元素注入到 Sora 2 中。例如,通过观察我们团队成员的一段视频,模型就能将他们以外观和声音高度还原的方式插入到任何 Sora 生成的环境中。这一能力非常通用,对人类、动物或物体同样适用。

举报/反馈
分享到: 微博 QQ 空间
对本文内容有合作意向?
我们将在 1 个工作日内与您联系
留言咨询