2024年2月15日凌晨，OpenAI发布文生视频大模型：Sora。
强到，能震惊人一万年的程度。。。
https://openai.com/sora
简单来说就是，AI视频要变天了！
如果要用三个词来总结Sora，那就是“60s超长长度”、“单视频多角度镜头”和“世界模型”
来正式认识一下sora
Sora实际上是一个基于数据的物理模拟引擎。它能够模拟各种各样的世界，不管是真实的还是幻想中的。通过一系列复杂的计算过程，比如去噪技术和梯度计算，这个模拟器能够学习到如何进行精细的渲染、模拟直观物理效果、进行长期的逻辑推理，以及实现语义理解。
如果说Sora是依赖使用Unreal Engine 5生成的大量合成数据进行训练，我一点都不会觉得意外。因为它的确需要这样做！
我们来分析一段视频。
视频提示是：“在一杯咖啡中航行的两艘海盗船进行战斗的逼真特写镜头。”
• 模拟器创建了两艘装饰各异的精美3D海盗船模型。Sora需要在其内部空间隐式地完成从文本描述到3D模型的转换。
• 这些3D模型能够在保持彼此距离的同时进行动态航行。
• 它还模拟了咖啡流体的动力学效果，包括船只周围形成的泡沫。值得一提的是，流体模拟本身就是计算机图形学中一个非常复杂的分支，需要依赖复杂的算法和方程式。
• 视频达到了近乎逼真的光影效果，仿佛是采用了光线追踪技术进行渲染。
• 考虑到杯子相比海洋的小尺寸，模拟器还采用了移轴摄影技术，营造出了一种微观世界的视觉感受。
• 虽然视频中的场景在现实世界中并不存在，但这个引擎还是按照我们所期望的物理规则正确地实现了场景模拟。
下一步是增加更多的输入模式和条件设置，我们就能得到一个全面的数据驱动的虚拟引擎，它将有望取代所有传统手工编制的图形处理流程。
提示词库
Prompt 1animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. the art style is 3d and realistic, with a focus on lighting and texture. the mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. the use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.
提示：
动画场景有一个特写镜头，一个毛茸茸的短怪物跪在一根融化的红蜡烛旁边。艺术风格是3D和逼真的，重点是照明和纹理。这幅画的情绪是一种惊奇和好奇，因为怪物睁大眼睛和张开嘴巴凝视着火焰。它的姿势和表情传达出一种纯真和俏皮的感觉，仿佛它是第一次探索周围的世界。暖色调和戏剧性照明的使用进一步增强了图像的舒适氛围。
Sora可能带来的影响
如果Sora能够真正意义上实现文生视频，可能会带来哪些影响呢？
1、没有演员的影视作品出现，对演员来说是个小挑战，将出现真正的“虚拟偶像”，此前的二次元人物并没有真正达到“偶像”的级别。
2、利好编剧行业，剧本、文本创作力成为核心竞争力。
3、Sora可能才是真正的文生视频，此前的文生视频大多只有2秒，仅仅是对象的小幅度移动。
4、OpenAI继续拉大领先程度，对众多还在进行大模型测试打分pk的厂商，构成压力。
5、直接的影响是影视行业，特别是特效行业。使用AI来制作一些特效和高风险的镜头，可以大幅降低拍摄成本，也可以避免很多危险。
6、摄影师行业也会受到影响，用文本来生成一些视频，可以省去很多拍摄工作。
7、短视频流行开以后，视频剪辑师也随之成为一个热门职业。如果视频剪辑的工作可以用AI来代替，可能会有很多视频剪辑师失业。
8、对于很多短视频创作者来说，用AI来替代繁琐的剪辑工作，可以大幅提高工作效率。
9、很多歌手拍摄MV都是大成本制作，如果可以用AI来生成所需要的MV画面，也可以省去很大一部分制作成本。
10、另外，如果真正意义上的文生视频得以实现，可能会有不法份子利用这项技术实施新手段的违法犯罪。
不过，从Sora官网目前展示的视频画面效果来看，效果还没那么逼近真实，
短期内不会产生让行业失业，但会有辅助作用，做个动画片应该问题不大。
在Sora官网，OpenAI表示，Sora是能够理解和模拟现实世界的模型的基础，OpenAI相信这一能力将是实现AGI的重要里程碑。
至于Sora文生视频到底能带来多大影响，会不会翻车，还需要“让子弹飞一会儿”
