• 英文站 KrASIA
  • 日文站 KrJAPAN
36氪出海
36氪出海
人工智能

包含“完整工作流”的AI电影平台LTX Studio面世,离个人创作 AI 大片就不远了

深度观察 

Pika、Sora、LTX Studio 等 AI 工具催生新创作者,轻松打破好莱坞大制作壁垒,离个人 DIY 出一部 AI 大片,到底有多远?

——领读语来自36氪出海运营
陈泓
查看「36氪出海·领读」的全部内容 >>

最近,全网掀起了AI 视频热潮。

各种史诗级大片纷纷出炉,逼真的效果、震撼的场面让网友们震惊到失语。

比如 B 站 UP 主「AI疯人院」的这部2024开篇王炸——AI 版西游记动画短片,已经取得了将近百万的播放量。

网友们纷纷惊呼,开篇就被惊艳到,整个看下来感受就是:简直绝了!

而一位名叫 Shang Chi 的小哥做出的 AI 电影「怀旧宇航员」,则让无数人落泪,直接入选今年 MIT AI 电影大赛的最佳影片。

所以,我们离自己 DIY 出一部 AI 大片,到底有多远?

虽然,最近爆红的 Sora 把视频时间延长到了史诗级的60秒,但离一整部电影大片的时长,还是差得远。

不过,刚刚出炉的一套 AI 工具,直接把电影制作的整个工作流都给实现了!

AI 大电影「完整工作流」来了

就在刚刚,以色列初创公司 Lightricks 正式发布了一款  AI 驱动的电影生成和剪辑软件——LTX Studio。

只要通过文字,它就能直接生成复杂的剧情,包含语音、音效、视频画面,一整套全包圆了。

联合创始人(从左至右):Itai Tsiddon、Yaron Inger、Zeev Farbman、Amit Goldstein和Nir Pochter

它包含的一整套导演工具,直接重新定义了视频制作的工作流!其中包括自动编写脚本工具、调整多镜头的场景控制工具、保证角色一致性的工具、摄像机控制、一键编辑等等。

这样,我们制作出高质量视频,就更轻松了。

只要你给出一个初步想法,LTX Studio 就能把你的想法可视化。

比如,现在我们的电影中需要一只因惊讶而放大的瞳孔。

一个躺在地上的女人。

一个被水淹了的未来主义房间中的一棵树。

昏暗走廊中的一个女人。

一个恶棍。

根据你输入的 prompt,LTX Studio 自动为创建出了脚本,分割出众多个镜头。

比如一个未来主义空间的戏剧场景,它创建出的镜头如下。

或者,我们需要纽约法庭的场景。

有了这些分镜头之后,就可以直接让它生成一部电影了!

自动生成的故事板,会组织起整个的叙事和场景规划,对角色、摄像机角度都能自定义控制。这种直观的体验,让前期制作和粗剪都更迅速。

而它生成的画面内容,比如演员、造型、场景,都可以随意剪辑更换。

比如,刚才生成影片中男人背后的绿车,我们想让它变成红色的,一秒给你改变。

可以让肌肉女变成肌肉男吗?完全没问题。

后悔了,还是想让男性角色变回女性?也没问题。

我们可以把这个场景中女性角色身边的男性换成一个中年黑人,或者一位衣冠楚楚的绅士。

一个效果炸裂的电影片头怎么设计?它来帮你。

公司联合创始人兼 CEO Zeev Farbman 表示,这款产品非常适合电影制作人、前期制作人员和广告公司等专业人士。

「LTX Studio 能够帮助快速构建概念故事,或者在不需要大量投资的情况下,帮助电影制作人评估拍摄场景的不同方案。」

背后的模型

LTX Studio 结合了多种 AI 技术,涵盖了创作过程中的各个环节。

其中,公司独创的文生视频模型——LongAnimateDiff,能够创作出帧数在16至64之间的视频。

此外,团队还发布了另一款专门用于创作32帧视频的模型。与 LongAnimateDiff 相比,它在视频质量上通常有更出色的表现。

不过,并不是所有的功能都依赖AI技术。

对于背景音乐,公司选择了第三方的音乐资产供应商,因为他们认为目前的AI技术还无法创作出符合要求的背景音乐质量。

一大波真实制作来了!

官方在推特上已经放出了一大波网友制作的视频,并且还分享了背后工作流的样子。

在赛博朋克的未来城市中,一位赏金猎人的新手之旅意外地将他卷入了一场残酷的城市帮派战争。

这一切始于他在一次意外中救下了一位黑帮老大的儿子,从而引发了一系列连锁反应。

如果他想在法律的边缘生存下去,就必须迅速适应这个充满危险和诡计的世界。

A rookie cyberpunk bounty hunter finds himself at the center of a city gang war after saving a mob bosses son from a rival attack. Gotta learn the rules fast if he wants to survive life on this side of the law. A crime thriller packed with hits,  jealousy, and power.

Marcus,一位身经百战的角斗士,正站在竞技场地下的昏暗房间中,进行最后的检查。

画面中的短剑是他在无数战斗中的忠实伴侣,每一次的磨砺都是对生死的考验。

当 Marcus 踏入竞技场,那刺眼的阳光和滚烫的空气仿佛预示着即将到来的战斗。

Marcus is a gladiator and in the dimly lit room beneath the arena, he prepares for battle as he checks his gladius for the last time. He steps out into the light, seeing the vast crowd in the scorching sun, he sees his opponent and softly smiles. This day belongs to him.

在这个因核灾难而变得荒凉的世界里,只有女性存活下来。

她们佩戴的防毒面具,不仅是在这充满毒素的空气中求生的必需品,更成为了她们反抗绝望、宣示力量的象征。

在这片满目疮痍的废墟之中,她们为争夺资源、权力以及自由,展开了殊死的斗争。

In a world scorched by nuclear disaster, where only women survive, they wear gas masks, not just for air, but as a statement. Amidst the ruins, they fight for resources, power, and freedom. In a Mad Max inspired dystopia, witness their stylish resilience.

在一个奇妙的冒险中,一位8岁的勇敢女孩穿越时空回到了恐龙时代,却意外发现了一个充满神秘的高级文明。

面对时间的紧迫,她不仅要想方设法修复她的时间机器,还要揭开这个古老文明的秘密,并把这些珍贵的知识带回现代。

An 8 year old girl travels back in time to see the dinosaurs and discovers an unknown advanced civilization.  She must fix her time machine and bring back the secret on the civilization to the present before it’s too late.

国外网友热评十大AI电影

这些天,「AI 颠覆好莱坞」的呼声,是越来越猛了。

随着 Sora 掀起 AI 视频的热潮,网友们也纷纷使用各种 AI 视频工具,做出了自己的电影级大片。

国外博主 Min Choi 最近就评选出,全网十个效果最好的 DIY 电影预告片。

1 怀旧宇航员

这个 AI 短片,出自一位叫 Shang Chi 的网友之手。

入选了2024年 MIT AI 电影制作大赛黑客马拉松的最佳影片。

Shang Chi 感叹道:AI 是讲故事的终极武器,如果没有伟大的 AI 社区灵感,自己不可能做出这个片子。

网友们看完后非常感动,纷纷表示:「感谢你创造了这个美丽的故事。」

2 真人版高达预告

「Dave Clark」制作的这个高达真人概念预告片,效果好到令人震惊。

其中用到了 Runway 的运动笔刷功能。

3 足球比赛

由「The Classified Football Results」制作的这部片子,是由传奇人物 James Alexander Gordon 的声音朗读。

画面和视频由 Midjourney 和 Runway 生成。

4 最终幻想 VII 重生

这是日本网友「吉川明静」制作的《最终幻想》预告片。

5 龙与武士

「Shikoba」制作的这个视频,是由 Midjourney、PixVerse 和 Music Soundbay 共同完成的。

6 午夜奥德赛

「Ethereal Gwirl」制作的这部大片,已经在 YouTube 上正式播出了!

本视频由 Midjourney、Pika、Runway、Magnific AI、Stable Diffusion 和 FulljourneyAI 共同完成。

精美的画质,扣人心弦的情节,被网友们评为「史诗级」作品。

7  Levi’s风广告大片

「Paul Montreal」经过全新的构想,对90年代的经典Levi’s广告「Creek」进行了再创作。

使用的工具是 Midjourney、Runway、Artlist 和 Magnific AI。

在这个过程中应用到了许多电影摄影技术,和视觉叙事艺术。

8 Absence

这个名为「Absence」的大片,讲述的是一场穿越时空的因果之旅。

作者「Dustin Hollywood」使用的工具是 Midjourney、Runway、Topaz Labs 和 Magnific AI。

9 产妇:AI 恐怖电影预告片

作者「PZF」表示,自己想创作一些与日常工作完全不同的东西,其次也想提高自己的编辑技能。

因此他虚构了一部恐怖电影「产妇」(Maternity),做出了60秒的预告片。

网友们表示,里面的小孩盯着你眼睛的时候,简直毛骨悚然……

而作者表示,开始自己并没有打算把视频做得这么暗黑,但他发现了一种十分有效的风格,找到了很合适的配乐,然后就做成了这个样子。

10 犬之日

作者「Next on Now」表示,每个人都会偶尔需要属于自己的「犬之日」。

使用的工具是Runway、Midjourney 和 ElevenLabs。

自己上手 DIY 电影大片

看到网友们的这些大片,你是不是也手痒痒了?

Runway、Pika 之类的工具,大家一定已经玩得很溜了。这里重点介绍下 LTX Studio 的使用方法。

正如之前的演示,它使用起来非常简单,很好上手。

我们只需先输入一段自己的想法,然后 LTX Studio 就会根据这段 prompt 创建一个脚本和故事板,以及人物角色。

其中,故事板会展现分割成众多镜头的不同场景。

接着,我们可以通过输入指令来变换场景,更改风格(如动画或影视风格)、调整天气设定和更换地点。

一般而言,每个镜头的长度仅有几秒。

借助 LTX Studio 提供的镜头编辑器,我们可以重命名镜头并调整包括视频特效、动作幅度、摄像机的角度/位移、持续时间和角色对白等设置。

另外,我们还能通过一个独立的角色页签,为整个构想增加、删除或更改角色。或者, 直接上传一张面部清晰可见的图片,来创造角色。

这个过程中,故事角色的一致性是不需要操心的。

当用户完成故事线的微调和镜头编辑后,就可以预览电影了。还能导出文件,分享给其他人。

Waitlist 现在就可以申请了,试用是免费的!

3月27日发布正式版后,估计就要收费了。

申请地址:https://ltx.studio/

Sora 依然无人可挡

而在 AI 视频领域,如果横向比较的话,现在可以确定的是,Sora 依旧无人可挡。

最近,国外的一位小哥 Mickmumpitz,就对比了 Sora 和 Runway Gen-2、AnimateDiff、Pika,以及LeonardoAI 的生成效果。

一句话总结就是,Sora 鹤立鸡群。

接下来是固定考题:根据这幅静图创作视频。

以下是四个 AI 视频工具的作品。

同样的prompt画出的视频,Sora和Runway是这样的。

Sora 和 AnimateDiff 是这样的。

Sora 和 Pika 是这样的。

Sora 和 LeonardoAI 是这样的。

以下是生成小狗的效果图对比。

以下是公路汽车的效果对比。

可以看到,Sora 比起其他 AI 视频工具,性能强大得不是一档。

简直难以想象,Sora 正式上线以后,电影业会被颠覆成什么样。

图 | unsplash

本文来自微信公众号“新智元”(ID:AI_era),原文标题:“AI版西游记震撼百万网友,AI电影平台炸裂发布颠覆好莱坞,手把手打造爆款视频”,作者:新智元,36氪出海经授权发布。

加入36氪出海学习交流群

目前,36氪出海学习交流群已经吸引超过13000位来自国内外初创企业、行业巨头、投资机构等出海人加入。在出海社群里,我们面向群成员挑选整理每日全球跨境资讯,帮助出海人把握最新动态;定期组织出海交流活动,链接出海生态圈,寻找潜在合作伙伴!欢迎添加36氪出海小助手微信(ID:wow36krchuhai-xzs2)申请入群,一同出海!

分享

推荐阅读


深度解析

  • 指南|十年跨境大卖自述:在TikTok开启“二次创业”

    新跨境电商平台的崛起,不是偶然而是必然。

    电商零售

    指南|十年跨境大卖自述:在TikTok开启“二次创业”

    刚刚

  • 大幕拉开,中国车企“逐鹿中东”

    细述中国新能源车在中东的规划与布局,对中国新能源汽车出海中东的现状、挑战及应对措施展开分析,以期同所有扬帆中东的企业一道,共同探索和开创全球新能源汽车产业的未来。

36氪出海

36氪出海(letschuhai.com)是关注出海的行业媒体,为企业跨境提供海外咨询及专业服务,同时运营着超万人的出海生态社群。

寻求报道、内容合作、商务合作等,请发送邮件到hello@global.36kr.com,或者扫码添加出海小助手微信沟通详情。

合作伙伴

Alibaba CloudAlipay PlusLazadaTiktokNinjavan飞书深诺新加坡国立大学EMBA

36Kr Global 旗下品牌

关注微信公众号

扫一扫即刻关注
36氪出海微信公众号

关注微信公众号

沟通商务合作
添加「出海小助手」微信

© 北京极境之羽信息科技有限公司京ICP备20010238号-2Chuhai's copyright license logo 京公网安备 11010502044070号