在当前的AI视频领域,竞争压力可以说是与日俱增。尽管OpenAI的旗下的Sora模型万众瞩目,但其迟迟未能开放使用,许多竞争对手纷纷抓住机会推出自己的创新产品。近日,旧金山初创公司LumaAI就在这种市场环境下打出一手王牌,推出了名为DreamMachine的新一代AI视频生成模型,人人免费可用,引发业界广泛关注。

什么是DreamMachine

这是一款生成式人工智能产品,主要用于将文本或图片转化为动态视频。得益于LumaAI公司在开源时使用了Transformer模型样本,DreamMachine不仅能够快速理解文本指令,准确识别图片,并且能够生成物理上准确、一致且充满事件的高帧率视频。

免费高效的AI视频生成工具

通过与Runway和Pika的生成效果进行对比(两者都是当下热门的AI视频生成平台)我们可以更直观地感受到DreamMachine 的优点。在处理包含人物的场景时,Runway和Pika生成的动态微小有限,人物动作也很迟缓;而DreamMachine 的动态则非常明显,处理人物行走姿态时非常流畅自然,甚至还能自动补上一些新的画面。

下面这个黑白色调的仰拍镜头,人物动作自然丝滑、一气呵成,裙摆飞起时的幅度虽然有些夸张,但还在可接受范围内。最重要的是动作符合自然规律,没有出现「手臂融化」、「膝盖外折」

虽然目前的免费试用版本生成视频时长只有5秒,远不及Sora等模型的60s的长度,但是视频生成速度相当惊人。据官方所称DreamMachine模型能在120秒内创造120帧的视频,而据我们的使用体验来看,一个120帧的视频生成时间在3分钟左右,可以说是相当高效了。

技术优化与挑战

虽然DreamMachine的优点众多,但初创公司LumaAI表示也面临着一些挑战,例如视角转换时的物体变形出错和动物运动的不自然。又或是关键词识别不到位所产生的鬼影....不过LumaAI也是相当坦诚,直接把很多有缺陷的demo放在了官网上,同时也表示他们正在积极优化模型,以便后续提供更加完善的用户体验。

随着AI技术的不断进步,视频生成工具如DreamMachine预示着创意表达和内容生产将变得更加多元和动态,这也为视频创作者提供了一个前所未有的新平台,大大降低了视频制作的技术门槛和成本。不过AI的兴起对于电脑硬件的要求也是与日剧增,拥有一张性能强劲的图形卡自然是再好不过了,所以,影驰在这里向大家推荐——影驰RTX 4070Ti SUPER金属大师!

无光设计,全金属外壳!16GB超大显存轻松满足各大AI应用的使用需求,革命性的TensorRT加速更是能够提升你的战斗力,让你秒变效率战神!

(8787190)

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com