Pika 1.0首测秒杀Gen-2!网友抢先体验电影级炸裂效果,背后技术细节首公开

时间:     人气:

声明:本文来自于微信公众号 新智元(ID:AI_era),作者:桃子,授权站长之家转载发布。

Pika1.0正式上线后,拿到内测资格的网友们已经玩疯了!

有人用它生成了一个姜黄色头发女孩和她的姜黄色猫的短片。

以往,因为一致性的难题,用AI视频很难做出优秀的动漫作品。但是Pika1.0,实在是太给人惊喜了!

图片

更令人震惊的是,作者表示,这是100%用文本到视频生成的。

图片

还记得半个月前,这家有斯坦福AI Lab博士创办的初创公司Pika,发布的第一个产品瞬间成为顶流。

不仅能够生成3D动画、动漫、卡通和电影,甚至可以实现风格转换、幕布扩展等重磅能力。

图片

如今,许多网友到手体验后,纷纷觉得太哇塞了。

与此同时,Pika官方账号公布了自家的最新研究。这是Pika1.0发布产品以来,这家公司首次对外披露技术细节。

图片

最新研究中,提出了一种DreamPropeller方法,能够将文本到3D的生成速度提升4.7倍。

图片

网友实测,皆为经典

接下来,先来一起看看,广大网友们的创意。

比起Runway的Gen-2,Pika1.0在让人物动起来时的一致性非常稳定。

电影级效果,堪称动漫界的「宫崎骏」

Pika1.0非常擅长动漫风格的动物,看看这些不同场景中的老鹰就知道了。

图片

看得出,宫崎骏画风非常浓郁。

还有这种漫威风格的小人模型,让他们动起来真的像是「复仇者联盟」。‍

图片

还有形单影只的白天鹅,在波光粼粼的湖中嬉戏,再游到岸边,好像在找回家的路。

图片

就连美版「机器人总动员」动画的科幻风,呈现的也是淋漓尽致。

图片

一朵含苞待放的花朵。‍

图片

如下这个例子是Pika自己做的丛林中兔子士兵的电影级效果,并给出了提示(拿到内测资格的网友可试)

1. Cinematic, extreme close-up of a bunny soldier in a jungle,3D rendering

2. Cinematic, back-view long shot of a bunny soldier exploring a giant carrot in the jungle,3D rendering‍

图片

疯狂动物城、狮子王、熊大熊二混版动画。

图片

网友做了一个电影预告片,就连名字都想好了「金刚哥斯拉:新帝国」。

图片

图片

爱因斯坦和他的实验。

图片

真人变身,泰坦尼克号被恶搞

还有一位自称「AI级导演」做出的真人演示效果,简直绝绝子。

图片

戴上帽子,穿上羽绒服,服饰的搭配与人的身体契合度,毫无违和感。

图片

还可以把周边的物体变成松柏,还能把自己变成北极熊,简直可爱到爆。

图片

还有「泰坦尼克号」重制版,女主Rose直接变成熊猫,和男主Jack在一起牵手的画风,你细品...

图片

‍‍再来看个真人变身的效果,还有二次元小姐姐。

AI魔法棒,一键替换

用AI「修改区域」,能够把所有背景,甚至包括主体的衣服能够换成一致的圣诞的风格。

还有网友尝试了这一替换功能,把海边的啤酒,瞬间变成了可乐。

图片

具体实现效果,Chase Lean给出了一个教程,只需要3步过程。

首先需要生成一个视频,先让Midjourney生成一张海边Corona啤酒的图片,然后将其做成视频。

图片

图片

第二步:单击「编辑」,然后单击「修改区域」。

图片

第三步,告诉Pika你想用什么来代替它,比如可口可乐。

图片

画布扩展,超凡脑洞

图像画布扩展能力,其实我们也见到了许多像MidjourneyAI图像生成工具已经实现了。

而Pika1.0不仅能开出脑洞,还能让画面动起来。

就看这雅典帕特农神庙,外画出的景色更加凸显这座建筑的壮观。

图片

还有橄榄树、游览古建筑都能暗藏各种惊喜。

图片

你可以录一段视频,Pika能够直接想象出背景。

图片

下面这个网友使用文本提示创建了第一个视频,然后扩展画布几次,获得了第二个视频。

图片

初始提示是:A beautiful princess, standing on the castle wall,3d animation

图片

还有网友做出了,演唱会级的音乐视频,不过不得不承认,还有些不足的地方。

图片

Pika1.0背后技术

看到这么多惊艳的效果,或许许多人更想了解一些关于Pika1.0生成的技术细节。

这不,官方刚刚公布了一篇论文,是由斯坦福大学和Pika Labs联手共创。

以往,通过分数蒸馏,比如DreamFusion、ProlificDreamer等模型,进行文本到3D的生成质量虽高,但运行时间可能长达10个小时。

最新论文中,研究人员提出了一种基于分数蒸馏的加速方法——DreamPropeller,能够将现有方法的速度提高4.7倍。

图片

论文地址:https://arxiv.org/pdf/2311.17082.pdf

DreamPropeller整体架构如下图所示。

在每次迭代(k次)的开始,初始化一个由3D形状(用绿色表示)组成的窗口,然后,这些形状被分发到p个GPU上进行并行计算,在GPU上并行计算形状的SDS/VSD梯度。

然后根据公式 (9) 中的规则收集这些梯度,并使用这些梯度对形状进行更新。

图片

窗口向前滑动,直到该时间步的误差不小于阈值e,阈值e根据窗口的平均/中值误差进行自适应更新。

另外,在VSD的情况下,研究人员会在所有GPU上保留LoRA扩散的独立副本,这些副本会独立更新,无需额外通信。

图片

如下是应用DreamPropeller的代表性示例。

最新框架以并行计算换取速度,在保持生成质量的前提下,应用于DreamGaussian和ProlificDreamer时,速度提高了4倍以上。

在DreamPropeller完成时,基线版本的外观和几何效果明显较差。

图片

如下是与其他模型的可视化比较。使用DreamPropeller的方法能以更短的运行时间实现同样高质量的生成。

图片

对DreamFusion图库中的30个提示进行量化评估。运行时间以秒为单位。最新研究的方法达到了具有竞争力的质量,同时速度提高了4倍以上。

图片

下一个视频生成顶流

对于Pika1.0的诞生,让全网热血沸腾,而它或许成为下一个视频生成的顶流。

有人统计了Discord上最大的人工智能产品,以及它们在平台范围内的规模。

图片

如下是按邀请页面流量排序的十大人工智能应用程序,Midjourney位列第一,Pika排在第二。

图片

在排名前十的应用程序中,有4个是图片生成应用程序,3个是语音/歌曲生成应用程序,2个是视频生成应用程序。

按流量计算,图片占了前10名流量的74%,其次是视频8%,语音/音乐6%。

图片