五年前的周杰伦台北演唱会上,在11000名观众的瞩目中,小巨蛋舞台上“红尘客栈”的雕花门庭前,一袭白色旗袍的邓丽君款款走来,两位乐坛的标志性人物跨越时空,同台对唱三曲。
运用虚拟影像重建技术和paper’s Ghost投影,一个难辨真假的虚拟邓丽君形象得以登上舞台。这个栩栩如生的邓丽君虚拟形象带来的震撼是录像录音无法比拟的,亲眼目睹这个3D人物,好似逝者复生,经典复现。
在幕后制作中,多次获得奥斯卡的Digital Domain3.0特效团队经历了复杂的工序,绘制了7000幅图像,制作时间长达两个多月。为了复现这一经典,演唱会方面可谓是投下巨资。
每个人心中或许都会有一些想要亲眼一见的经典人物或者场景,不过即便是拥有AR设备,对于普通人而言3D重建似乎也太难了些。最近,一款基于AI的名为Volume的增强现实工具或许很快就能让我们做到这一点。
开发商Or Fleisher和Shirin Anlen发布了一个简短的演示,展示了将经典电影《低俗小说》中的场景转换为AR的过程。应用获取电影中的2D图像,并且将他们抓取出来,放置于现实场景中。
目前该应用还处于测试阶段,当前的效果较为粗糙,不过这个概念是非常棒的。从2D视频材料中获取人物的3D形象,并将他们放置于用户身处的现实环境,这对于作品的死忠粉来说实在是太令人激动了。
而Fleisher和Shirin Anlen的灵感来源于一个名为“ Tzina”的交互式虚拟现实纪录片。
Tzina Dizengoff是一个即将被拆除的城市广场,曾经常常来此久坐的人感受到了一种寂寞和边缘化。导演想要捕捉和保存这个场景和人们的感觉,于是就有了Tzina。Tzina包含了超过45分钟的录像,10个被采访的角色,带上VR头盔便可以走入这个虚拟广场,倾听人们的诉说。
受该纪录片的灵感,Fleisher想到是否可以把人类已有的一两百年的影像资料3D数字化,Volume被创造了出来。
Volume利用了深度学习的卷积神经网络,简单的来说就是通过成千上万次的训练,让机器可以通过图像分析出图片的深度信息。
关于如何利用单张2D图像生成3D模型的办法,在十几年前就已经开始研究。早期提出的都是数学办法,比如通过分析点线面的结构,来确定每一个像素点应该处在哪一个深度平面。
效果就很勉强了。
深度学习则大幅度推进了这一研究领域。通过大数据的支撑,机器可以估测一个物体完整的结构。
不过仅从一面观看恢复物体的原貌,难免会有错误。而基于电影图像不同,角色和场景会随着拍摄角度而变换呈现出的部分,这样基于多面的3D复原在准确性上就会强上不少。
不过目前Volume还没能实现很好的效果,他们的目标是创建一个每个人都能使用的Web应用程序,输入2D图像,输出3D化的结果。
最终可以让用户利用手中的Apple设备,使用ARKit框架,重现电影中的经典场景。给Volume一点学习的时间,等它吃下足够大的数据量之后,相信它会变得非常强。