光场成像比较模糊(3分钟了解光场成像)
光场成像比较模糊(3分钟了解光场成像)
2024-11-23 07:11:05  作者:朩夲汜  网址:https://m.xinb2b.cn/sport/ngl397014.html

光是人类对物理世界进行观测与感知最重要的载体之一,人类通过人眼接收场景中物体发出的光线(主动或被动发光)进行感知。成像感知系统是人眼的延伸,捕获、记录、分析场景的光信息。然而,现有的成像感知系统大多仅支持二维成像,迫使我们只能通过二维窗口去观察三维世界,从而丢失了三维世界的丰富信息。

何为光场?

光场是三维世界中光线集合的完备表示,采集并显示光场就能在视觉上重现真实世界。

而光场技术就是把人眼看到的光线空间采集下来,再将光线进行重组,可以让虚拟现实模拟出人眼基于距离对物体聚焦、移动的效果,捕捉光线信息,重现三维世界。例如医生借助单摄像头内窥镜进行腹腔手术时,因无法判断肿瘤的深度位置,从而需要从多个角度多次观察才能缓慢地下刀切割。

从光场成像的角度可以解释为:因为缺乏双目视差,只能依靠移动视差来产生立体视觉。再例如远程机械操作人员通过观看监视器平面图像进行机械遥控操作时,操作的准确性和效率都远远低于现场操作。

全光函数(Plenoptic Function)包含7个维度,是表示光场的数学模型。由于7个维度的信息会急剧增加采集、处理、传输的负担,因此实际应用中更多的是采用4D光场模型。

光场成像系统主要是通过光学装置采集捕捉到空间分布的四维光场,再根据不同的应用需求来计算出相应的图像

计算光场成像技术基于四维光场,旨在建立光在空域、视角、光谱和时域等多个维度的关系,实现耦合感知、解耦重建与智能处理,用于面向大范围动态场景的多维多尺度成像。

受益于空间-视角维度假设以及软硬件技术的进步,如今光场成像可由便携化的商用设备实现,甚至可集成到手机中;亦可应用到显微镜中,实现快速扫描下生物样本的三维成像;光场相机的广泛使用使一些新的应用成为可能,包括最初基于真实感图像的光场渲染以及现在利用光场编码信息的计算机视觉应用,例如3D重建、分割、显著性检测、物体检测与识别、跟踪和视频增稳等。

光场成像技术正逐渐应用于生命科学、工业探测、国家安全、无人系统和虚拟现实/增强现实等领域,具有重要的学术研究价值和产业应用前景。


为什么要研究光场?

从光场采集的角度来看:

以自动驾驶为例,首先需要通过多种传感器去“感知”外界信息,然后通过类脑运算进行“决策”,最后将决策以机械结构为载体进行“执行”。现阶段人工智能的发展更倾向于“类脑”的研究,即如何使计算机具有人脑类似的决策能力。然而却忽略了“眼睛”作为一种信息感知入口的重要性。设想一个人非常“聪明”但是视力有障碍,那么他将无法自如的驾驶汽车。而自动驾驶正面临着类似的问题。如果摄像机能采集到7个维度所有的信息,那么就能保证视觉输入信息的完备性,而“聪明”的大脑才有可能发挥到极致水平。研究光场采集将有助于机器看到更多维度的视觉信息。

从光场的显示角度来看:

以LCD/OLED显示屏为例,显示媒介只能呈现光场中四个维度的信息,而丢失了其他三个维度的信息。在海陆空军事沙盘、远程手术等高度依赖3D视觉的场景中,传统的2D显示媒介完全不能达到期望的效果。当光场显示的角度分辨率和视点图像分辨率足够高时,可以等效为动态数字彩色全息。研究光场显示将有助于人类看到更多维度的视觉信息。

光场成像的获取途径

目前常用的光场成像方式主要有两种:一是利用相机阵列采集来自不同方向(分布)的光线;二是将不同方向的光线信息与不同位置的光线信息混合编码至平面成像的芯片中。

在实际应用中,尤其是利用相机整列采集光场数据时,光场的视点采样往往是稀疏的、欠采样的。因此,如何利用稀疏化的采样数据进行光场重建,是光场成像及其应用的基础难题。

此外,光场的高维度极大地增加了对其进行处理和分析的复杂度,在算法设计上施加了更具挑战性的条件。例如,传统2D图像中的分割旨在将单个图像内的前景和背景分开,而在光场中执行分割时,不仅要对多个视点的图像进行处理,还需要保持光场结构的稳定性。

如何用光场这一高维信息采集手段,取代传统二维成像这一视觉感知方法,并结合智能信息处理技术实现智能化感知功能,是实现光场成像技术产业应用面临的巨大挑战。

光场的采集方法

光场显示能在视觉上完全重现真实世界,但在显示光场以前首先要采集光场,否则将会是“巧妇难为无米之炊”。现有的光场采集方法可分为三个类型:多传感器采集时序采集多路复用成像

1多传感器采集

多传感器采集方法,需要用到分布在平面或球面上的图像传感器阵列,以同时捕获来自不同视点的光场样本。光场的空间尺寸由传感器来确定,而角度尺寸则由摄像机的数量及分布来确定。因此,多传感器采集方法通过采集图像的组合来记录4D光场。图1为用于多传感器采集的设备。


图1 (a)8×12个摄像机组成的摄像机阵列系统;(b)8×8摄像机阵列实现了实时光场渲染;(c)90 mm×90 mm×60 mm 的光场相机阵列;(d) 超薄单片4×4相机阵列,可集成到手机中。

多传感器采集方法能够瞬时捕获光场,因此能够记录光场时间序列。由于采用摄像机阵列,因此早期的多传感器系统的体积庞大且昂贵。然而,我们可以通过近期出现的更便宜和更便携的设计发现这种多传感器采集方法的潜力。

2时序采集

与多传感器方法相比,时序采集方法使用单图像传感器,并通过多次曝光来捕获光场的多个样本。典型的方法是使用安装在机械台架上的传感器来测量不同位置的光场,图2为用于时序采集的设备。


图2 (a)斯坦福大学于1996年搭建的光场龙门架,可以实现静态光场的采集,通过物体、相机和光照的全自由度控制能实现高质量静态光场数据的采集;(b)装有捕获四维光场的单个摄像机的电动线性平台;(c)可编程光圈,可通过多次曝光捕获光场

通过移动图像传感器在不同的视点采集图像,这不仅需要高精度的控制,而且耗时。

幸运的是,人们提出了一些快速时序采集方法。如使用平面镜和高动态范围摄像机来记录光场,通过移动平面镜产生不同的视点供相机采集;由球镜和单摄像机组成“轴向光场”,通过沿着镜子的旋转轴移动相机来采集;作为反射表面的替代,一个可编程光圈可通过多次曝光捕获光场,如图2(c)所示。孔径图案被不透明的纸张或液晶阵列编码,允许相机从特定角度捕获光线。通过使孔径图案与相机曝光同步,就可以使用全传感器分辨率采样光场。

与多传感器系统相比,时序采集系统仅需要一个传感器,从而降低了整个系统的成本。此外,时序采集系统能够采集密集角度分辨率的光场,多传感器系统由于成本高而无法做到这一点。但是时序系统中的采集过程耗费时间,因此,它们仅适用于静态场景。

3多路复用成像

这种方法旨在通过将角域复用到空间(或频率)域中来将4D光场编码到2D传感器平面。它允许使用单个图像传感器进行动态光场的捕获,但需在空间和角度分辨率之间进行权衡(即若想在空间域中密集采样,需在角域中稀疏采样,反之则反)。

多路复用成像可进一步分为空间复用和频率复用。

a.空间复用

大多数空间复用方法使用安装在图像传感器上的微透镜阵列或小透镜阵列来实现,这是光场成像的最早方法之一。一些光场采集方法也使用滤波器和镜面阵列来实现。图3是用于多路成像的装置。除测量宏观物体或场景之外,还可使用空间多路复用来捕捉微尺度的样本。


图3 (a)微透镜光场相机及其原理;(b)斯坦福大学开发的基于微透镜阵列原理的光场显微镜;(c)多反射球光场采集装置;(d)基于掩模的光场复用采集方法

空间复用是采集光场最广泛使用的方法,可基于单次曝光采集的光场形成单图像。然而,空间多路复用方法存在其固有的问题,即在图像传感器处的角度和空间分辨率之间的折中。为解决这个问题,则需要采用牺牲角分辨率的方式来获得更高的空间分辨率,利用4×5阵列的镜头和切成正方形的棱镜,将它们放置在传统相机前面,以采集低角度分辨率的光场。然后,应用插值技术来合成密集角分辨率光场。

b. 频率复用

与空间复用方法不同,频率复用方法将光场的不同2D切片编码到不同的频带中。通常,频率复用方法使用调制掩码来实现傅里叶域中的某种属性。

尽管频率和空间复用是两种不同的复用成像方法,但它们在复用模式方面有密切关系。研究表明,可通过空间插值来重建在傅里叶空间使用的模板,且还可以使用傅里叶空间算法重建空间模板。此外,频率复用的傅里叶重建相当于使用Sinc滤波器核进行空间重构,且可通过空间滤波器(例如cubic插值)或边缘保留滤波器显著消除产生的环状伪像。

光场技术的应用展望

从全世界光场技术的发展趋势来看,美国硅谷的科技巨头如谷歌、Facebook、Magic Leap等争相布局和储备光场技术,有些甚至已经出现了Demo应用。目前光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成像、3D显示、安防监控等场合有着广泛的应用。

对光场技术的研究主要分为两大方面,包括光场采集光场显示

光场采集技术相对更成熟,目前在某些To B领域已经基本达到可以落地使用的程度。光场采集主要是提供3D数字内容,对于光场采集系统的硬件成本、体积、功耗有更大的可接受度。相关应用如吃到第一只螃蟹的Lytro光场相机,在工业领域的应用一直稳步上升。

相比之下,光场显示是偏向To C的产品,个体用户在成本、体积、功耗、舒适度等多方面都极度挑剔。光场显示除了能产生传统的2D显示器的所有信息外,还能提供双目视差、移动视差、聚焦模糊三方面的生理视觉信息。在光场显示技术发展过程中,出现了多种光场显示技术,最常见的有:多层液晶张量显示、数字显示、全息显示、集成成像光场显示、多视投影阵列光场显示、体三维显示。目前,光场显示正在通往商业化实用的道路上,最大的挑战在于光场显示设备的小型化和低功耗,这需要材料学、光学、半导体等多个基础学科的共同努力。

本文根据方璐教授、戴琼海院士撰写的《计算光场成像》以及曹煊博士发表的《Mars说光场》部分内容改编整理而成。

封面来源:bing.com

END

  • 火车安检可以带免洗消毒液吗(免水洗消毒液不能带)
  • 2024-11-23免水洗消毒液不能带青岛日报社/观海新闻9月15日讯近日,有网友在观海客户端反映:青岛北站的7号安检台,50ml的滴露免水洗消毒液竟然不可以携带请问这样小瓶装的不可以携带,在路上如何消毒?观海新闻记者今日致电青岛北站安检。
  • 水培植物多久换一次水(水培植物多久换一次水呢)
  • 2024-11-23水培植物多久换一次水呢水培植物在不同时期,换水的频率也会有所不同水培初期会因株体上有切口,为了避免被细菌侵染要每天换水中期换水可以不用太频繁,2-3天一次就可以植株休眠期间吸收水分的能力会降低,可以一周换一次水不过,有些特。
  • wps表格常用函数使用教程(CELL函数的三种常用方法)
  • 2024-11-23CELL函数的三种常用方法我们在利用WPS表格与Excel表格进行日常办公时,经常需要运用到各种各样的函数,很多函数我们都不甚了解,比如CELL函数,CELL函数有很多种用法,表示返回某一引用区域的左上角单元格的格式、位置或内。
  • 烤平鱼怎么做才好吃(香烤平鱼家常做法教程)
  • 2024-11-23香烤平鱼家常做法教程原料:平鱼3条,葱段15克,姜片准备食材平鱼去内脏清洗干净,把鱼身切花刀,要两面切大蒜切末平鱼放入盆中,加入葱姜蒜、料酒、食盐、蚝油和生抽抹匀后腌制4-6小时左右鱼入味后,放入铺上锡纸的烤盘中,刷上一。
  • 18种左转掉头图解(新老司机看过来)
  • 2024-11-23新老司机看过来如今车是越来越多,路是越来越挤,交通标志线也是五花八门,难免会犯迷糊看不懂没关系,今天看完这篇文章,从此从容面对一切竟在掌握之中一:掉头如图,当左转灯变绿就可以左转了但是必须要越过斑马线后才可以进行掉。
  • erp计算公式表(全球第一免费开源ERP)
  • 2024-11-23全球第一免费开源ERP本文节选自Odoo亚太金牌服务机构【开源智造】所编写的《ERP真的免费不花钱——Odoo应用指南》如需获取完整的知识内容,请至开源智造官网免费获取感谢网友一键三连:点赞、转发、收藏,您的支持是我们最大。
  • 河北紧急寻人密接者轨迹(河北11地紧急寻人)
  • 2024-11-23河北11地紧急寻人河北11地紧急寻人唐山迁安迁安市防控办关于寻找与新冠肺炎病例密接李某的密切接触人员的公告广大居民:2021年12月6日00:47分,我市接到协查函,函称石家庄市鹿泉区新冠肺炎确诊病例刘某某列车同车厢人。
  • 糗事百科搞笑段子手(糗事买东西搞笑冷笑话)
  • 2024-11-23糗事买东西搞笑冷笑话1.糗事买东西搞笑冷笑话,你去买东西的时候,别人都会告诉你,你要是真心要,就给你便宜点你看,真心就是这么不值钱!!!看到一个涉黄场所墙上写着:“希望你在这里的每一次消费,只是一时贪欢,不影响你的家庭美。
  • 白凉粉可以做什么好吃又好玩(白凉粉你这么做)
  • 2024-11-23白凉粉你这么做300ml凉白开里放入白凉粉搅拌,至无粒状2.5l水锅内烧开,倒入搅拌好的凉粉开锅后一直搅拌,一分钟后导入模具或容器里冷却后切块,模具里倒出吃的时候加糖,冰一下吃更美味,。
  • 紫米mf885随身路由器评测(双十二剁手之篇一)
  • 2024-11-23双十二剁手之篇一一开始的时候并没有想过要买这货,因为手机的流量还够,在家里有wifi,不过单位最近空余的时间还算可以,有没有外网,所以一个可以让大家愉快的上网的设备就显得迫在眉睫了,于是乎就有这个东西一开始的时候也不。
  • 路人当场去世的表情包(你微信里的表情包女孩)
  • 2024-11-23你微信里的表情包女孩hi,我是头趣知识,点击右上角关注,每天为你分享〔自媒体运营〕和日常干货你想看的这里都有你或许不知Kailia的名字但这个女孩朝你捣鬼、卖萌的表情包,也许你见过也逗乐过你那么,你现在微信表情包的女孩,。
  • 二驴脱口秀完整版 二驴宣布两年后退居二线
  • 2024-11-23二驴脱口秀完整版 二驴宣布两年后退居二线外界早就传言,仙家逆徒一哥脱口秀早就暗签二驴了,但是二人都没有吐口官宣,几天前的一场连麦,两个人算是敲定了这层关系11月9日晚上,二驴下播后,在徒弟桐桐直播间与一哥脱口秀连麦对话二驴感慨的说道:我不管。