在上一年OC 5大会上，Facebook和RED展现了一款根据Surround 360全景视频技能开发的6DoF VR相机Manifold，它选用RED摄像头传感器和图片处理技能，以及Facebook用于拍照全景图画的深度感知技能，可拍照任何场景中的人物、道具、布景等三维信息。现在这款相机现在还未正式推出，不过Facebook在新发布的一篇论文中将它的技能开源，接下来就一同了解一下其整个规划进程和原理。
Facebook与RED协作研制的6DoF全景拍照软、硬件处理计划
据了解，Facebook所开发的处理计划包括一个支撑线上无符号校准、高质量拼接、以及实时串流和烘托的核算机图画软件，可调配市面上大多数搭载16颗8K专业摄像头的全景相机。当然，这是一款通用计划，可兼容多种不同的摄像头阵列和装备。
左：全方位立体视频；右：6DoF视频
为什么Facebook要开发一款可拍照6DoF视频的全景相机呢？据悉，6DoF视频是营建传神的VR沉溺感的要害，与传统立体视频和全方位立体视频比较，6DoF视频的物理移动规则更精确、更天然，然而要打造一款支撑完全集成的6DoF 360°全景相机需求霸占许多技能难题，包括摄像头摆放、光学规划、传感器分辨率、体系校对、实时视频捕捉、深度重建和新视角的实时组成。
水平衡向摆放的摄像头只能供给平行双目视差（Facebook Surround 360就选用相似规划），观看其所拍出的视频时假如略微回头或歪斜会简单形成过错和紊乱的视觉作用。而完全的沉溺感需求捕捉到完好的360°球面视图（4π），一起还需求让每颗摄像头捕捉到的图画具有满意的堆叠，以确保能提取出必要的深度信息。一起，运用市面上有售的最低摄像头装备来拍照完好的球面视图将涉及到杂乱的规划问题。
完好的6DoF全景捕捉计划
Manifold
要规划一款全景相机，需求考虑多种要素，包括：摄像头的最佳摆放办法、摄像头视角堆叠、视场角、分辨率、视差、巩固度、散热、串流、校准、深度重建、实时烘托等。据悉，Facebook所规划的6DoF全景捕捉处理计划从开箱到拍照之间只需求30分钟设置时刻，不过缺陷是直径达1米，分量约为37kg，不太便利带着。
关于摄像头摆放的办法，Facebook发现将摄像头围绕着轴来摆放并不是出于算力的原因。假如将惯例镜头摆放规整，概念大将比较简单，易于核算、体系推理和算法规划。
经过优化，Facebook找到了一种需求硬件最少的摄像头摆放计划，将随机非线性摄像头摆放办法与f-theta广角鱼眼场镜结合，可加大视角堆叠规划，下降所需摄像头颗数，还能经过捕捉到的视频帧来核算出新视角。尽量削减所需摄像头数量的优点不仅是下降本钱，一起也能进步体系全体的可靠性。
此外，完好的相机规划还有必要考虑到作业流程和运用的实用性。由于Facebook规划的6DoF全景相机首要受众是电影摄影师，因而它需求合适现有的片场环境，也就是说需求巩固经用。还确保模态或共振频率不会影响视频录制的作用，而且为了全景相机设备能够承载16颗专业摄像头的分量，其内部的球形中心有必要经过同步加工技能来完结。
散热方面，16颗摄像头的紧凑规划，以及紧缩高分辨率视频的进程中将发生很多热量。考虑到全景相机的球形规划，部分摄像头可能会遭到阳光照耀，也会有部分在暗影中，因而均匀操控每个摄像头传感器的散热体系将会是一大应战。选用了Navier-Stokes气流软件，Facebook确保了全景相机能够在40摄氏度以内的环境中运转数小时，而不发生过热。
光学方面，前面也说到Facebook的全景相机规划选用180°f-theta鱼眼场镜，接下来需求处理的是让180°视场角内的图画坚持明晰。摄像头和传感器应该具有必定混叠，才能在终究的图画拼接进程康复一些超分辨率，缺陷是会发生必定色差，不过在深度处理之前的摄像头校对阶段，和后期处理阶段能得到处理。
摄像头阵列的分量和耐久度也是规划上需求考虑的，由于一共有16颗摄像头，将每颗摄像头分量操控在0.5kg以下则很重要。当然缩小摄像头中的机械元件也相同重要，因而选用定制的施耐德F4定焦摄像头，每个分量不到300g，焦距可达2米。
传感器方面，需求处理的问题是经过将信噪比最大化来进步动态规划，这关于电影场景和在高动态场景中剖析深度来讲都是要害。
别的Facebook以为，为了防止在VR中观看发生视觉不适感，全景相机刷新率需求到达至少60fps，在光线暗的情况下则可挑选30fps。
在拍照进程中，每一帧中动态含糊和曝光是由快门视点操控的。而由于这款全景相机搭载固定光圈摄像头，用户关于快门视点和刷新率的完全操控则十分重要。
这款全景相机选用的摄像头具有广角特性，因而将需求PPD超越30的高分辨率传感器，而RED Helium摄像头刚好满意这些需求，这也是为什么Facebook与RED协作开发了这款搭载16颗摄像头的6DoF全景相机。
据悉，RED Helium每颗摄像头分辨率为8192×4320，由于其焦距大约为7.5mm，其实践的分辨率和视场角应该别离为6320x4320和180°x120°。那么经核算，它的PPD可达35，是大多数VR头显所支撑分辨率的两倍以上。
此外，这些摄像头并不具有抗混叠滤波器，因而收集到的图画堆叠规划较大，而且16颗摄像头均同步，且得到相同曝光。Facebook还指出，为了更大的动态规划，将这些摄像头设置为大局快门形式。
得到了一个完好的6DoF全景相机后，你需求的是对相机的实时监控和数据串流计划。关于电影拍照来讲，拍照人员没办法像用传统相机那样在后面直接预览，仅有的办法是将摄像头的信号实时串流到额外的2D显示屏或许能够观看360°视频的设备。
因而，Facebook科研人员供给了为随机的4个摄像头供给4个全画幅4K SDI视频输出接口，一起还为一切16个摄像头供给复合的SDI输出图画，让片场的作业人员能监控相机的完好运转。紧缩的原始视频数据在高速SSD RAID磁盘阵列上约90Gb/s数据流，不过这将需求定制的高带宽硬件来确保刷新率安稳。
而后期的体系校准和深度重建，以及新视角组成部分，咱们稍后在下面进行详细解说。
深耕Facebook全景相机摄像头阵列
前面说到了Facebook规划的全景相机选用16颗摄像头，不过关于摄像头的详细摆放办法，并未详细介绍。据悉，Facebook在下降硬件杂乱度和优化摄像头阵列的进程中，也曾遇到一些困惑和难题。
Facebook科研人员表明：这款6DoF全景相机需求捕捉满意多的信息，才能在必定体积（适眼区）内重建新视角。而他们给出的处理计划可在适眼区内供给挨近均匀的稀少视角采样，用于摄像头阵列优化的第一阶段。
而优化的第二阶段，则是调整摄像头朝向，让场景中的每个点能被尽可能多的摄像头捕捉到。Facebook科研人员在摄像头外围参加一个球形外壳，并在上面标示均匀分配的点，用它们来代表场景中的点。
此外，整个摄像头阵列的规划需求兼顾到本钱最小化和捕捉面积最大化两点，而且摄像头之间的间隔还需求坚持一致。假如摄像头依照水平环状摆放，它们捕捉到的高清视角仅存在于二维的环状区域，在组成圆环上下两面的视角时，重建的画质会变差，由于并不是每个水平边际都摆放了摄像头。也就是说，所拍照印象的适眼区是平面的。
为了组成精确的3D视角，摄像头捕捉的视角有必要均匀散布在空间外表，因而Facebook挑选了球形的摄像头阵列规划。那么这些摄像头应该详细放在哪个方位上呢，Facebook科研人员经过Johnson多面体来核算，发现4、6、12和24面体可满意摄像头均匀分配的要求。在经过一番核算后，终究将16颗摄像头以四面体对称的结构摆放。
在确认摄像头摆放办法后，接下来就需求考虑最佳的摄像头朝向。Facebook科研人员在笔记本电脑进步行了一小时运算后，运转了数百次得出了一个处理计划，不过据悉作用并没有特别大进步。
接下来还有一些自在变量需求处理，比方全景相机的规划，这将受限于摄像头模组的尺度，运用CAD参数建模，科研人员得以手动确认这一数字。
此外，还需求确认摄像头的焦距和视场角，与摄像头数量之间的联系。据悉，焦距会决议摄像头传感器的像圈，从而决议以PPD为单位的空间分辨率，以及摄像头视角堆叠的规划。焦距越短，像圈越小，PPD也就越小，不过堆叠规划因而添加。
摄像头数量也会影响堆叠规划，为了平衡摄像头视角堆叠规划、空间分辨率、摄像头数量，Facebook决议选用这种的16颗摄像头，可到达35PPD，而且将近6颗摄像头的视角堆叠。
16颗摄像头堆叠规划示意图，黑色代表5颗摄像头堆叠，白色代表8颗摄像头
高精度无符号校准进程
我们通常会疏忽对全景相机深度核算和重建校准的重要性，精确的校准关于快速且精确的立体匹配来讲是要害，对重建数据与CGI的交融也起到重要作用。
Facebook科研人员解说，即便这是一款极端经用、集成且精确的全景相机，但由于在制造进程中的可变性，它实践的拍照作用仍是有可能与原始CAD模型有所违背，即便是0.1°的视点差错，在35PPD情况下也能形成3.5个像素的差错。相同，即便是摄像头主点的0.1mm差错，也能形成27个像素偏移。
摄像头内、外参数哪怕呈现小小的改动都能带来严重影响，因而相机在运转时所发生的机械误差也变得重要，比方：温度改动、硬件保护或现场晋级、片场对硬件的粗犷转移等。
因而，Facebook科研人员开发了一款能够在片场运用的，无符号线上主动校准流程。据悉，他们并没有选用基准符号物，而是经过匹配图画的2D特征来寻觅3D特征，而这些3D特征和相机抱负参数将作为光束法平差校准的输入数据，一起寻觅最优的相机参数校准值和3D特征定位。
终究得出的相机校准数据将更新摄像头定位、方向、焦距和主点，一起确保摄像头模仿软件得出的额外径向畸变参数不变。
多视角深度重建体系
Facebook科研人员研制的深度核算流程选用由粗到精的分层色块匹配办法，它可为每颗摄像头别离生成视差图。最开端，在印象金字塔层级中完全查找整个深度规划，以此来得到开端的核算猜测成果。
在接下来的每个层级，它将运用摄像头测绘来预先核算出五颜六色投影，然后运用空间分散和随机主张、几许一致性、时刻五颜六色双方和中值滤波。接着，将核算出的是插图传播到更精密的层级，乃至也能够运用远景掩模来优化核算。结合上述一切进程，将得出满意精确的深度核算成果。
科研人员指出，除了上述办法，也能够选用最新的机器学习算法，或许能进一步进步精确度。
据悉，用于核算摄像头堆叠的相机剖析器可用于核算出只要一颗摄像头捕捉能到的点的理论最短间隔，经核算这一数据为0.5米，比2米超焦距的一半更短，从这个间隔开端捕捉到的方针重建后将看起来满意明晰。当方针间隔小于1.6米的时分，视差的质量开端下降，与预期相符。
通用视角烘托组成流程
每个五颜六色图画的深度核算成果都将是一个独自的深度地图，考虑到深度地图和相应的摄像头模型，将有可能将五颜六色图画向外投影，以此来制造一个与摄像头识别到的3D外表对应的五颜六色点云。而为了生成一个代表新视角所捕捉场景的图画，将需求结合一切的点云数据。
在视角烘托进程中，Facebook科研人员让烘托器读取每颗摄像头的深度和五颜六色图画，然后在GPU中进行谐和。
经过将深度地图作为纹路网格来烘托，科研人员成功烘托每个新视角中的点云数据。此外，除了将颜色作为纹路地图来烘托RGB颜色外，科研人员也核算出颜色图的权重，储存在阿尔法通道中。
接着得出16张独自的RGBA图画，每一个代表一颗摄像头新视角的颜色和深度地图点云数据，而终究的图画则是由这16张图的加权均匀数在GPU上核算得来。
图片中为多种可生成的烘托图类型，包括立方体贴图、正方形投影、树冠快照和适用于VR头显的交融图
总结
总归，Facebook科研人员规划了一个可用于商业化的6DoF 360°专业全景VR视频拍照体系，并调配了一个开源的重建和烘托软件流程。虽然该计划根据16颗RED摄像头的相机计划，可是科研人员表明也能够兼容其他球形或平面阵列的全景相机。
据悉，科研人员在试验进程中也曾运用24颗摄像头的全景相机，以及一个选用4颗摄像平面阵列的RED Helium全景相机。此外，他们乃至还曾考虑过在一个大空间内运用5颗分隔摆放的摄像机来进行360°容积捕捉。本文系青亭网翻译自：Facebook
