人类大脑基于眼睛之间的图像的差异来感知三维(3-d)图像。利用从稍微不同的角度获取的相同场景的两个图像，以高度精确性对物体进行三角测量是可能的。每只眼睛观察到由左眼和右眼看到的物体的稍微不同的角度。3-d成像的使用允许观看者沉浸在另一环境中，并且在某些情况下，允许观看者从不同的视角观看诸如体育赛事或演唱会的事件。
一些图像捕获系统基于立体2-d图像的捕获。作为示例，可通过利用一对空间上隔开的平行相机捕获的2-d图像来构建3-d图像。作为另一示例，当捕获到立体图的瞬间时，单个相机可物理地移动以创建空间偏移。在很多情况下，图像捕获系统局限于在限定的角度内捕获3-d图像。
3-d显示器常常通过向观看者的左眼和右眼分别呈现两个偏移图像来为2-d图像提供深度感。这些2-d图像随后在大脑中结合以提供3-d深度感。显示“偏移的”2-d图像以提供深度感的其他示例性方法包括在观看者的眼睛上使用上色相反的过滤器(例如，红色和青色)、不同的偏振或透镜的遮光。
技术实现要素：
一种方法，包括：从多个相机接收多个图像，其中，所述多个相机包括具有第一定向(orientation)的第一相机和具有第二定向的第二相机，其中，所述多个图像包括来自所述第一相机的第一图像和来自所述第二相机的第二图像；检测所述第一图像和所述第二图像内的多个特征点；确定位于所述第一图像与所述第二图像之间的重叠区域内的一个或多个相应特征点对，其中，所述相应特征点对包括来自所述第一图像和所述第二图像中的每个的所述特征点中的相应的一个；基于每个相应特征点对之间所计算的偏差，空间上调整所述第一图像或所述第二图像；以及基于所述空间调整，将所述第一图像和所述第二图像结合为合并图像。
附图说明
图1示出示例性3-d成像系统架构。
图2示出相机的示例性立体相机对。
图3示出相机系统的示例性相机配置的部分平面图。
图4示出示例性相机系统的平面图。
图5示出由相机系统的相机捕获的图像的示例性集合。
图6示出示例性相机系统的侧视图。
图7示出由相机系统的相机捕获的重叠图像的示例性集合。
图8示出用于拼接离散图像的示例性方法。
图9和图10示出用于拼接离散图像的其他示例性方法。
图11示出示例性的图像分割。
图12示出示例性的图像特征点匹配。
图13示出示例性的顶部图像和示例性的主拼接图像。
图14示出处理后的来自图13的示例性顶部图像。
图15和图16示出用于拼接离散图像的示例性方法。
图17示出包括多种视频数据成分(component)的内容容器。
图18示出配置为将内容容器作为复合流进行广播的内容服务器。
图19示出涉及非捆绑流的直接传输的示例性传输方案。
图20至图22分别示出用于视频流的传输的示例性调解方案。
图23示出切片的流集合。
图24示出用于视频流的传输的示例性交互方案。
图25示出用于传输3-d360°视频的示例性方法。
图26示出基于利用摄影测量法的混合拼接的示例性重构过程。
图27示出用于重构3-d360°视频的示例性方法。
图28示出用于重构3-d360°视频的另一示例性方法。
图29示出在对图像应用变形操作之前和之后的单目图像的示例性集合。
图30至图31示出示例性360°立体3-d环境。
图32示出用于与3-d视频交互的示例性方法。
图33示出示例性头戴式客户端计算设备的框图。
图34示出戴着示例性头戴式客户端计算设备站在房间中的用户。
图35示出由用户戴着头戴式客户端计算设备观察到的示例性场景。
图36示出具有示例性通知的图35的示例性场景。
图37示出图35的场景上叠加有人的示例性场景。
图38示出图35的场景上叠加有狗的示例性场景。
图39示出分割为两个示例性视图的示例性显示器。
图40示出图35的场景上叠加有桌子的示例性场景。
图41示出图35的场景上叠加有弯曲的箭头的示例性场景。
图42示出具有示例性示意图的图35的示例性场景。
图43示出具有示例性鸟瞰图的图35的示例性场景。
图44示出示例性计算机系统。
实现本发明的最佳实施方式
方法包括：从多个相机接收多个图像，其中，多个相机包括具有第一定向的第一相机和具有第二定向的第二相机，多个图像包括来自第一相机的第一图像和来自第二相机的第二图像；检测第一图像和第二图像内的多个特征点；确定位于第一图像与第二图像之间的重叠区域内的一个或多个相应特征点对，其中，相应特征点对包括来自第一图像和第二图像中的每个图像的特征点中的相应特征点；基于每个相应特征点对之间所计算的偏差，空间上调整第一图像或第二图像；以及
基于空间调整，将第一图像和第二图像结合为合并图像。
第一图像与第二图像之间的重叠区域与第一相机和第二相机的相应的视场中的重叠部(overlap)成比例。
检测第一图像和第二图像内的多个特征点包括：
基于局部对比度梯度，检测第一图像和第二图像的一个或多个特征；以及
提取检测的特征的一个或多个特征点。
提取一个或多个特征点包括：利用尺度不变性特征转换(sift，scale-invariantfeaturetransform)、加速鲁棒特征(surf，speededuprobustfeatures)或orb(orientedfastandrotatedbrief)特征检测算法。
确定所述一个或多个相应特征点对包括：
将第一图像和第二图像分割为呈预定栅格的预定数量的区域；
比较位于沿第一图像的边缘的每个区域内的特征点与沿第二图像的相反边缘的对应区域；以及基于边缘的每个区域内的特征点的图案，识别相应特征点对。
沿边缘的每个区域内的比较在每个特征点周围的预定区域上执行，其中预定区域基于重叠区域的像素数量。
确定预定区域中的差异的平方和是否小于预定阈值。
检测第三图像内的多个特征点；
确定位于第三图像内以及第一图像与第三图像之间的重叠区域内的一个或多个相应特征点对，其中，第一图像和第三图像的相应特征点对包括来自第一图像和第三图像中的每个图像的特征点中的相应特征点；以及确定位于第二图像与第三图像之间的重叠区域内的一个或多个相应特征点对，其中，第二图像和第三图像的相应特征点对包括来自第二图像和第三图像中的每个图像的特征点中的相应特征点。
第一相机和第三相机包括立体相机对。
从第三相机接收第三图像，其中，多个相机还包括定向为与第一相机和第二相机所限定的平面大致正交的第三相机。
确定位于合并图像与第三图像之间的重叠区域内的一个或多个相应特征点对，其中，相应特征点对包括来自合并图像和第三图像中的每个图像的特征点中的相应特征点；以及
围绕第三图像的中心应用径向扭曲，使得第三图像的中心固定。
计算包括：计算与每个相应特征点对之间的空间偏移的绝对值成比例的成本函数。
计算包括：计算与每个相应特征点对之间的沿一个或多个旋转轴的旋转偏移成比例的成本函数。
结合第一图像和第二图像包括：
检测重叠区域中的边缘；以及
在边缘上应用梯度。
空间上调整第一图像或第二图像包括旋转或平移第一图像或第二图像。
一个或多个非暂时性计算机可读存储介质，包括指令，所述指令在被执行时可操作为：
从多个相机接收多个图像，其中，多个相机包括具有第一定向的第一相机和具有第二定向的第二相机，多个图像包括来自第一相机的第一图像和来自第二相机的第二图像；检测第一图像和第二图像内的多个特征点；确定位于第一图像与第二图像之间的重叠区域内的一个或多个相应特征点对，其中，相应特征点对包括来自第一图像和第二图像中的每个图像的特征点中的相应特征点；
基于每个相应特征点对之间所计算的偏差，空间上调整第一图像或第二图像；以及
第一图像与第二图像之间的重叠区域与第一相机和第二相机的相应视场中的重叠部成比例。
确定位于第一图像与第二图像之间的重叠区域内的一个或多个相应特征点对包括：
所述指令在被执行时还可操作为：
检测位于第三图像内的多个特征点；
每个相应特征点对之间所计算的偏差包括与每个相应特征点对之间的空间偏移的绝对值成比例的成本函数。
一种设备包括：
一个或多个非暂时性计算机可读存储介质，包括指令；以及
一个或多个处理器，联接至存储介质并且配置为执行指令以：从多个相机接收多个图像，其中，多个相机包括具有第一定向的第一相机和具有第二定向的第二相机，多个图像包括来自第一相机的第一图像和来自第二相机的第二图像；检测第一图像和第二图像内的多个特征点；确定位于第一图像与第二图像之间的重叠区域内的一个或多个相应特征点对，其中，相应特征点对包括来自第一图像和第二图像中的每个图像的特征点中的相应特征点；基于每个相应特征点对之间所计算的偏差，空间上调整第一图像或第二图像；以及
检测第一图像和第二图像内的多个特征点包括：基于局部对比度梯度，检测第一图像和第二图像的一个或多个特征；以及提取检测的特征的一个或多个特征点。
将第一图像和第二图像分割为呈预定栅格的预定数量的区域；比较位于沿第一图像的边缘的每个区域内的特征点与沿第二图像的相反边缘的对应区域内的特征点；以及基于边缘的每个区域内的特征点的图案，识别相应特征点对。
处理器进一步配置为执行指令以：
具体实施方式
捕获并重构3-d视频的能力在充分地利用游戏系统、电视机或移动设备的3-d性能中起到显著的作用。通过接近地模型化人类视觉感知的各个方面，经由个人自身的眼睛可能几乎无法从自然视图中辨别生成的3-d视频，由此创建自然的3-d观赏体验。
图1示出示例性3-d成像系统架构。在具体实施方式中，用于捕获、编码并渲染360°3-d视频的系统架构100可包括相机系统110、前端处理器120、拼接服务器130、内容服务器140和客户端系统150。尽管本公开描述并示出由特定系统构成的特定3-d成像系统，但是本公开可设想到由任何适当的系统构成的任何适当的3-d成像系统。
如下所描述，拼接服务器130可将来自各相机的离散数据拼接在一起，以生成3-d视频的完整帧。在具体实施方式中，拼接服务器130可计算离散数据的图像对齐并且可将完整帧分割为垂直条。拼接服务器130可以不同的尺寸和码率(bit-rate)重新压缩条，以进行可变码率控制。当不需要实时性能时，可使用单个拼接服务器130，或者当高分辨率、高帧频和3-d视频的实时性能被消耗时，可使用多达数十个甚至数百个拼接服务器130。3-d视频的帧可存储或传输至内容服务器140。
内容服务器140可对客户端系统150充当内容分发网络的作用，并且可与客户端系统150通信以将请求的3-d视频的适当部分串流到观看者。内容服务器140可以帧为单位将请求的3-d视频传输至客户端系统150。在具体实施方式中，内容服务器140的数量可与接收3-d视频的客户端系统150的数量成比例。
客户端系统150可充当供用户观看通过内容服务器140传输的3-d视频的设备。此外，从客户端系统150至内容服务器140的输入可修改传输至客户端系统150的3-d视频的部分。作为示例，3-d视频可基于来自客户端系统150的、指示用户的观看角度改变的数据进行调整。在具体实施方式中，客户端系统150可请求与两侧添加有附加帧的直观视图对应的帧。在具体实施方式中，客户端系统150可为观看者请求低分辨率、完整帧图像并重新构建3-d。
图2示出相机112的示例性立体相机对200。在具体实施方式中，立体相机对200可包括分别被称为左相机l和右相机r的两个相机112。左相机l和右相机r可分别捕获与人的左眼和右眼对应的图像，并且由左相机l和右相机r捕获的视频图像可作为3-d图像回放给观看者。在具体实施方式中，立体相机对200可被称为对、立体相机的对、相机对或立体相机对。如下所描述，相机系统110可利用数字相机(“相机”)112的若干相机对200捕获3-d图像，其中相机系统110可使用集成数字相机或通向一个或多个外部数字相机的接口。在具体实施方式中，数字相机可指以数字格式捕获或存储图像或视频的设备。在这里，术语“相机”可指数字相机，并且术语“视频”可指数字视频或以数字格式记录或存储的视频。
在具体实施方式中，相机112可具有视场角(fov)，所述视场角(fov)至少部分地取决于相机112的镜头组件的位置、焦距或放大倍数以及相机112的图像传感器的位置或尺寸。在具体实施方式中，相机112的fov可指通过相机112可见的具体场景的水平、垂直或对角范围。相机112的fov内的物体可被相机112的图像传感器捕获，并且fov外的物体可能不会出现在图像传感器上。在具体实施方式中，fov可被称为视角(aov)，并且fov或aov可指通过相机112捕获或成像的具体场景的角度范围。例如但不限于，相机112可具有处于30°和200°之间的fov。作为另一示例而非限制，具有100°fov的相机112可表明相机112可捕获位于相机112所指向的方向或定向114的±50°内的物体的图像。
在具体实施方式中，相机112可具有两个特定的fov，诸如水平视场(fovh)和垂直视场(fovv)，其中两个fov定向为彼此大致正交。例如但不限于，相机112可具有处于30°和100°之间的范围内的fovh和处于90°和200°之间的范围内的fovv。在图2的示例中，相机112具有大约80°的fovh。在具体实施方式中，相机112可具有宽于其fovh的fovv。例如但不限于，相机112可具有大约45°的fovh和大约150°的fovv。在具体实施方式中，具有两个不相等的fov的相机112可至少部分地由于相机112包括具有矩形形状的图像传感器(例如，相机112可包括具有16：9的纵横比的图像传感器)。在具体实施方式中，相机112可定位成使其fovv与相机112的图像传感器的宽度对齐或对应，并使其fovh与图像传感器的高度对齐。例如但不限于，图像传感器可具有这样的高度和宽度，其中宽度表示两个图像传感器尺寸中的较长的一个；并且相机112可定位成使得其图像传感器的宽度轴对应于fovv。尽管本公开描述并示出具有特定视场的特定相机，但是本公开可设想到具有任何适当的视场的任何适当相机。
在具体实施方式中，左相机l和右相机r可具有定向114-l和定向114-r，并且在两者之间具有特定的非零角度。例如但不限于，立体相机对200中的两个相机可定向成稍微靠近彼此或远离彼此，其中两者之间具有约0.5°、1°、2°或任何适当的角度值。在具体实施方式中，立体相机对200的定向可由定向114-l和定向114-r表示。尽管本公开描述并示出具有特定定向的特定相机，但是本公开可设想到具有任何适当的定向的任何适当相机。
在具体实施方式中，一个相机对(例如，l和r)中的相机112之间的相机间间距(ics)可表示两个相机彼此相隔的距离。在具体实施方式中，立体相机对200可具有ics处于6cm和11cm之间的相机112，其中ics可在两个相机112的两个对应的点或特征之间测量出。例如但不限于，ics可对应于两个相机112的中间点之间的距离、两个相机112的纵轴之间的距离或两个相机112的定向线114之间的距离。在具体实施方式中，立体相机对200的相机l和r可沿着轴115相隔ics的距离，其中轴115表示连接相机l和r的线，并且相机定向114-l和114-r大致与轴115正交。在图2的示例中，ics是在相机l和r之间沿着分隔轴115测量的距离。在具体实施方式中，ics可对应于人眼的瞳孔之间的大致或平均的距离或人眼的瞳孔间距(ipd)。例如但不限于，ics可在6cm与7cm之间，其中6.5cm对应于人类的大致的平均ipd值。在具体实施方式中，立体相机对200可具有大于平均ipd值的ics值(例如，ics可为7cm至11cm)，并且向观看者回放时，该较高的ics值可提供看起来具有增强的3-d特性的场景。尽管本公开描述并示出具有特定相机间间距的特定相机对，但是本公开可设想到具有任何适当相机间间距的任何适当相机。
图3示出相机系统110的示例性相机配置的部分平面图。在图3的示例中，相机系统110包括由l1和r1构成的第一相机对200、由l2和r2构成的第二相机对200和由ln和rn构成的第n相机对200。在具体实施方式中，相机系统110还可包括另外的相机对，诸如相机对l3-r3(相机l3未在图3中示出)或相机对ln1-rn1(相机rn1未在图3中示出)。尽管本公开描述并示出具有特定数量的相机对的特定相机系统，但是本公开可设想到具有任何适当的数量的相机对的任何适当相机系统。
在具体实施方式中，相机系统110可包括相机112的若干相机对200，其中相机对200是彼此交错的。在具体实施方式中，交错的相机对200可指如下的相机配置，即，第一相机对的一个相机位于相邻的第二相机对的相机之间。另外，第二相机对的一个相机也可位于第一相机对的相机之间。在具体实施方式中，相邻的或毗邻的相机对200可指彼此邻接的相机对200或者布置成一个相机对200的相机位于另一相机对200的两个相机之间的相机对200。在具体实施方式中，交错的相机对200可指具有这样的第一相机对和第二相机对的相机配置：其中，第二相机对通过第一相机对的至少一个相机彼此分隔开。另外，第一相机对也可通过第二相机对的至少一个相机彼此分隔开。在图3的示例中，相机对l2-r2与相机对l1-r1相交错；反之，相机对l1-r1与相机对l2-r2相交错。相机对l1-r1和l2-r2相交错，使得相机r2位于相机l1和r1之间且相机l1位于相机l2和r2之间。类似地，相机对l1-r1和ln-rn也彼此相交错。相机对l1-r1和ln-rn相交错，使得相机l1和r1至少通过相机ln分隔开且相机ln-rn至少通过相机r1分隔开。在图3的示例中，相机对l1-r1与两个毗邻的相机对(相机对l2-r2和相机对ln-rn)相交错。
在具体实施方式中，相机系统110可包括相机112的第一相机对200，其中第一相机对的相机通过相机112的第二相机对200的至少一个相机112彼此分隔开。在图3的示例中，相机对l1-r1的相机l1和r1通过相机对l2-r2的相机r2彼此分隔开。另外，第一相机对可具有与第二相机对的定向114不同的定向114。在图3的示例中，相机对l1-r1的定向(可由定向114-l1或114-r1表示)不同于相机对l2-r2的定向(可由定向114-l2或114-r2表示)。在具体实施方式中，相机系统110也可包括第三相机对(例如，图3中的ln-rn)，并且第一相机对的相机(例如，l1-r1)也可通过第三相机对(例如，ln-rn)的相机(例如，相机ln)彼此分隔开。另外，第三相机对可具有与第一相机对和第二相机对的定向114不同的定向114。尽管本公开描述并示出具有以特定配置布置的特定相机的特定相机系统，但是本公开可设想到具有以任何适当配置布置的任何适当相机的任何适当相机系统。
在具体实施方式中，第一和第二相机对200可相交错，使得第二相机对的右相机112与第一相机对的左相机112相邻，并且第二相机对的右相机112的fovh的中心与第一相机对的左相机112的fovh的中心相交叉。在图3的示例中，第一相机对l1-r1与第二相机对l2-r2相交错，使得右相机r2与左相机l1相邻，并且相机r2的fovh的中心(如由定向114-r2表示)与相机l1的fovh的中心(如由定向114-l1表示)相交叉。在具体实施方式中，第一和第三相机对200可相交错，使得第三相机对的左相机112与第一相机对的右相机112相邻，并且第三相机对的左相机112的fovh的中心与第一相机对的右相机112的fovh的中心相交叉。在图3的示例中，第一相机对l1-r1与第n相机对ln-rn相交错，使得左相机ln与右相机rn相邻，并且相机ln的fovh的中心(如由定向114-ln表示)与相机r1的fovh的中心(如由定向114-r1表示)相交叉。尽管本公开描述并示出以特定方式相交错的特定相机对，但是本公开可设想到以任何适当方式相交错的任何适当相机对。
在具体实施方式中，对于相机系统110的一个或多个相机对200，相邻相机对200之间的角度θ可以不相同，使得相机对200可具有不均匀的角度间隔。例如但不限于，相机系统110中的相机对200的角度间隔或分布可至少部分地基于每个相机112的fovh而改变。例如，相机系统110的具有窄fovh的某些相机对200可具有30°的角度间隔，而具有宽fovh的其他相机对200具有50°的角度间隔。尽管本公开描述并示出包括具有特定角度间隔的特定相机对的特定相机系统，但是本公开可设想到包括具有任何适当的角度间隔的任何适当相机对的任何适当相机系统。
在具体实施方式中，一组左相机(例如，对应于人的左眼的相机l1、l2等)或一组右相机(例如，对应于人的右眼的相机r1、r2、r3等)的每个fovh可与群组中的相邻相机具有角度重叠部116。在图3的示例中，角度重叠部116表示由相邻相机r1和r2捕获的图像之间的共享部分或重叠部。在图3中，相机r2和r3、相机rn和r1、相机l1和l2以及相机ln和ln-1也可共享类似的角度重叠部。在具体实施方式中，具有角度重叠部116的相邻相机112可在其水平fov具有10％与30％之间的重叠部。例如但不限于，具有以10-30％重叠的水平fov的相邻相机可分别捕获以10％与30％之间重叠的图像。作为另一示例而不限制，分别具有fovh≈50°和约10°的角度重叠部116的相邻相机可称为具有约20％(＝10°/50°)的角度重叠部或图像重叠部。在具体实施方式中，且如下所描述，角度重叠部116可用于识别图像特征以及创建无缝地呈现如由相机系统110捕获的整个视野的拼接图像。尽管本公开描述并示出具有特定角度重叠部的特定相机，但是本公开可设想到具有任何适当的角度重叠部的任何适当相机。
图4示出示例性相机系统110的平面图。如以下所描述，相机系统110可包括配置为以360度以及立体3-d格式捕获图像并记录或串流实时视频的相机112的立体相机对200的空间布置。在具体实施方式中，相机系统110可包括构成n个相机对200的2n个相机112，其中n为正整数。在具体实施方式中，相机系统110可包括n＝1,2,3,4,6,8,10,12,14,16个或任何适当数量的相机对200。例如但不限于，相机系统110可包括构成n＝4个相机对200的8个相机112，或者相机系统110可包括构成n＝8个相机对200的16个相机112。在图4的示例中，n等于12，并且相机系统110包括构成12个相机对200(例如，相机对l1-r1至相机对l12-r12)的24个相机112。如上所述，相机系统110的相机对200可均匀地布置，使得相邻相机对200相对于彼此定向在θ≈360°/n的角度。在图4的示例中，n等于12，并且如从相机系统110的中心画至相机对200的射线r之间的30°的角度所呈现的，相机对200相对于彼此定向在约30°(＝360°/12)。
在具体实施方式中，相机系统110的相机112可配置为使得相邻的左相机的水平fov重叠，类似地，相邻的右相机的水平fov重叠。在图4的示例中，相邻的左相机(例如，相机l1和l2、相机l2和l3等)中的每一对可就其水平fov具有10％与30％之间的重叠部。类似地，每对相邻的右相机(例如，相机r1和r2、相机r2和r3等)中的每一对可就其水平fov具有10％与30％之间的重叠部。在具体实施方式中，每一组左相机(例如，图4中的相机l1-l12)可定向为捕获覆盖围绕相机系统110的完整的360°视角的对应的一组左图像。类似地，每一组右相机(例如，图4中的相机r1-r12)可定向为捕获覆盖围绕相机系统110的完整的360°视角的对应的一组右图像。
在具体实施方式中，相机系统110的两个或两个以上的相机112可被称为彼此相邻。在具体实施方式中，彼此相邻的两个相机112可指彼此紧挨着或相邻且其间不具有其他相机的两个相机。在图4的示例中，相机l1和r3彼此相邻，相机l2和r3彼此相邻。在图4中，相机r1与相机l11和相机l12相邻。在具体实施方式中，相邻相机可被识别为在特定一组相机内，而不认为是属于该群组的其他相机。例如但不限于，即使存在位于两个相机附近或位于它们之间的右相机，一组左相机内的两个相机可被识别为彼此相邻。在图4中，对于所述一组左相机(相机l1至l12)，相机l1与相机l2和l12相邻；以及对于所述一组右相机(相机r1至r12)，相机r1和r2相邻。
图5示出由相机系统110的相机112捕获的图像(i-1至i-8)的示例性集合。例如但不限于，图像i-1至i-8可分别对应于由相机系统110的左相机l-1至l-8捕获的图像。图像i-1至i-8可表示利用与图3或图4所示的相机系统相似的相机系统110捕获的图像。在具体实施方式中，相机系统110的一组左相机或一组右相机112捕获的一组图像可在相邻的图像之间具有重叠区域210，其中，重叠区域210表示对应于大致相同的场景的相邻的图像的部分或区域。在图5的示例中，重叠区域2105-6表示相邻的图像i-5与i-6之间的重叠部，并且重叠区域2105-6中的捕获的场景包括云朵的右边部分和桥的一部分。类似地，重叠区域2106-7表示相邻的图像i-6与i-7之间的重叠部，并且重叠区域2106-7中的捕获的图像包括桥塔。
在具体实施方式中，重叠区域210可对应于相邻相机112的水平fov的重叠部。在具体实施方式中，相机系统110的左相机或右相机112捕获的相邻图像可具有10％与30％之间的重叠部。在具体实施方式中，重叠的量或百分比对应于重叠区域210的高度、宽度或面积与对应图像的高度、宽度或面积的比例。在图5的示例中，图像i-5与i-6之间的重叠量等于重叠区域2105-6的宽度204除以图像i-5或i-6的宽度206。在具体实施方式中，重叠区域210的尺寸或图像的尺寸可以以距离来表示(例如，以mm或cm为单位)或以像素数来表示。在图5的示例中，如果重叠区域宽度204为162像素且图像宽度206为1,080像素，则图像i-5与i-6之间的重叠部为15％(＝162/1080)。尽管本公开描述并示出具有特定重叠区域或重叠量的特定图像，但是本公开可设想到具有任何适当的重叠区域或重叠量的任何适当的图像。
在具体实施方式中，相机112可定位成捕获具有这样的纵横比的图像，所述纵横比使得图像的垂直幅度207大于图像的水平幅度206。例如但不限于，相机112可捕获具有1,920像素的垂直幅度207和1,080像素的水平幅度206的图像。在图5的示例中，图像i-6具有大于水平幅度206的垂直幅度207。
在具体实施方式中，相邻图像或相邻的图像可指共享共同的重叠区域210且定位成彼此相邻图像。在图5的示例中，图像i-2和i-3相邻，并且图像i-6与图像i-5和i-7相邻。在具体实施方式中，相邻图像可对应于由相应的相邻相机捕获的图像。在图5的示例中，图像i-1至i-8可分别对应于由左相机l1至l8捕获的图像，诸如，图4的左相机l1至l8。图像i-1和i-2为相邻图像，并且这些图像可分别由相邻的左相机l1和l2捕获。
在具体实施方式中，顶部相机112t可具有与一个或多个侧部相机112的垂直视场fovv重叠的视场fovt。例如但不限于，来自顶部相机112t的图像的外缘部分可与来自相机112的图像的上部重叠10-30％。在图6的示例中，角度重叠部116表示顶部相机112t的fovt与侧部相机112的fovv之间的重叠部。在具体实施方式中，顶部相机112t可具有相对高的fovt。例如但不限于，顶部相机112t可包括鱼眼镜头，并且顶部相机112t的fovt可处于140°至185°的范围内。在具体实施方式中，相机系统110可包括一组侧部相机112并且可不包括顶部相机112t。例如但不限于，相机系统110可包括fovv处于140°至185°的范围内的侧部相机112，并且侧部相机112可配置为在不使用顶部相机的情况下捕获所有或大部分360°全景。在具体实施方式中且如图6所示，相机系统110可包括一组侧部相机112以及一个顶部相机112t。在具体实施方式中，相对于不具有顶部相机的相机系统110，具有顶部相机112t的相机系统110可允许侧部相机112具有降低的fovv。例如但不限于，相机系统110可包括fovv处于100°至160°范围内的侧部相机112，其中fovv与顶部相机112t的fovt重叠。
在具体实施方式中，顶部相机112t可位于相机系统110的顶表面附近，或者如图6所示，顶部相机112t可相对于相机系统110的顶表面凹陷或缩进。例如但不限于，顶部相机112t可位于凹陷的位置中，该位置可提供与侧部相机112的大的重叠量。在具体实施方式中，相机系统110的侧部相机112各自可具有位于相机系统110的水平面中的定向114，并且顶部相机112t的定向114t可与定向114大致正交。在图6的示例中，侧部相机112水平地定向，且顶部相机112t具有垂直的定向114t。尽管本公开描述并示出包括具有特定布置、定向或视场的特定边缘相机和特定顶部相机的特定相机系统，但是本公开可设想到包括具有任何适当的布置、定向或视场的任何适当的边缘相机和任何适当的顶部相机的任何适当相机系统。
图7示出由相机系统110的相机112捕获的重叠图像的示例性集合。在具体实施方式中，具有n个相机对200和一个顶部相机112t的相机系统110可为视频的每一帧捕获2n+1个图像。图7所示的图像可利用与图6所示的相机系统相似的相机系统110的2n个侧部相机112和顶部相机112t来捕获。在具体实施方式中，n个左相机112和n个右相机112可如上所述布置成对且相交错，使得左相机图像i-l1至i-ln重叠，并且右相机图像i-r1至i-rn重叠。在图7的示例中，重叠区域210l表示相邻的左相机的图像的重叠部分，并且重叠区域210r表示相邻的右相机的图像的重叠部分。例如但不限于，相邻的左相机2和3可分别捕获图像i-l2和i-l3，其具有对应的重叠区域210l2-3。在图7的示例中，图像i-top表示由顶部相机112t捕获的图像，并且重叠区域210t表示图像i-top的、与来自侧部相机112的图像的上部重叠的外缘部分。在具体实施方式中，重叠区域210t可利用来自一个或多个侧部相机112的图像来拼接顶部图像i-top。
在具体实施方式中，左相机和右相机112可布置成使得每个左相机重叠区域210l捕获在对应的右相机112的单个图像内，并且每个右相机重叠区域210r捕获在对应的左相机112的单个图像内。在图7的示例中，图像i-l1和i-l2的重叠区域210l1-2对应于图像i-r1，使得左相机l1和l2之间的重叠部被右相机r1捕获。类似地，图像i-r2和i-r3的重叠区域210r2-3对应于图像i-l3，使得相机r2和r3之间的重叠部包含在相机l3的视场内。在具体实施方式中，以及如以下所描述，两个图像之间的重叠区域210可用于识别图像特征以及创建拼接图像。另外，如由另一相机捕获的重叠区域210也可在拼接过程中使用。在图7的示例中，图像i-r1和i-r2可至少基于位于两个图像的重叠区域210r1-2中的特征而拼接在一起。另外，由于图像i-l2捕获相同的重叠区域，所以图像i-l2也可在拼接过程中使用或用于验证应用至图像i-r1和i-r2的拼接过程的准确性。虽然本公开描述并示出配置为捕获具有特定重叠区域的特定图像的特定相机系统，但是本公开可设想到配置为捕获具有任何适当重叠区域的任何适当图像的任何适当相机系统。
在具体实施方式中，相机系统110可包括一个或多个红外(ir)相机，其中，ir相机可指对ir光(例如，具有约0.8μm与14μm之间的波长的光)敏感的相机。在具体实施方式中，ir相机可对热辐射敏感或可提供在可视相机(例如，相机112)可能具有降低的敏感度的光线暗的情况下(例如，昏暗的房间或夜晚的户外)对场景进行成像的能力。例如但不限于，除了相机112(可优化为可视光感测)以外，相机系统110也可包括一个或多个ir相机，以及来自相机112和ir相机的信息或图像可结合以提升在光线暗的情况下的图像捕获或渲染。作为另一示例而不限制，相机系统110可包括布置成捕获相机系统110周围的360°全景中的图像的一组ir相机。作为又一示例而不限制，相机系统110的相机112可配置为对可视光和红外光具有敏感度。尽管本公开描述并示出具有特定可视或红外相机的特定相机系统，但是本公开可设想到具有任何适当的可视或红外相机的任何适当相机系统。
在具体实施方式中，相机系统110可包括配置为相比于相机112具有更宽的fov或者对具有不同视图的场景进行成像的一个或多个辅助相机。例如但不限于，相机系统110可包括如上所述的一组相机112，并且相机系统还可包括具有比相机112的fov更宽的fov的一个或多个鱼眼相机或立体相机。在具体实施方式中，具有更宽fov的辅助相机可允许从相机112捕获的图像即使在观看统一的颜色或纹理(例如，墙)时也能够成功地被拼接。在具体实施方式中，相机112可配置为具有高分辨率(可导致相对窄的fov)，并且具有更宽fov的辅助相机可提供允许来自相机112的高分辨率图像成功地对齐并拼接在一起的宽视场参考。
在具体实施方式中，相机112可捕获大于或约等于180度的垂直视场。例如但不限于，相机系统110可包括具有约185°的fovv的相机112。在具体实施方式中，相机系统110可包括具有大于或等于180°的fovv的一组相机112，并且由于全景覆盖可由相机112提供，所以相机系统110可以不包括顶部相机112t。
在具体实施方式中，相机系统110可包括一个或多个鱼眼相机，其中鱼眼相机可指具有宽fov(例如，大于或等于180度的fov)的相机。例如但不限于，相机系统110可包括位于相机机身118的中心附近的2个、3个或4个鱼眼相机。作为另一示例而不限制，相机系统110可包括一对或多对鱼眼相机(例如，配置为两对鱼眼相机的四个鱼眼相机)。一对鱼眼相机可配置为不捕获3-d图像，并且可包括相隔ics距离(对应于ipd)的两个鱼眼相机。在具体实施方式中，具有鱼眼相机的相机系统110可配置为模拟3-d立体观测(例如，深度或3-d结构的感知)，并且可与位于图像球形范围内的一个或多个虚拟相机对应。
在具体实施方式中，相机系统110可包括具有相对高的fovv和低的fovh的相机112。例如但不限于，相机112可具有提供垂直视场宽于水平视场的镜头(例如，像散镜头(astigmaticlens))。作为另一示例而不限制，相机112可具有约180°的fovv和约30°的fovh。在具体实施方式中，相对窄的水平fov可提供在水平方向上具有相对低的变形的捕获的图像。在具体实施方式中，与相对宽的fovv有关的竖直方向中的变形可至少部分地基于镜头校准信息通过捕获后的处理来逆转。在具体实施方式中，去除竖直方向中的变形可能是比去除水平和垂直两个方向中的变形更有效的过程。例如但不限于，由于图像变形主要沿着一个轴(例如，竖直轴)，所以具有相对低的fovh的相机112可在变形移除方面可提供改进。
在具体实施方式中，相机系统110可包括两个或两个以上的适当fov相机112的集合。例如但不限于，相机112可具有30至90度的垂直和水平fov。在具体实施方式中，相机系统110可包括布置成行的两个或两个以上的相机112集合(例如，一组或一圈相机112位于另一组的上方)。每组相机112可配置为捕获一圈图像，每一圈在水平方向上覆盖360度全景并在竖直方向上覆盖适度的fov(例如，60度)。例如但不限于，相机系统110可包括三组相机112，每个相机具有与相邻组重叠约15度的约65度的fovv。每一组相机112可捕获具有高分辨率和相对低的变形的图像，并且来自每个圈的图像可结合而生成覆盖全景的高分辨率、低变形的图像。
在具体实施方式中，相机系统110可包括多个相机112，其中相机112可以不结合为立体相机对。例如但不限于，相机系统110可包括以重叠的水平fov布置的12个相机，使得相机捕获360度全景。在具体实施方式中，相机112可对齐使得其定向114从共同的中心点117(例如，相机系统110的机身118的中心)远离或径向向外指向。在具体实施方式中，相机112可以不捕获3-d图像，并且3-d效果可在图像捕获之后在拼接或重构过程期间产生。例如但不限于，捕获后处理可应用至图像以模拟立体观测。
在具体实施方式中，校准过程可应用至相机112或相机系统110。例如但不限于，相机112、相机对200或相机系统110可具有由制作公差产生的位置或对齐误差，并且校准过程可用于校正或补偿这些误差并允许改善的图像拼接。在具体实施方式中，校准过程可用于确定相机112或相机对200具有位置或定向误差或偏移，并且捕获的图像中的对应的误差或偏移可在图像捕获或捕获后处理过程期间被校正。例如但不限于，相机对200可制作为具有6.5mm的ics，并且通过校准过程，它可确定相机对200具有7.0mm的ics。相机对200的ics与目标ics之间的0.5mm的差异可在图像捕获或通过捕获后校正过程期间被校正(例如，对应于0.5mm的偏移可应用至由相机112之一捕获的图像)。作为另一示例而不限制，相机对200可制作为在相邻相机对200之间具有均匀的30°角度间隔，并且通过校准过程，它可确定相机对200相对于相邻相机对200具有29°角度间隔。相机对200之间的1°的角度误差可在图像被捕获时或在捕获后校正过程期间被校正(例如，对应于1°旋转的偏移可应用至由一个或多个相机112捕获的图像)。
在具体实施方式中，相机系统110的相机112可利用投射的光进行校准。在具体实施方式中，可利用将光学校准图案投射至相邻的表面上的广角投影仪、灯前罩或激光扫描仪或反射器来实现投射光校准。例如但不限于，激光束可被衍射光栅或机动镜反射以生成投射至相邻的表面上的校准图案。投射的激光图案通过相机112成像以确定相机校准参数。在具体实施方式中，用于生成并投射校准图案的光学组件(例如，激光、镜或光栅)可机械设计为在不使用时缩进相机系统机身118中或缩至其下方。在具体实施方式中，光学校准组件可配置为旋转以在不同的方向上投射校准图案，使得相机系统110的不同相机112可被校准。在具体实施方式中，相机系统110可放置于控制室或球面内，以提供改善的校准准确度。虽然本公开描述了特定的投射光校准系统，但是本公开可设想到任何适当的透射光校准系统。
在具体实施方式中，可利用物理或机械过程或结构来校准相机系统110的相机112。例如但不限于，诸如扇形或伞状设备的机械校准结构可存在于相机112之间或相机系统机身118下方或内部。在校准期间，这些物理校准器可机械地布置在相对于相机系统100已知的位置处。物理校准器可通过相机112成像，并且捕获的图像可与已知的几何结构进行比较以确定校准参数。在具体实施方式中，机械校准设备可以是与相机系统110分开的物理设备。例如但不限于，外部校准设备可具有从球形外部机身向内延伸的内部辐条以允许相机系统110保持在对于校准设备已知的精确的位置处。作为另一示例而不限制，外部校准设备可包括允许相机系统110相对于校准设备精确地定位的光学传感器。在具体实施方式中，校准设备的内表面可具有由相机112成像的校准标记，并且相机112或相机对200的校准参数可基于捕获的校准标记的图像来确定。在具体实施方式中，相机系统110可包括将校准图案投射至校准设备的内表面上的光学组件。虽然本公开描述了特定的物理校准系统，但是本公开可设想到任何适当的物理校准系统。
在具体实施方式中，针对每个相机110编码过程可涉及一个前端处理器120，或者单个处理器120(具有单个内核或多个处理器内核)可被多个相机110共享。前端处理器120可使用加速器、专用集成电路(asic)或子处理器以处理捕获、修改、压缩、存储或传输视频数据的任务中的一部分。每个处理器120可运行通用操作系统，或者可以是以与中央控制处理器完全或接近锁步(lockstep)的方式操作的asic本身。在具体实施方式中，中央控制处理器可起到与前端图像捕获处理器120通信的分配器或中央控制点的作用。在具体实施方式中，中央处理器可实现为单个大型asic的一部分，其具有连接并控制每个相机112的复制的资源。在这种情况下，相同代码或基于硬件的算法的多个线程或副本可运行为并行进行捕获过程。在具体实施方式中，前端处理器120可使用处理器本地存储系统或者可立即将数据串流至一个或多个共享的存储资源。在具体实施方式中，可使用分散存储，并且可将处理器本地存储器用作拼接系统的缓冲器以实现系统负载分布。
在具体实施方式中，前端处理器120可使用总线或网络以进行数据的传输。数据传输可使用任何适当的数据传输格式。在具体实施方式中，可使用保证接收或者另外地向接收者告知包丢失的传输方法。在具体实施方式中，发送组件可重新传输损坏的包，或者可允许接收者将表明发生包损坏的标志插入存储的数据流中。在具体实施方式中，拼接系统则可根据需要补偿这种损坏的或丢失的包。
在具体实施方式中，相机112可相对于目标位置或定向114具有某些镜头变形和某些偏差。在具体实施方式中，这些效应的校正可以是静态的，并且可利用前端中的查找表对其进行预校准和校正。例如但不限于，可将全景校准、晕光校正、镜头变形校正、白平衡校正、曝光校正和匹配或视角调整直接应用至图像。以这种方式，可在产生任何压缩引起的颜色或特征移位之前对图像进行操作，这可以减少可视的校正伪像(artifact)的出现。另外，可应用颜色校正以强化边缘锐度、整体曝光或白平衡。在具体实施方式中，为了降低图像的压缩尺寸，可将降噪应用至场景。在具体实施方式中，前端处理器120可在应用一个或多个图像校正或强化步骤之后对图像进行下采样。例如但不限于，可对输出图像进行下采样，而不使用处理器密集型子采样过程。在具体实施方式中，可以以比在随后的拼接中使用的分辨率更高的分辨率捕获图像，并且该高分辨率图像的捕获可能有助于减轻可能与校正或增强步骤有关的混叠或伪像。
在具体实施方式中，一个或多个拼接服务器130可接收经相机系统110的一个或多个前端处理器120编码的图像。如上所述，图像可对应于由相机系统110实时捕获的360°3-d视频。在图1的示例中，利用tcp通过以太网将图像从前端处理器120发送至拼接服务器130。在具体实施方式中，可以任何适当顺序从前端处理器120接收图像，或者以任何适当顺序存储图像。例如但不限于，在被传输至一个或多个拼接服务器130之前，可以与图像的空间顺序对应的顺序排列图像(例如，如图7中所示的图像i-l1至i-ln)。在具体实施方式中，当不需要实时性能时，例如当处理用于稍后传输或观看的图像时，拼接系统可包括单个拼接服务器130(或者两个或两个以上的拼接服务器130)。在具体实施方式中，当需要实时性能时(例如，当拼接用于实时传输或观看的高分辨率、高帧速率的视频时)，拼接系统可包括数十至数百个拼接服务器130。尽管本公开描述并示出包括特定数量的拼接服务器的特定拼接系统，但是本公开可设想到包括任何适当的数量的拼接服务器的任何适当的拼接系统。
在具体实施方式中，一个或多个拼接服务器130可从一个或多个前端处理器120接收一组离散图像，并且拼接服务器130可将离散图像“拼接”在一起并生成用于传输或显示的单个3-d帧。例如但不限于，拼接服务器130可从左相机系统110的相机112接收一组左图像，并且拼接服务器130可对图像进行拼接或结合以实时地生成3-d图像的左帧。类似地，拼接服务器130拼接来自右相机112的一组右图像以实时地生成3-d图像的右帧，并且左帧和右帧一起可表示单个实时3-d帧。在具体实施方式中，拼接过程可通过扭曲、变形或对齐多个离散图像来创建基本无缝的图像，以确保重叠图像的对应点匹配。例如但不限于，拼接过程可使用来自相邻相机的离散图像之间的对应关系来计算由拼接的图像捕获的场景的几何结构。作为另一示例而不限制，拼接过程可扭曲、变形或对齐离散图像，使得一组重叠图像的对应点匹配且重叠图像的多余部分被丢弃。然后，拼接过程可将一批对齐的图像混合成合并的无缝图像。在具体实施方式中，为减少眼疲劳，可对对应于人的左眼和右眼的图像进行操控以确保两只眼睛看见场景的对应部分。
在具体实施方式中，拼接服务器130可确定正在被拼接在一起的离散图像(例如，图像i-l1至i-ln)的竖直对齐和水平对齐。在具体实施方式中，来自多个相机的图像可进行比较，使得所有的左图像与其他的左图像(例如，i-l1至i-ln)进行比较且所有的右图像与其他的右图像(例如，i-r1至i-rn)进行比较。在图5的示例中，图像i-6可与相邻图像i-5和i-7进行比较。另外，左图像与右图像(例如，i-l1和i-r1)进行比较，以确保它们相对于彼此准确地对齐。例如但不限于，图像i-l1至i-l12可对应于分别由图4的示例中所示的相机系统110的左相机l1至l12捕获的图像。如上所述，对应于每只眼睛的相机(例如，l6)的fov与其相邻者(例如，l5和l7)具有重叠部，使得对图像空间对齐导致相邻图像(例如，i-6和i-7)之间产生重叠区域210。如下所述，相邻图像的重叠区域210可用于识别用于创建拼接图像200的图像特征。在具体实施方式中，由于相机系统的几何结构是已知的，因此可以假定执行某些拼接参数的计算。
图9和图10分别示出用于拼接离散图像的示例性方法400和450。在具体实施方式中，如图9或图10分别示出的用于拼接图像的方法，诸如方法400和450，可提供保留3-d感知并自动执行的、用于拼接图像的过程(例如，需要极少人工干预或不需要人工干预的过程)。尽管本公开描述并示出以特定顺序执行特定步骤以拼接图像的特定流程，但是本公开可设想到以适当顺序执行任何适当步骤的任何适当的流程。
在具体实施方式中，可对从相机系统110接收的图像进行去扭曲(dewarping)以将图像拼接在矩形平面上。例如但不限于，可对接收的图像进行超采样以减少可能阻碍以下描述的特征检测的伪像的量。在具体实施方式中，去扭曲过程可与缩放(scaling)过程结合，这样可减少对于超采样的需求。例如但不限于，接收的图像可经历结合的去扭曲和缩放过程，并且去扭曲和缩放的结合可减少图像中的伪像。可替换地，对接收的图像去扭曲可用作作为位置函数的全局变换，并且对接收的图像的像素数据的访问可经过变换和超采样以生成适当的值。在具体实施方式中，图像的去扭曲变换可通过方程(1)来估计：
其中，x为沿着投射的3-d空间的纬度(latitude)的位置，y为沿着投射的3-d空间的经度(longitude)的位置，a..e为相机去扭曲参数，scale′为图像的缩放因子，translate′为水平或垂直空间平移参数，并且x′和y′分别为去扭曲变换后的纬度和经度位置。在具体实施方式中，可基于相机系统的一个或多个相机的特性利用估计的缩放因子执行去扭曲过程。在具体实施方式中，可对一组或多组初始图像组合执行去扭曲过程，并且可利用去扭曲过程的抽象化将简化版的去扭曲过程应用至随后的图像。例如但不限于，对点和图像的访问可抽象化，以提供更快的去扭曲过程。
在步骤305中，如图10的示例中所示，可检测接收的图像中的构成场景的特征。在具体实施方式中，可在图像i-6的灰度版上执行特征检测和匹配，并且可在单独的操作中或通过查找表(lut)对图像i-6应用特定的对比度。在具体实施方式中，可利用局部对比度增强对图像i-6全局地执行特征检测。局部对比度增强提升“局部”对比度，而同时防止“全局”对比度的增加，由此保护大规模阴影/高亮细节。例如但不限于，局部对比度梯度可表示与特征对应的边缘、角落或“模糊点(blob)”。可利用特征检测算法检测图像i-6的特征，诸如尺度不变量特征算法(sift)、加速鲁棒特征(surf)或orb(orientedfastandrotatedbrief)，其中fast代表“来自加速的分段测试”并且brief代表“二进制鲁棒独立的基本特征”。在具体实施方式中，特征检测过程可检测一个或多个特征点214。例如但不限于，可通过取得多重高斯平滑操作来检测特征点214。另外，可针对每个搜索区域212存储特征点214的位置(例如，栅格内或搜索区域212内)和每个特征点214的对比度值。
图11示出图像的示例性分割。在具体实施方式中，接收的图像(例如，图像i-7至i-5)可分割为若干个搜索区域212。例如但不限于，如图7的示例中所示，图像i-7至i-5可对应于与特定眼睛对应的图像(例如，所有左图像或右图像)。在具体实施方式中，如图11的示例中所示，接收的图像(例如，i-7至i-5)可分割为布置成4x6矩形栅格的24个搜索区域。如上所述，来自与特定眼睛对应的相邻相机的(例如，所有左相机)的图像(例如，i-7至i-5)具有与相应的相机的fov之间的角度重叠部116成比例的重叠区域2106-7和2105-6。在具体实施方式中，图像(例如，i-7至i-5)的重叠区域2106-7和2105-6可对应于接收的图像(例如，i-7至i-5)的右边缘和左边缘。在具体实施方式中，特征点检测或匹配可限制于相邻图像的重叠区域。在图11的示例中，对于相邻图像i-6和i-7，特征点检测可仅应用在重叠区域2106-7中。可以不考虑重叠区域210外部的区域，这可保证位于重叠区域外部的无关或不必要的点不会影响拼接过程。
图12示出示例性的图像特征点匹配。在步骤310中，如图10的示例中所示，可在重叠区域2106-7的搜索区域上局部地执行特征点匹配，以最小化拼接图像220上的无关点影响。例如但不限于，可对检测的特征点214a-b执行特征点计算，以将图像i-6的特征点214a匹配至图像i-7的相应特征点214b。可通过局部地比较重叠区域2106-7的搜索区域中的每个检测的特征点214a-b附近的区域来检测所述对相应特征点214a-b。在具体实施方式中，相应的图像i-7和i-6中的特征点214a-b的相应的对比度设置可应用为特征点214a-b的匹配的一部分。例如但不限于，图像i-7和i-6之间的对比度差异可作为对比度曲线的偏移补偿。在具体实施方式中，该对比度曲线的偏移可利用附加的比特(例如，利用符号化16比特或8比特值)来计算，以将其考虑在内。偏移的差异可导致最佳匹配具有提前已知的均匀差异。
在具体实施方式中，特征匹配过程可使用估计的参数，并且可在重叠区域或搜索区域内应用某些搜索以优化位置。在具体实施方式中，随着特征搜索从图像(例如，图像i-6或i-7)的中心移动至边缘，搜索半径可增加。例如但不限于，由于与实际参数和估计的参数(例如实际fov对估计fov)之间的差异有关的误差增加，搜索半径可能增加。在具体实施方式中，附加的特征点可以以少于相应特征点对214a-b的预定数量(例如3对)的数量添加至区域212。例如但不限于，如果特征搜索在特定区域212中呈现少于3个的特征点，则来自备份特征点集合的备份特征点可添加至一组特征。在具体实施方式中，备份、替代或附加的特征点可基于相机系统110的特性、每个相机112的特性、校准数据或它们的任意组合，并且附加的特征点可在数据结构中指出或被标记。
如图10的示例中所示，在步骤315中，可利用基于匹配的相应特征点对的单应性矩阵，来确定图像i-6和i-7之间的相机位移(例如，相机旋转或平移)的估计。在具体实施方式中，对图像i-6和i-7的调整可基于由单应性矩阵确定的估计相机位移而进行。可利用单应性矩阵来计算用于调整和对齐图像i-6和i-7以形成合并的拼接图像220的拼接参数。例如但不限于，可初始地对图像i-6和i-7计算单应性矩阵，并且可基于计算的单应性矩阵对后续图像进行调整。
可对图像i-7和i-6进行调整以恰当地将图像i-7和i-6结合为拼接图像220。在具体实施方式中，可进行调整以满足一个或多个优化标准。例如但不限于，优化标准可以是相应特征点对214a-b的竖直或水平偏移应为最小化。作为另一示例，优化标准可以是在观看者将看见重影之前，相应特征点对214a-b的水平偏移应小于最大水平偏移。作为又一示例，优化标准可以是相应特征点对214a-b的竖直偏移应小于最大竖直偏移。
在具体实施方式中，可在假定一个或多个初始条件的情况下执行对图像i-6和i-7的调整。例如但不限于，初始条件可假定第一相机对(例如，图4中的相机对l1-r1)具有限定相机系统110的主射线(或偏转(yaw))的定向114。作为另一示例，初始条件可假定相对于y轴的其余的相机对(相对于第一相机对)的定向114为yi＝(i–1)×360°/n，其中y轴与相机系统的平面正交，i＝2…n，且n为相机系统的相机对的数量。例如但不限于，对于具有n＝8个相机对的相机系统110，相机对200相对于彼此定向在45度。作为又一示例，初始条件可假定相机系统110的相机112与x轴和z轴平行(例如，分别为零滚转(roll)和俯仰(pitch))。
在具体实施方式中，对图像i-6和i-7的调整可通过最小化一个或多个优化成本来确定。例如但不限于，相应特征点对214a-b之间的距离可表示基本的总优化成本(cost)。作为另一示例，沿着轴的旋转调整可具有与加权旋转位移(例如，与每个轴、偏转、俯仰和滚转有关的kx(x′–x0)2，其中kx为加权系数)成比例的成本。另外，每个轴可具有特定加权系数，例如，对于偏转轴的ky、对于俯仰轴的kp和对于滚转轴的kr。在具体实施方式中，针对每个轴，图像i-6和i-7的fov或平移调整可具有kx|x′–x0|的线性成本。每个轴可具有特定的加权系数，例如对于fov调整的kfov、对于x轴平移的kcx和对于y轴平移的kcy。在具体实施方式中，优化成本可被函数化，以使得优化成本函数可修改为处理角落问题。
在具体实施方式中，可通过利用试探优化、初始条件、优化成本或其任意组合执行全局优化，来将图像(例如，i-6和i-7)拼接在一起。例如，可利用诸如蒙特卡洛、梯度下降、高斯-牛顿的稀疏版本或其他适当的非线性优化求解来全局地优化这些因子。在具体实施方式中，参数的系统可通过由(2)表示的方程的系统来全局地优化：
其中x’和y’为来自去扭曲操作的坐标；如上所述，单应性矩阵由相应特征点对来计算；ypr为分别沿着偏转轴、俯仰轴和滚转轴的旋转调整；scale为图像的缩放；translate为平移调整；以及x”、y”和z”为经优化的坐标。
由方程(2)描述的方程组可能收敛失败。如图10的示例中所示，在步骤325中，多于40％的特征点来自备份源(例如，校准)的图像收敛失败可表明特定图像太白、太近或缺乏特征。在这种情况下，可根据上述的初始条件调整特定图像。在具体实施方式中，由方程(2)描述的方程组可能因具有太多空间偏移的替代特征点而失败。在这种情况下，替代的特征点可使自身的优化成本减半并再次执行全局优化。例如但不限于，优化的减少和全局优化的执行可执行预定次数(例如，4次循环)。另外，如果方程(2)持续收敛失败，则特征点的贡献可设定为零。
在具体实施方式中，除了来自具有重叠部的、与特定眼睛对应的相邻相机的图像以外，来自与另一眼睛对应的相邻相机的图像也可与与两个图像都具有重叠部。例如但不限于，来自相机l1和l2的图像可具有重叠区域，并且相邻相机(例如，相机r1、r2或r3)也可捕获包括相同的重叠区域的图像。如图7的示例中所示，图像i-l1和i-l2具有重叠区域210l1-2，并且图像i-r1也与上述两个图像重叠。在具体实施方式中，可检测来自相邻相机(例如，相机r1)的图像(例如，图像i-r1)的特征，并且可在相邻图像(例如，图像i-l1和i-l2)的重叠区域(例如，重叠区域210l1-2)与来自相邻相机的图像之间确定相应特征点对。另外，可基于所检测的相邻相机的重叠区域的相应特征点对和来自相邻相机的图像的重叠部分来计算单应性矩阵。在具体实施方式中，与相邻相机(例如，相机l1和l2)对应的单应性矩阵的结果可与对应于相邻相机(例如，相机r1)的单应性矩阵进行比较。此外，确定与左眼视图对应的拼接图像和与右眼视图对应的拼接图像之间的对应关系可用于拼接图像的立体相机对之间的垂直偏移。
在具体实施方式中，如上所述，一旦计算出拼接参数或进行调整，即可检查拼接参数的准确性。在具体实施方式中，可利用由相机系统110捕获的已知场景执行校准。已知场景的相应特征点对的检测可为拼接图像提供可用作图像调整的基础的一组特征点。一旦拼接服务器检测到重叠区域内的相应特征点对，便可在每个检测的特征点周围区域中执行误差计算(例如，差异的平方和)。如果误差计算超过预定阈值，则可将检测到的相应特征点对标记为可疑。如果相应特征点对的数量降至预定阈值对的数量以下，则可对离散图像的拼接进行标记。在具体实施方式中，被标记的相应特征点对可由校准数据的特征点替换，由此迫使单应性计算认为图像位于校准的定向上。
在计算单应性矩阵之后，可检查其准确性。如图10的示例中所示，在步骤335中，可检查连续单应性矩阵的偏转旋转之间的差异。如果差异处于基于校准数据的期望差异的±2-3°范围内，则可认为图像调整是准确的。例如但不限于，可计算每个相机相隔30°的12-相机系统的单应性矩阵。如果偏转旋转差异处于期望值的预定范围内(例如，27°与33°之间)，则计算出的单应性矩阵可认为是可接受的。在具体实施方式中，来自相机的图像用于计算单应性矩阵。如果计算出的单应性矩阵或相机位置处于期望位置和角度的±2度范围内，则可认为拼接是良好的。如图10的示例中所示，在步骤345中，如果对于某些图像拼接失败，则检测到的相应特征点对可由来自校准数据的替代特征点来替换，并重新尝试拼接过程。如由图10的示例所示，在步骤355中，如果对于若干图像的拼接过程的失败超过预定阈值数量，则可拒绝整个拼接并且可使用来自上一次成功拼接的帧的单应性矩阵。在初始帧发生拼接失败的情况下，可替代地使用基于校准数据计算的单应性矩阵。
在具体实施方式中，顶部图像i-top的多个部分可与拼接图像220的多个部分重叠或对应。另外，顶部图像i-top的特定部分可与基于相机110的相机112的已知配置和顶部相机112t的已知配置的特定图像(例如，图像i-1、i-2、i-3等)有关。例如但不限于，通过两个相邻的拼接线217邻接的顶部图像i-top的每个区域(例如，阴影区域219)可对应于拼接图像220的特定图像。在图13的示例中，图像i-top的阴影区域219可对应于由相机系统110的特定相机112捕获的图像i-2。构成拼接图像220的图像与顶部图像i-top的多个部分之间的对应关系可基于相机112的配置或定向114以及顶部相机112t的配置。在具体实施方式中，图像i-top中的拼接线217可对应于拼接图像220的接缝(seam)217m，其中，接缝217m可表示构成拼接图像220的相邻离散图像之间的边界。作为另一示例而不限制，中心线218可对应于拼接图像220的离散图像的大致中心218m。在具体实施方式中，线217和218可分别表示在顶部图像i-top为拼接成拼接图像220而被处理或优化之前接缝217m和中心218m的估计位置。
在具体实施方式中，拼接图像220的上部210u可表示拼接图像220的、与顶部图像i-top的外围环形区域210t重叠的区域。例如，拼接图像220可与相对于水平定向114覆盖例如±70°的fovv对应，并且顶部图像i-top可对应于从竖直方向(例如，+90°维度)延伸至+60°的纬度的图像。图像i-top的外围实体黑色圆可对应于+60°的纬度，且图像i-top的较小虚线圆210e可对应于+70°的纬度。重叠区域210u和210t可对应于图像i-top与拼接图像220之间的10°重叠(例如，从纬度+60°至纬度+70°)。在具体实施方式中，将顶部图像i-top拼接成拼接图像220的算法可包括：如上所述，搜索特征从而确定位于重叠区域210u和210t中的相应特征点对；以及如以下所述，利用那些相应特征点对将图像i-top’拼接为拼接图像220。尽管本公开描述并示出具有彼此对应或重叠的特定部分的特定顶部图像和拼接图像，但是本公开可设想到具有彼此对应或重叠的任何适当部分的任何适当的顶部图像和拼接图像。
图14示出在处理之后图13中的示例性顶部图像。在具体实施方式中，在被添加至拼接图像220之前，可对顶部图像i-top的较小虚线圆210e进行处理、转换或优化以形成经处理的图像i-top′，然后该图像i-top′被拼接并添加为拼接图像220。在具体实施方式中，应用至顶部图像i-top的较小虚线圆210e的处理步骤可包括：旋转或移动线217或218或者扭曲顶部图像i-top的较小虚线圆210e，使得经处理的图像i-top′与拼接图像220匹配或混合。在具体实施方式中，单个经处理的图像i-top′可与对应于左右视图或眼睛的相应的拼接图像220一同使用。例如但不限于，顶部图像i-top的重叠区域210t可在转换处理之前被剪除。在具体实施方式中，经处理的图像i-top′可添加至表示左眼视图的拼接图像以及表示右眼视图的拼接图像。在具体实施方式中，顶部图像i-top的较小虚线圆210e可经历两个处理过程以分别基于与左眼视图和右眼视图对应的拼接图像生成分开的经处理的左侧顶部图像和经处理的右侧顶部图像。例如但不限于，经处理的左侧顶部图像可添加至表示左眼视图的拼接图像，并且经处理的右侧顶部图像可添加至表示右眼视图的拼接图像。
在具体实施方式中，处理顶部图像i-top的较小虚线圆210e以生成经处理的图像i-top′可包括：如上所述，检测重叠区域210t和210u中的相应特征点对。例如但不限于，可检测到位于拼接线217与图像i-top的外缘相交处附近的特征。检测的特征的一个或多个特征点可匹配至来自拼接图像220的相应特征点，并且基于相应特征点对之间的匹配，可计算图像i-top的较小虚线圆210e相对于拼接图像220的偏移。在具体实施方式中，在未检测到任何相应特征点对的情况下，可基于相机几何结构确定特征点，或者可使用相机校准来确定对顶部图像i-top的较小虚线圆210e执行的处理。
在具体实施方式中，可确定顶部图像i-top的中心周围的径向扭曲，使得顶部图像i-top的中心位置中心保持固定。另外，基于确定的径向扭曲，拼接线217可旋转至拼接图像216的接缝217m结束的交叉位置，并且中心线218可旋转为匹配在拼接离散图像以生成拼接图像220期间执行的任何偏转调整。例如但不限于，如果构成拼接图像220的离散图像(例如，图像i-1、i-2或i-3)之一经历+2°的偏转调整，则可将+2°的旋转应用至对应的中心线218。
在具体实施方式中，可拉出或拉进图像i-top′的较小虚线圆210e的外缘的一个或多个部分以匹配拼接图像220。例如但不限于，可拉出或拉进拼接线217或中心线218与图像i-top的较小虚线圆210e的外缘交叉的位置，以匹配拼接图像220的对应区域。例如但不限于，根据情况，可通过分别适当地增加或减小拼接线217或中心线218的长度来拉出或拉进图像i-top的较小虚线圆210e的外缘。在具体实施方式中，经处理的图像i-top′可单独地储存为盖(cap)图像，或者可将经处理的图像i-top′合并为拼接图像220。例如但不限于，可将极点至直线转换应用至经处理的图像i-top′，然后如以下所述，可将经处理的图像i-top′混合为拼接图像220。
在具体实施方式中，离散图像拼接在一起以形成拼接图像220的接缝217m可利用梯度混合进行“混合(blend)”。例如但不限于，照度或亮度可具有沿着靠近接缝217m的方向的梯度。例如，亮度可随着从任一横向方向朝着接缝217m移动而降低。拼接图像220与经处理的图像i-top’的外缘的相交处可以类似的方式混合。例如但不限于，拼接图像220与经处理的图像i-top’之间的相交处的亮度可具有与拼接图像220的尺寸成比例的梯度，使得混合在高纬度处平滑。
离散图像的混合可发生在围绕接缝217m的重叠区域内。另外，混合可沿着非线性路径发生以降低来自混合路径的视觉不连续性。在具体实施方式中，混合算法可寻找多个候补混合路径。可在相邻的离散图像周围区域中执行边缘检测算法。如果候补混合路径匹配任一图像的侧边缘，则候补混合路径可在两个方向上跟随侧边缘直到候补混合路径到达拼接图像220的下边缘。如果候补混合路径交叉，则候补路径可继续沿着它们的现有方向。在具体实施方式中，从候补混合路径中选择混合路径可选择到达拼接图像220的下边缘的唯一的候补混合路径，或者如果多个候补混合路径到达下边缘则选择最短候补混合路径。在具体实施方式中，相对于候补混合路径所在的图像的中心凹入最少的候补混合路径开启。对于“被追踪”的部分，掩模梯度应为50％，直接位于追踪线上方且具有较小模糊半径。
在具体实施方式中，为了空间稳定拼接，可使用voronoi型接缝探测器(finder)。该空间稳定性可确保共享的单应性矩阵和混合数据可重复使用，这样可减小混合边缘的闪烁。可使用voronoi型接缝探测器进一步为如上所述的特征匹配器精细化搜索区域，由此提升限制在最有可能出现在输出图像中的区域(例如，重叠区域)内的特征点的单应性矩阵的精确度。该数据可实时反馈回前端处理器以忽略可能不会在拼接图像220的拼接中使用的图像数据。
在具体实施方式中，在生成拼接图像220时，捕获的图像中的对象的近场(near-field)深度中的变化可能成为问题。如上所述，可使用深度信息(例如，由深度传感器或利用立体图对对图像中的对象进行三角测量而获取)来基于特征点将对相机的接近度的特征点匹配分隔开。较接近观看者或相机的对象相对于远处的对象具有不同的拼接几何结构。在具体实施方式中，远场(far-field)对象的深度变化对拼接质量的影响可能较小，并因此计算资源可集中在近场深度变化的计算上。在具体实施方式中，拼接服务器130可基于深度数据确定一个或多个图像中的对象是否位于可采取附加的措施以提高拼接质量的区域内。例如但不限于，然后可响应于检测到位于相机112或相机系统110的预定阈值距离内的对象，而触发单应性矩阵的计算(或重新计算)。
在具体实施方式中，离散图像可分割为单独地拼接或混合的多个部分，或者可对近场对象进行优化，因为这些对象可能具有比远场对象更多的可见拼接误差。例如但不限于，近场对象可与远场对象分隔开并且单独地进行拼接。在具体实施方式中，可通过利用二进制掩码将近场对象放置于远场对象上方，将分隔开的近场对象与远场对象一同掩盖在拼接图像220上。对于观察近场对象上的相同点的相机而言，近场对象可能看起来非常不同。在具体实施方式中，拼接服务器可选择使用相邻图像之一以拼接重叠区域中的对象。例如但不限于，可使用缝隙探测器(例如，voronoi型)拼接来自包含有大部分近场对象区域的图像的近场对象。在具体实施方式中，可使用不均匀的扭曲将近场对象的单应性矩阵与远场对象的单应性矩阵结合。基于网格的扭曲，例如，可在近场对象与远场对象之间的边缘处在两个单应性矩阵之间转换以将拼接图像220的前景和背景二者接拼。
当对象从远场移动至近场时，单应性矩阵可能明显地改变。在具体实施方式中，可在与拼接过程不同的计算线程上执行单应性矩阵的计算。例如但不限于，一个计算线程可执行离散图像的拼接，且另一计算线程可分析离散图像的单应性数据并且向共享的储存器提供更新。可通过使用校准数据或利用上一个可用的单应性矩阵来管理其余的情况。在具体实施方式中，可利用图形处理单元(gpu)来加速计算单应性矩阵或拼接过程。例如但不限于，系统的中央处理单元(cpu)可用于计算单应性矩阵，并且gpu可用于扭曲并混合离散图像。
在具体实施方式中，可执行专门用于拼接立体视频的一个或多个调整。在具体实施方式中，来自拼接图像220的与左眼视图和右眼视图对应的相应特征点对可投射在3-d球面投影空间上。在具体实施方式中，左眼视图与右眼视图的起始点之间可能存在差异。该差异可通过第一相机位置用作起始位置且第一相机具有零偏转的初始条件来校正。其余的相机可基于这些初始条件进行调整。
图15和图16分别示出用于拼接离散图像的示例性方法500和550。如图15的示例中所示，在具体实施方式中，用于拼接实时360°3-d视频的方法500将独立帧的拼接分配在多个拼接服务器上。可以拼接服务器为单位进行单应性矩阵管理，或者多个拼接服务器可利用中央单应性服务器共享单应性矩阵。在具体实施方式中，中央单应性服务器可向独立的服务器节点分配任务以计算单应性矩阵或拼接图像。用于完成拼接图像的服务器的数量可与期望的帧速率或拼接服务器的吞吐量成比例。例如但不限于，对于具有1帧每秒(fps)吞吐量的拼接服务器，可使用30个拼接服务器以产生30fps的拼接视频。
如图15的示例中所示，在具体实施方式中，用于拼接实时360°3-d视频的另一方法550将视频分段的拼接(例如，视频块或多重帧)分配至多个拼接服务器。多个拼接服务器可并发地处理视频的拼接，其中每个拼接服务器生成与接收的视频分段对应的拼接的视频分段。收集服务器或视频组合器可从拼接服务器接收各个视频分段，并且将它们合并以生成拼接视频。
在具体实施方式中，可手动地拼接离散图像以生成拼接图像或视频。可忽略特征提取和相应特征点对的确定，并提供手动选择的相应特征点对。从这一点来说，可如上所描述地执行拼接过程其余步骤。
在具体实施方式中，拼接系统可将离散图像一起拼接成立体3-d360°视频并且将立体3-d360°视频存储为高数据视频帧。对于高速、高分辨率视频回放或低延迟的场景，优选地，客户端设备150利用其gpu或cpu实现拼接操作。在这种情况下，内容服务器140可为客户端设备150存储参数或掩模以适当地拼接所接收的图像，并且客户端设备150可基于参数和掩模实现变形、合成或混合步骤。掩模可以低分辨率存储为二进制图像，并且二进制图像可利用参数通过内插被缩放至适当的分辨率，并且接收的图像拼接在一起以重新生成场景。在具体实施方式中，可能不会从帧到帧产生掩模，并且可仅在检测到改变时存储掩模。还可以采取结合的方法，在所述方法中，低分辨率版本的帧充分地被合成并被保存以用作背景，而高分辨率图像可以其原始的状态被取得，然后在客户端设备150上被变形并合成。
图19示出包括未捆绑的流的直接传输的示例性传输方案。在具体实施方式中，内容服务器140可以以单独的流的形式传输视频数据，而不是单个合成流。例如但不限于，客户端设备150可分开请求资源(例如，视频流2、音频流2和重构信息2)，然后，客户端设备150分开接收这些资源并根据需要使用它们。在具体实施方式中，可包括描述符文件或流(例如，具有多种流的元数据或位置)以便于访问。
图22示出用于视频流的传输的另一示例性调解方案。在具体实施方式中，内容服务器140可将合成流的成分和子流存储为单独的流，使得在从客户端设备150接收到请求时不需要内容服务器来提取合成流的成分。如上所述，客户端设备150可向内容服务器140传输包括用于选择合成流的一个或多个成分或子流的指令的请求。内容服务器140可检索所请求的成分或子流并将请求的成分或子流传输至客户端设备150。在具体实施方式中，来自客户端设备150的请求可包括用于对合成流的一个或多个成分或子流执行变换的指令。如上所述，变换可包括对一个或多个成分或子流进行转码或调整尺寸。例如但不限于，来自客户端设备150的指令可指挥内容服务器140将一个或多个音频流转码为环绕音效格式(例如，空间音频编码(sac))。
图23示出切片流集合144。在图23的示例中，切片流集合144包括与顶部切片s-top和底部切片s-bottom对应的两个流。切片流集合144还包括与呈现由相机系统110的相机112提供的360度视图的切片s-1至s-n对应的n个流。在本文中，术语切片可指帧的空间上不同的区域，该区域可与相同帧中的其他区域分开地进行编码。另外，在本文中，术语切片流可指被划分为多个独立的视频流的拼接或未拼接视频流，所述多个独立的视频流构成视频帧的垂直和/或水平切片，其中每个视频流可单独地进行解码。在具体实施方式中，切片流集合144可附加地包括诸如音频或控制信息的来自合成流的数据。
除了定向数据以外，客户端设备150可传输指令以选择切片流的一个或多个成分或帧。在具体实施方式中，指令还可指挥内容服务器140转换切片流的成分或帧中的一个或多个。例如但不限于，内容服务器140可响应于来自客户端设备150的、选择一个或多个成分或帧的指令而访问并服务来自多个流的数据。
在具体实施方式中，客户端设备150可基于推理出用户希望改变视角(perspective)(例如，基于头戴式显示器(hmd)的动作或遥控)在可见区域的每一侧上预见性地请求附加的切片。客户端设备150可基于推理出的视角的改变来传输用于选择一个或多个成分或帧的指令。在观看者视角中，在传输期间的lod提升是微弱的，但是随着视角在观看的方向中变得更加稳定，lod可递增地提升(例如，提升的视频分辨率)。在具体实施方式中，随着用户视角改变，来自客户端设备150的指令可逐渐选择更高分辨率的视频切片。
交互式串流可使用再编码流或仅关键帧编码流，例如，移动连续图像专家组(m-jpeg)编码。在关键帧和中间帧均存在的情况下，内容服务器140可对所有流进行解码，然后对请求的切片进行再编码。在具体实施方式中，内容服务器140可包括加速器asic或加速视频流的再编码/解码/操控的其他能力。例如但不限于，这些能力可实现为具有专用硬件(例如，加速器asic)的单独的处理节点，其中内容服务器充当该处理节点的代理。
在具体实施方式中，整个数据流(例如，内容容器142)可传输至一个或多个客户端设备150。例如但不限于，内容服务器140可将内容容器142传输至一个或多个客户端设备150，然后每个客户端设备150可选择或提取内容容器142的一部分(例如，客户端设备150可从内容容器142提取特定的视频子流以显示在客户端设备150上)。客户端设备150可基于客户端设备150的要求或能力确定需要数据流的哪个部分(例如，如果客户端设备150具有显示高清视频的能力，则客户端设备150可从内容容器142提取高清视频流)。在具体实施方式中，数据流的一个或多个部分可被发送至多个客户端设备150。例如但不限于，内容服务器140可将高清视频流传输至具有显示高清视频的能力的一个或多个客户端设备150，并且内容服务器140可将标清视频流传输至具有显示标清视频的能力的一个或多个其他客户端设备150。
图25示出用于传输3-d360°视频的示例性方法600。该方法可起始于步骤610：接收与三维视频的特定视图对应的请求。在具体实施方式中，3-d视频包括若干视图。在步骤620中，访问对应于视频的数据流。在步骤630中，基于所述请求选择所访问的数据流的一个或多个部分。在具体实施方式中，所选择的的部分中的至少一个对应于所述特定视图。在步骤640中，将所访问的数据流的所选择的部分传输至客户端设备。在适当的情况下，具体的实施方式可重复图25的方法的一个或多个步骤。尽管本公开描述并示出图25的方法的特定步骤如以特定顺序发生，但是本公开可设想到图25的方法的任何适当步骤以任何适当顺序发生。此外，尽管本公开描述并示出包括图25的方法的特定步骤的用于传输3-d360°视频的示例性方法，但是本公开可设想到包括任何适当步骤的用于传输3-d360°视频的任何适当方法，在适当的情况下，所述步骤可包括图25的方法的所有或某些步骤，或者不包括其中任一步骤。另外，尽管本公开描述并示出实现图25的方法的特定步骤的特定组件、设备或系统，但是本公开可设想到实现图25的方法的任何适当步骤的任何适当组件、设备或系统的任何适当组合。
在具体实施方式中，在3-d360°视频传输至客户端设备150之后，可重构视频使得用户可将由视频呈现的视图观看为3-d场景。例如但不限于，可通过如下方式重构3-d360°视频，即，正在观看重构视频的用户可感知到自然、逼真的或沉浸式3-d环境，这种环境提供亲临“现场”的感觉，而不是仅仅观看屏幕上的场景的表象。在本文中，术语重构可指将2-d图像或视频转换为拼接或另外处理的并校准的视频流的动作，其可用于以逼真的3-d方式呈现场景。在具体实施方式中，重构可通过诸如hmd或3-d电视的立体视觉系统来执行。客户端设备150(例如，hmd或3-d电视)可从内容服务器140接收离散图像或流，并且客户端设备150可通过结合、拼接或处理离散图像或流来执行重构以生成立体3-d360°视频。在具体实施方式中，重构技术可允许客户端设备150向观看者无缝地呈现3-d场景，同时还为观看者提供以下中的一个或多个：有效的带宽使用、拼接过程的优化、使用先进的网络串流技术的能力，或延迟的优化、计算或其他视觉参数。尽管本公开描述并示出以特定方式执行的特定的重构技术，但是本公开可设想到以任何适当方式执行的任何适当的重构技术。
在具体实施方式中，可将重构技术应用至立体图(例如，利用如上所述的相机系统110捕获的图像)。例如但不限于，可通过将拼接图像映射在球面上(例如，利用球面投影映射)来重构立体图。当显示重构的3-d视频时，用户的眼睛或头部可呈现为好似位于球体的中心，其中，用户的头部被允许自由地旋转以观看3-d视频的不同的部分。随着用户的头部旋转，客户端设备150可以无缝的方式显示两个重构图像(例如，左图像和右图像)。在具体实施方式中，客户端设备150可从内容服务器140接收单独的图像、掩模数据和变形参数。客户端设备150可使用gpu或cpu对图像进行变形并应用掩模或其他校正参数来在存储器中创建球形结构。在具体实施方式中，可跳过或忽略球体的未被用户观看的部分，这可降低用于数据传输的带宽。在具体实施方式中，在检索或处理高分辨率视频时，可提供并临时使用低分辨率图像(例如，当用户转动他们的头部以观看视频的不同部分时)。
在具体实施方式中，摄影测量技术可提供相对快速或有效的方法以处理图像。例如但不限于，摄影测量技术可用于直接处理来自相机系统110的图像，并且提供由相机系统110捕获的场景的取景器类型的指示(例如，不需要拼接或其他附加的过程)。为操作而设置相机系统110的人可使用利用摄影测量处理的图像以快速地观看由相机系统110获取的图像，以防需要移动相机系统110或调整其操作参数。作为另一示例而不限制，如果拼接过程变得暂时不可用或无法实行，则可将摄影测量技术应用为备份以处理来自相机系统110的图像或将图像平面置于适当的焦距处。虽然本公开描述了包括特定过程的特定摄影测量技术，但是本公开可设想到包括任何适当的过程的任何适当的摄影测量技术。
图29示出在对图像应用变形操作之前和之后的单目图像的示例性集合。在图29的示例中，图像765a、765b和765c对应于应用变形操作之前的所捕获的单目图像，并且图像767a、767b和767c对应于应用了变形操作之后的图像。在具体实施方式中，相机系统可包括一组单目相机，其中每个相机沿着相机系统的半径同轴地对齐。在具体实施方式中，来自单目相机系统的一组单目图像可结合以形成看起来如通过一组虚拟立体相机拍摄的拼接图像，其中每个vsc对(例如，一对左vsc和右vsc)对应于单目相机。例如但不限于，可在拼接过程期间对一组单目图像进行转换以生成独立的左眼输出和右眼输出。在具体实施方式中，如上所述，单目图像可基于轴边缘边界和非轴边缘被分割。在具体实施方式中，一组单目图像可变形为补偿场景中的对象的各种3-d位置。例如但不限于，如图29中的变形的图像767a、767b和767c所示，应用变形操作之后的一组图可具有非线性的边界或跨越两个维度变化的边界。在具体实施方式中，图像边界可形成可以限定单目图像的哪个部分属于哪个vsc的掩模。尽管本公开描述并示出以特定方式分割并变形的特定的单目图像，但是本公开可设想到以任何适当方式分割并变形的任何适当的单目图像。
在具体实施方式中，外围设备可与hmd配对以调整透视图242a-c。例如但不限于，外围设备(遥控设备或游戏控制器)可包括物理纹理以引导用户至局部按钮或控制。另外，外围设备可包括允许外部相机定位外围设备并在透视图242a-c中显示其表象的的标签(主动或被动)。在具体实施方式中，外围设备的虚拟表象可能不是准确的表象。例如，某些部分(例如，按钮或开关)可被准确地渲染，而可对外围设备进行缩放以为外围设备注入附加的功能。作为另一示例，外围设备可使用允许外围设备在用户触摸按钮时向客户端设备150a-c提供输入的触摸感测。在具体实施方式中，外围设备可以是附接至真实对象的一个或多个可附接的传感器粘贴件。例如但不限于，左箭头功能粘贴件可放置于对象(例如，纸巾盒)的左侧上，且右箭头功能粘贴件可放置于对象的右侧上。在对象的每一侧上轻敲可浏览视频内容。
在具体实施方式中，客户端设备可提供允许用户与360°立体3-d视频交互的ui。在具体实施方式中，客户端设备150a-c的imu可使用用户头部的动作来与ui交互(例如，点头或摇头以确认或拒绝动作)。例如但不限于，ui可使用透视图242a-c的侧面来显示菜单项或者激活各种功能。例如，如果透视图242a-c的中心包括主要视频内容，则透视图242a-c的侧面或背面可包括用户可看见以激活的控制。作为另一示例，ui可以水平地组织不同的视频片段。用户可通过水平地旋转头部来浏览(navigate)视频片段。另外，通过向上看或向下看，用户可逐帧地缩放选择的片段。作为另一示例，摆动用户的头部可导致透视图242a-c的倾斜。作为另一示例，ui可基于检测到由用户执行的头部向下的动作来打开动作菜单。
在客户端设备150a-c为hmd的情况下，用户的视觉可能被遮挡且用户可在手或真实环境不可见的情况下与360°立体3-d环境240交互。在具体实施方式中，hmd可包括可用于追踪用户的手的骨骼以生成手的指针或虚拟图像的面向外部的相机。例如但不限于，用户可利用由面向外部的相机捕获的手势互动与ui交互。在具体实施方式中，客户端设备150a-c可包括与头部接触的电极。例如但不限于，一个或多个电极可构建至hmd设备的边缘中以接触用户头部的前侧靠近前额皮质区域。作为示例，ui可包括捕获大脑中的电活动以与360°立体3-d环境240交互的脑机接口(bci)。另外，客户端设备150a-c可推断用户的情绪或指令并相应地调整内容或透视图242a-c。
在具体实施方式中，客户端设备150a-c可包括深度传感器和图像传感器的组合以捕获用户的四肢(例如，手或脚)在3-d中的移动。例如但不限于，传感器可以是类似kinect的系统的一部分。作为另一示例，客户端设备150a-c可使用面向用户以通过三角测量分割用户的手并确定其3-d位置的相机对。在具体实施方式中，客户端设备150a-c的ui可由捕获到的用户手的移动识别具体的手势。另外，ui可通过捕获到的用户的一只或两只手的移动来提供对一组指针的直接控制。例如但不限于，捕获到的手的移动可允许用户玩游戏、与其他虚拟内容交互或对虚拟风景进行注释。作为另一示例，用户还可利用手势进行诸如暂停或播放360°立体3-d视频，访问诸如倒回、快进或音量的控制，或者转移至不同的虚拟场景或区域。例如，ui可允许用户通过举起他们的手来移动或定格360°立体3-d视频的一部分。在具体实施方式中，360°立体3-d视频的控制可通过由用户“触摸”的ui的虚拟控制(例如，虚拟按钮或滑动器)或者在没有虚拟控制的情况下利用手势来完成。
例如但不限于，ui可基于识别到追踪所显示的虚拟对象的轮廓的手指或手的移动来加亮或选择虚拟项目。例如，ui可提供特殊效果以在透视图242a-c中将选择的对象与其他未选择的对象区分开。作为另一示例，ui可将四个手指的移动识别为对应于虚拟qwerty键盘或控制器面板上的输入。例如，ui可基于虚拟键盘上的输入在透视图242a-c上提供虚拟便笺。作为另一示例，ui可响应于检测到两个拇指的移动而执行选择或点击操作。另外，用户可通过轻敲虚拟键盘来选择信件，并且相机追踪该动作。作为另一示例，ui可将指示手势联系为将360°立体3-d视频推进至下一记录点的指令。作为另一示例，ui可基于检测到用户的手之间的距离改变而放大或缩小透视图242a-c。作为另一示例，ui可基于捕获到形成望远镜形状的两只手来在透视图242a-c上进行放大。
在具体实施方式中，相机或深度相机可用于将对象从用户的“真实”环境中拉进视图242a-c中。例如但不限于，用户可位于其起居室中，并且在仍然在看着他们的沙发、咖啡桌和咖啡桌上的饮品的同时，利用hdm虚拟地被送往美丽的海滩。在具体实施方式中，ui可将增强至透视图242a-c中的真实对象用作透视图242a-c的虚拟控制。在具体实施方式中，用户可通过连接至客户端设备150a-c的外围设备与透视图242a-c交互。在具体实施方式中，外围设备或客户端设备150a-c可包括麦克风以操纵ui或透视图242a-c。例如但不限于，用户可说出诸如“打开我的邮件”的语句，以供ui将内容显示给用户。作为另一示例，用户可说出诸如“这是哪里”的语句，且ui可显示地图并在地图上标出位置。作为另一示例，用户可说出诸如“暂停”或“开始”的语句以操纵360°立体3-d视频的回放。
图33示出示例性头戴式客户端计算设备150的框图。在具体实施方式中，头戴式客户端计算设备150可被称为客户端系统150、客户端设备150或头戴式显示器(hmd)。在具体实施方式中，客户端系统150可由用户戴在用户的头部上或头部周围。在具体实施方式中，客户端系统150可包括一个或多个显示器。例如但不限于，客户端系统150可包括分割为左侧和右侧的单个显示器，其中显示器的左侧和右侧分别用于向穿戴着客户端系统150的用户显示3-d场景的左图像和右图像。在图33的示例中，客户端系统150包括左显示器782l和右显示器782r，并且两个显示器可用于向用户呈现3-d视频。在具体实施方式中，客户端系统150可包括一个或多个相机。例如但不限于，客户端系统150可包括从用户的头部朝向外侧或远离的一个或多个相机，相机可用于捕获用户的物理环境的一个或多个图像。在图33的示例中，客户端系统150包括左相机784l和右相机784r。两个相机784l和784r可用于捕获用户的物理环境的立体图或视频，并且这些图像或视频可在显示器782l和782r上显示给用户。
图34示出穿戴着示例性头戴式客户端计算设备150站立在房间中的用户。在具体实施方式中，用户可观看呈现在客户端系统150上的3-d视频，其中3-d视频包括距离用户的物理环境遥远的真实场景的图像。在具体实施方式中，用户的物理环境可包括一个或多个对象(例如，家具、墙、梯子、门)、动物、或者位于用户附近的、与用户处于同一房间中的或位于用户的特定距离内(例如，1米、3米、5米、10米内或处于任何适当的距离内)的人。在图34的示例中，用户正站立在房间中观看呈现在客户端系统150上的场景，并且用户的物理环境包括家具(例如，桌子910和置物架915)、狗920和另一人925。
图35示出用户穿戴着头戴式客户端计算设备150观看的示例性场景。在具体实施方式中，由用户观看的场景可包括3-d图像或3-d视频。在图35的示例中，在客户端系统150上向用户显示的场景包括城堡、树和晴朗的天空。用户可在家中位于其起居室中，与此同时穿戴着客户端系统150以观看描述欧洲城堡的旅行视频。
图38示出具有叠加在场景上的狗920的图35的示例性场景。在具体实施方式中，当来自用户的物理环境的对象以特定速度或高于特定速度接近用户，或者当所述对象位于人的特定距离内时，可向用户显示该对象。在具体实施方式中，显示来自用户的物理环境的对象可允许用户避免撞到或绊到对象。在图38中，狗920可以特定速度或高于特定速度接近用户，或者狗可能位于相距人的特定距离内。可由客户端系统150的相机捕获狗920的图像，并且可从其环境提取狗的图像并将它叠加在3-d视频上。在具体实施方式中，可在与对象在用户的物理环境中的位置近似对应的位置中向用户显示来自用户的物理环境的对象。在图38中，狗920显示在与狗920在用户的物理环境中的位置对应的位置中。
在具体实施方式中，客户端系统150可接收表明用户的物理环境中发生事件的指示，其中事件包括声音。在具体实施方式中，对应于事件的声音可包括一个或多个可听话语。例如但不限于，穿戴着客户端系统150的用户可说出由麦克风794接收的口头命令。用户可说出命令“相机”或“显示房间”，且作为响应，客户端系统150可显示用户的物理环境的图像。在图37的示例中，人925可向用户说“你好”，且响应于人925的可听问候，客户端系统150可显示人925的图像。在具体实施方式中，对应于事件的声音可包括大于阈声幅的声幅。在图38的示例中，狗920可吠叫，并且狗920的声幅可超过阈声幅。响应于检测到来自狗920的吠叫，客户端系统150可显示狗920的图像。
图39示出分成两个示例性视图的示例性显示器。在具体实施方式中，在客户端系统150上向用户显示的场景可分割成两个或两个以上的视图。在图39的示例中，城堡场景显示在用户视图的左半边上，且用户的物理环境的图像显示在用户视图的右半边上。用户的物理环境的图像可由客户端系统150的一个或多个相机捕获。
图40示出具有叠加在场景上的桌子910的图35的示例性场景。在具体实施方式中，当对象位于人的特定距离内时，可向用户显示来自用户的物理环境的对象。例如但不限于，当穿戴客户端系统150的用户观看显示在客户端系统150上的场景或与该场景互动时，他们可在其物理环境内进行转身或移动。为了防止用户撞到或绊到他们的物理环境中的对象，客户端系统150可在用户相邻对象时提醒他们。在图40的示例中，用户可能处于桌子910的阈值距离内，为了使用户知晓该对象，客户端系统150可向用户显示桌子910的图像。
图42示出具有示例性示意图940的图35的示例性场景。在具体实施方式中，除了显示3-d图像或视频以外，客户端系统150可显示呈现用户的物理环境中的对象的示意图940。例如但不限于，客户端系统150的相机可捕获用户的物理环境的图像，以及可由相机图像生成用户的物理环境的示意图940。在具体实施方式中，示意图940可显示处于相距用户特定距离内(例如，1米、3米或任何适当的距离内)的对象。在图42的示例中，示意图940以用户的位置为中心，并且示出用户所处的房间中的对象。在具体实施方式中，当用户穿戴着客户端系统150时，用户可使用示意图940保持对用户的物理环境的认识。例如但不限于，用户可能能够基于显示在客户端系统150上的示意图940在其物理环境中四处移动。在具体实施方式中，用户可能能够切换或关闭示意图940的显示。
图43示出具有示例性鸟瞰视图945的图35的示例性场景。在具体实施方式中，除了显示3-d图像或视频以外，客户端系统150可显示用户的物理环境的鸟瞰视图(例如，从上方呈现用户的物理环境的视图)。例如但不限于，客户端系统150的相机可捕获用户的物理环境的图像，并且相机图像的各部分可结合在一起以构成鸟瞰视图945。在图43的示例中，鸟瞰视图是圆形的且以用户的位置为中心。在具体实施方式中，鸟瞰视图945可允许用户在穿戴着客户端系统150时保持知晓用户的物理环境。
图44示出示例性计算机系统4400。在具体实施方式中，一个或多个计算机系统4400执行本文所描述或示出的一个或多个方法中的一个或多个步骤。在具体实施方式中，一个或多个计算机系统4400提供如本文中所描述或示出的功能。在具体实施方式中，在一个或多个计算机系统4400上运行的软件执行本文所描述或示出的一个或多个方法中的一个或多个步骤，或者提供如本文中所描述或示出的功能。具体的实施方式包括一个或多个计算机系统4400的一个或多个部分。在本文中，在适当的情况下，对计算机系统的引用可包括计算设备；以及反之，对计算设备的引用可包括计算机系统。此外，在适当的情况下，对计算机系统的引用可包括一个或多个计算机系统。
在具体实施方式中，计算机系统4400包括处理器4402、存储器(memory)4404、储存器(storage)4406、输入/输出(i/o)接口4408、通信接口4410和总线4412。尽管本公开描述并示出包括呈特定布置的特定数量的特定组件的特定计算机系统，但是本公开可设想到包括具有呈任何适当布置的任何适当数量的任何适当组件的任何适当的计算机系统。
在具体实施方式中，储存器4406包括用于数据或指令的大容量存储器。例如但不限于，储存器4406可包括硬盘驱动器(hdd)、软盘驱动器、闪速存储器、光盘、磁光盘、磁带或通用串行总线(usb)驱动器或其中两个或两个以上的组合。在适当的情况下，储存器4406可包括可移动或不可移动的(或者固定的)媒介。在适当的情况下，储存器4406可以在计算机系统4400的内部或外部。在具体实施方式中，储存器4406是非易失性的固态存储器。在具体实施方式中，储存器4406包括只读存储器(rom)。在适当的情况下，该rom可以是掩模编程只读存储器、可编程只读存储器(prom)、可擦可编程只读存储器(eprom)、电可擦可编程只读存储器(eeprom)、电可改写只读存储器(earom)或闪速存储器或其中两个或两个以上的组合。本公开可设想到具有任何适当的物理形式的大容量储存器4406。在适当的情况下，储存器4406可包括便于处理器4402与储存器4406之间的通信的一个或多个储存器控制单元。在适当的情况下，储存器4406可包括一个或多个储存器4406。尽管本公开描述并示出特定的存储，但是本公开可设想到任何适当的储存器。
在具体实施方式中，i/o接口4408包括提供用于计算机系统4400与一个或多个i/o设备之间的通信的一个或多个接口的硬件、软件或两者。在适当的情况下，计算机系统4400可包括这些i/o设备中的一个或多个。这些i/o设备中的一个或多个可使能人与计算机系统4400之间的通信。例如但不限于，i/o设备可包括键盘、小键盘、麦克风、显示器、鼠标、打印机、扫描器、扬声器、静态相机、触笔、平板、触屏、轨迹球、摄影机、其他适当的i/o设备或其中两个或两个以上的组合。i/o设备可包括一个或多个传感器。本公开可设想到任何适当的i/o设备和用于它的任何适当的i/o接口4408。在适当的情况下，i/o接口4408可包括使得处理器4402能够驱动这些i/o设备中的一个或多个的一个或多个设备或软件驱动器。在适当的情况下，i/o接口4408可包括一个或多个i/o接口4408。尽管本公开描述并示出特定的i/o接口，但是本公开可设想到任何适当的i/o接口。
在具体实施方式中，总线4412包括使计算机系统4400的组件彼此联接的硬件、软件或两者。例如但不限于，总线4412可包括加速图形端口(agp)或其他的图形总线、增强型工业标准结构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准结构(isa)总线、无线带宽互连、低引脚数(lpc)总线、存储器总线、微通道结构(mca)总线、外围组件互连(pci)总线、pci快速(pcie)总线、串行高级技术附件(sata)总线、视频电子标准协会本地(vlb)总线或其他适当的总线或其中两个或两个以上的组合。在适当的情况下，总线4412可包括一个或多个总线4412。尽管本公开描述并示出特定的总线，但是本公开可设想到任何适当的总线或互连。
在本文中，在适当的情况下，计算机可读非暂时性存储介质或媒介可包括一个或多个基于半导体的或其他的集成电路(ic)(例如，现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合式硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(sdd)、ram驱动器、安全数字卡或驱动器、任何其他适当的计算机可读非暂时性存储介质，或其中两个或两个以上的任何适当组合。在适当的情况下，计算机可读非暂时性存储介质可以是易失性的、非易失性的或易失性与非易失性的组合。
在本文中，除非明确地另外指出或由上下文另外指出，否则“或”为包括的而非排除的。因此，在本文中，除非明确地另外指出或由上下文另外指出，否则“a或b”表示“a、b或两者”。此外，除非明确地另外指出或由上下文另外指出，否则“和”同时表示结合的含义和单独的含义。因此，在本文中，除非明确地另外指出或由上下文另外指出，否则“a和b”表示“结合的或单独的a和b”。
本公开的范围涵盖本领域普通技术人员将理解的对本文中的示例性实施方式的所有变型、替代、变型、更换和修改。本公开的范围不限于本文中所描述或示出的示例性实施方式。尽管本公开在本文中将相应实施方式描述或示出为包括特定组件、元件、功能、操作或步骤，但是如本领域技术人员将理解的，这些实施方式中的任何实施方式可包括本文中任意处所描述或示出的任意组件、元件、功能、操作或步骤的任意组合。另外，对于随附的权利要求书中对适用于、布置为、有能力、配置为、能够、可操作为或操作为执行特定功能的装置或系统或者装置或系统的组件的引用，只要这些装置、系统或组件如此适用于、布置为、有能力、配置为、能够、可操作为或操作，则无论所述特定功能是否被激活、开启或解锁，所述引用均涵盖所述装置、系统、组件。