用于虚拟内容安置的系统和方法
2020-01-07

用于虚拟内容安置的系统和方法

一种在多个阶段中将艺术品嵌入视频中的设备和方法。最初,在原始视频内识别并且标记适于艺术品安置的段,并且在其中植入容器以确定未来艺术品对象的适当位置和视频变换。然后,艺术品提供器进行试验,针对每个容器发送艺术品并且观看安置在该视频内的艺术品,直到批准安置当前艺术品。最后,渲染并且针对分送器改动包括嵌入在原始视频内的选择的艺术品的最终版本,并且按传统方式分送和观看终端产品。容器植入是相对费力的并且因此昂贵,但是成本随后可以在相同容器内的不同艺术品安置的许多会话上进行分配。典型应用是广告、艺术和娱乐。

图11是2D艺术品的简化框图。

容器

与原始视频相比,通过利用诸如排除原始视频的至少一个部分、利用代表性静止图像表示视频段、应用低于原始视频的分辨率、减小色彩空间或者应用额外视频压缩的技术,能够进一步压缩演示版本和/或修改版本。

图3是描述图1的系统的操作的简化流程图。

图17是示出根据本发明优选实施例的虚拟内容安置的简化流程图。

图1是描述根据本发明优选实施例的系统的简化框图。

在步骤405中,在进行快速扫描后,对选择出的段进行标记(例如,通过记录帧范围),并且针对每个段,粗略地草拟优选内容的类型(2D或3D)和表面位置350及其基本参数;这些参数将在步骤417中被进一步精细调整,并且优选包括表面弯曲352、表面纹理354和图形材料356。另外,在步骤405中,操作员在规格中对每个容器加上标签。加上标签的目的在于描述针对该容器的正确艺术品环境是什么。例如,可以对容器加上标签“面向儿童”、“户外”、“喜剧”。

图4和图5分别描述了2D(二维)容器和3D(三维)容器。容器实际上是对选择的视频段特定的视频处理命令的集合,该集合可以指示渲染器164接收视频段和符合容器的规格的艺术品,并且将该艺术品自动地安置在该视频段内,从而与各个视频段内容纳容器(由此容纳该艺术品)的背景相似地自动使艺术品动画化。进行如此设计是为了对选择进行安置的任何兼容艺术品给出一种外观,就好像当拍摄视频时该艺术品就存在于选择的视频段的场景中。

图17是示出根据本发明优选实施例的虚拟内容安置的简化流程图。

图15是描述渲染处理的简化流程图。

用于虚拟内容安置的系统和方法

一种在多个阶段中将艺术品嵌入视频中的设备和方法。最初,在原始视频内识别并且标记适于艺术品安置的段,并且在其中植入容器以确定未来艺术品对象的适当位置和视频变换。然后,艺术品提供器进行试验,针对每个容器发送艺术品并且观看安置在该视频内的艺术品,直到批准安置当前艺术品。最后,渲染并且针对分送器改动包括嵌入在原始视频内的选择的艺术品的最终版本,并且按传统方式分送和观看终端产品。容器植入是相对费力的并且因此昂贵,但是成本随后可以在相同容器内的不同艺术品安置的许多会话上进行分配。典型应用是广告、艺术和娱乐。

参照图7,图7描述了植入三维容器的处理。步骤441包括导入跟踪信息,该跟踪信息要附于三维容器用于正确动画。步骤443包括导入封闭规划对象层。已经在上面参照图6描述了这两个元素。

系统操作

三维容器产生

在步骤413中,对应该封闭未来安置的内容的对象进行检测。这涉及如下情况,在该情况中,场景内的一些运动对象将在被安置内容与摄像机之间通过,从而覆盖该内容的某部分。为了实现该效果,需要识别和规划将覆盖未来插入的艺术品的任何元素。在规划这些对象的过程中,产生两个视频层。一个层是原始视频,第二层是规划的对象。规划的对象的视频层除了其RGB通道以外还包括阿尔法通道。在跟踪信息可用的情况下,可以利用该信息更好且更快地规划封闭对象。在步骤417中,如下面参照图7到图8所述,嵌入2D和/或3D容器。

参照图8,图8描述了植入二维容器的处理。许多步骤与关于植入三维容器的步骤(图7)相似,并且将参照它们进行描述。

尽管针对有限数目的实施例描述了本发明,但是本领域技术人员应该明白,本发明不限于在此特别显示和描述的内容。相反,本发明的范围包括这里描述的各种特征的组合和子组合以及并非在现有技术中但是当本领域技术人员阅读本说明书时可以想到的变型和修改。

现在参照图17,图17总结了根据上述本发明的优选实施例的虚拟内容安置的处理,该处理关注原始视频960所经过的变换。因此,优选地在人类操作员的输入下获得并且标记原始视频960,以识别适于内容安置的一个或更多标记段962,不对剩下的视频段964进行标记。仍然优选地在从人类操作员接收到的命令下,一个或更多容器966被改动并植入各个标记段962中,其中每个容器是2D或3D的,并且优选伴随有定义适于该容器的艺术品的参数的易读规格。然后,针对每个对应的容器接收艺术品968。艺术品968优选符合对应容器的规格并且优选伴随有选项,该选项是影响艺术品将如何显示的视觉方面的参数。然后,优选地在不需要来自人类操作员的详细人工命令的自动处理下,在对应容器966的指示下,将每个标记段962与它的对应艺术品968进行组合,从而提供对应的修改段972,该修改段972显示了定位在对应标记段962内并且根据对应标记段962而动画化的艺术品。分别对应于一个或更多标记段962的一个或更多修改段972的集合形成修改视频970的基础。然而,通过排除部分或全部的未标记段964、利用额外压缩和/或减小分辨率或色彩空间、或者甚至通过利用其中的展示嵌入在各个标记段962内的各个艺术品968的一个帧来表示修改段972,能够将修改视频970压缩。最初,艺术品962可以是虚拟物,在这种情况下修改视频970变成仅仅可视地显示可用于各个标记段962内的艺术品安置的空间和形状的演示。

图7是描述三维容器植入的简化流程图。

系统操作

容器

与原始视频相比,通过利用诸如排除原始视频的至少一个部分、利用代表性静止图像表示视频段、应用低于原始视频的分辨率、减小色彩空间或者应用额外视频压缩的技术,能够进一步压缩演示版本和/或修改版本。