斯坦福大学提出采用RGBD摄像头的高帧率 低延迟AR头显系统

  • 时间:
  • 浏览:0
  • 来源:贵州快3网投平台-河北快3投注平台_湖北快3娱乐平台

10月10日消息,日前,斯坦福大学的Hanseul Jun和Jeremy N. Bailenson等人发布了名为《An Easy-to-use Pipeline for an RGBD Camera and an AR Headset》的论文,并介绍了亲们 利用单个RGBD摄像头来支持AR头显的实验。

团队表示,这一 研究的贡献在于为采用现成硬件的工作系统提供可用代码,而非为计算机视觉或图形学提供先进的理论。当前的研究用一兩个 多搭载RGBD摄像头(微软Kinect v2)的系统来捕获人物,并通过AR头显(微软HoloLens)来显示场景。尽管保真度低于选取多摄像头的这一 系统,但所述系统的帧率高,延迟低,且可移动,可能性它不前要一台渲染计算机。

图1:系统压缩和解压缩概述。压缩阶段适用于连接到Kinect v2的笔记本电脑。压缩后后 ,VP8帧和RVL帧将传输到HoloLens。解压缩阶段用于接收帧的HoloLens。

系统的硬件端由两方面组成:配备Kinect v2的笔记本电脑和HoloLens。 软件端一起去包括兩个 多方面:将像素从Kinect v2发送到HoloLens;以及由HoloLens渲染像素。所述过程面临兩个 多挑战,而这一 兩个 多挑战来自于设备的兩个 多价值形式:

Kinect v2产生絮状数据。

HoloLens前要无线传输。

HoloLens具有较低的计算能力。

面临的挑战是:

a. 可能性(1)和(2),前要压缩。

b. 可能性(a)和(3),前要计算有效的解压缩。

c. 可能性(3),前要五种 有效的渲染技术。

1. 压缩与解压缩

Kinect v2具有彩色像素和层厚像素。对于彩色像素,团队采用VP8编解码器,并通过libvpx和FFmpeg进行编码和解码。尽管H.264最少表现出相同的性能,但团队选取VP8的原因分析分析是libvpx基于修订的BSD许可,而这与团队提供系统源代码的目标一致。对于层厚像素,可能性前要处理有损压缩的不选取性,好多好多 团队选取RVL(Wilson,2017)进行压缩,可能性它的计算成本低且无损。图1概述了团队系统的压缩和解压缩过程。

2. 压缩阶段

利用接到Kinect v2的笔记本,libvpx将彩色像素编码为VP8帧,并将层厚像素RVL压缩为RVL帧。执行这一 功能时,可能性彩色像素的分辨率(1920×10100)较于层厚像素(512×424)过大,好多好多 彩色像素的分辨率在层厚和层厚减少一半,怪怪的是对于团队的可视化技术而言(其将每个层厚像素与颜色值配对)。五种 像素都通过无线网络发送到HoloLens。

3. 解压缩阶段

团队的系统使用FFmpeg解码编码后的彩色像素,并将解码后的像素转换为兩个 多8位单通道Direct3D纹理,其中每个纹理都属于YUV的颜色通道。为了处理从YUV420(五种 视频流式传输的主要颜色空间,可能性它允许在U通道和V通道进行4倍压缩)转换到高计算量的RGB,团队选取在YUV颜色空间中创建纹理。另外, 为处理将解码后的像素重新排列为单个纹理,团队使用了兩个 多纹理而非一兩个 多。接下来,用RVL压缩的像素将解压缩为16位单通道Direct3D纹理。

4. 渲染阶段

借助YUV纹理和层厚纹理,HoloLens还前要将层厚纹理的每个像素渲染为漂浮在空间上的四边形,并使用YUV纹理中的颜色值对四边形进行着色。团队的渲染技术前要使用由Kinect v2的intrinsic variable预先计算的网格。在具有层厚纹理的顶点着色器中,预先计算的网格变成反映层厚纹理层厚值的一组点。在几何着色器中,所述点变为四边形。四边形的大小选取为不影响相邻四边形的最大大小。最后,在片段着色器中,根据YUV纹理对四边形进行着色。图2是团队的渲染技术示例。

团队发布系统代码的目的是,支持亲们 儿将其用作AR头显应用线程池池开发的基础,尤其是远程呈现系统。尽管渲染质量远非完美,但团队希望这一 系统不要再 提供五种 便携的,支持现成硬件的经验证方法(不要再机器进行渲染),从而为开发者,研究人员和消费者带来帮助。

图2:渲染技术示例。 左中间和左下方是Kinect v2中的颜色像素和层厚像素。右上角是另一兩个 多视图捕获的渲染场景,右下角是从侧视图捕获的渲染场景。

5. 源代码

系统的源代码可能性托管至GitHub。