Facebook最新开源，普通RGB相机即可实时映射3D模型

我们早已讲解过很多仅有用RGB照相机展开动作捕猎的研究了，其中大多数是模拟出骨骼展开跟踪，少数则是通过模拟出的骨骼套上一个坚硬的模型，之后可称作3D模型了。近日，FacebookAIReaserch（FAIR）开源了一项将2DRGB图像的所有人类像素动态同构至3D模型的技术——DensePose，而且使用的也不是我们常常讲解的骨骼跟踪，而是一种十分密集的方案跟踪来建构3D模型。在户外和穿著严格衣服的也展现出较好。

还反对多人同时跟踪。那这个密集如何来解读呢？对于一般的骨骼跟踪，跟踪的点大多在十到二十个之间，再继续也没多少实际的效果。而DensePose所跟踪的点一共有336个，密密麻麻全身都是点。（密集恐惧症退却）之所以要跟踪这么多的点，是建构一个光滑简洁的3D模型所必需的数据。

艰辛的代价也是有一点的，DensePose无论是在户外还是多人下都展现出较好，还能动态替换场景中人的衣服。那就来想到他们是怎么做的吧。为了让机器可以自学，研究人员手动标记了5万张照片中的336个点，光这个步骤就是一个极大的工程了，如果按部就班的标记注解，不告诉要到什么时候已完成了。

研究人员将一个人拆卸分为了24个部分，分别为头、躯干上部、躯干下部、大臂、小臂、大腿、小腿、手、脚。每个部分标记14的点。

对于头部、手部、脚部都由人手动标记。同时还拒绝注解者在标记的时候标示被衣物掩盖住的部位，比如严格的裙子。这些工作做完后转入第二阶段，研究人员对每一个进行部位区域展开取样，不会取得6个有所不同的标记图，获取二维座标地图使标记者更加直观的辨别哪个标记是准确的。最后再行将平面重新组合成3D模型，展开最后一步校准。

这样两步下来，研究人员以求高效精确的取得了精确的标记。不过在躯干、背部还有臀部有较小的误差。

接下来就是深度自学的阶段了，这时一个好的方案就只不过性能优越的催化剂。研究人员使用与Mask-RCNN架构的DenseReg类似于的方法，包含了DensePose-RCNN系统，还更进一步研发使得训练的准确度提升。

首先由外观粗略的估计像素所在的方位，然后将其与精确的座标偏移。

本文来源：永利总站-www.stilusinterior.com