Reading Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation

发表 分类 阅读量: Valine: 字数: 539 阅读时长 ≈ 1 分钟

论文地址：https://arxiv.org/abs/1908.01491

作者：Chao Wen, Yinda Zhang, Zhuwen Li, Yanwei Fu

发表： ICCV 2019

链接： https://arxiv.org/abs/1908.01491

如果你去做这个任务，会怎么做？作者做的方法和你想的有什么差异？

Why：

  1. 单视角图像3D重建模的效果不够好，尤其是背面，而且泛化能力也差。
  2. 所以增加多个视角的图像：更多视觉信息，且有已经定义得很好的传统方法。
  3. 但是传统方法需要更大量的图像；这时候深度学习模型可以隐式编码视角间的关联，就派上了用场。
  4. 很有用，但是欠研究。

What：

  1. 利用多视角图像，固定相机pose参数，利用GCN，从粗糙逐渐精细地变形，生成3D mesh重建模。
  2. 采样mesh模型顶点周围的区域，利用perceptual feature推理出对mesh的形变。
  3. 对于不同种类的物体泛化能力很好。

读前疑问：

  1. 似乎就是给pixel2mesh加上一层壳，应用在多视角图像上🤔那么这里的创新点本质在哪儿呢？
  2. GCN用处大吗，为什么用它？
  3. 采样mesh顶点周围的区域，是什么意思？
  4. 多视角3D重建，应用真的广泛吗？

How：

  1. 多视角变形网络 Multi-View Deformation Network (MDN)
相关文章