Learning NeRF

This is part of my journey of learning NeRF.

Reading List

Classical

• Mildenhall et al. introduced NeRF at ECCV 2020 in the now seminal Neural Radiance Field paper.

  This is done by storing the density and radiance in a neural volumetric scene representation using MLPs and then rendering the volume to create new images.

• GIRAFFE: Compositional Generative Neural Feature Fields

Survey

• Apr 2020 - State of the Art on Neural Rendering

2021CVPR

2021年CVPR还有许多相关的精彩工作发表。例如，提升网络的泛化性：

• pixelNeRF：将每个像素的特征向量而非像素本身作为输入，允许网络在不同场景的多视图图像上进行训练，学习场景先验，然后测试时直接接收一个或几个视图为输入合成新视图。
• IBRNet：学习一个适用于多种场景的通用视图插值函数，从而不用为每个新的场景都新学习一个模型才能渲染；且网络结构上用了另一个时髦的东西 Transformer。
• MVSNeRF：训练一个具有泛化性能的先验网络，在推理的时候只用3张输入图片就重建一个新的场景。

针对动态场景的NeRF:

• Nerfies：多使用了一个多层感知机来拟合形变的SE(3) field，从而建模帧间场景形变。Nerfies: Deformable Neural Radiance Fields
• D-NeRF：多使用了一个多层感知机来拟合场景形变的displacement。
• Neural Scene Flow Fields：多提出了一个scene flow fields来描述时序的场景形变。

其他创新点：

• PhySG：用球状高斯函数模拟BRDF（高级着色的上古神器）和环境光照，针对更复杂的光照环境，能处理非朗伯表面的反射。
• NeX：用MPI（Multi-Plane Image ）代替NeRF的RGBσ作为网络的输出。

2022 CVPR

Zero-Shot Text-Guided Object Generation with Dream Fields

Useful References:

NeRF at ECCV22 - Mark Boss

NeRF at NeurIPS 2022 - Mark Boss

NeRF at CVPR 2022 - Frank Dellaert

CVPR 2022 Tutorial on Neural Fields in Computer Vision

Bigger to learn:

• [ ] Above NeRF: neural rendering
• [ ] Related theories in graphics and computer vision
• [ ] NeRF的一作Ben Mildenhall在SIGGRAPH 2021 Course Advances in Neural Rendering中从概率的角度推导了NeRF的体渲染公式。