NeRF-SR: High Quality Neural Radiance Fields using ...

二哥满江红

1.概述
使用超采样方法的高质量神经辐射场
nerf方法优点：通过nerf方法预测每个坐标的体密度和颜色。提到了神经辐射场的优点：连续性，能够从附近的视图中获取信息。
1）能够用MLP来来编码场景的辐射场和体积密度，这有利于重建物体和场景的几何和外观。隐式神经表示是连续的，这使得NeRF能够在推断时将体积中的任何位置作为输入，并以任意分辨率呈现图像。

2）Mip-NeRF解决混叠假影问题aliasing artifacts(当采样频率<可通过傅里叶变换获取，其实可以简单理解成分辨率>低于实际需要的频率时，信号中的高频分量与采样频率产生混叠，在采样结果中输出一个实际并不存在的低频信号)，并提出了一种融合的位置编码方法，该方法以圆锥体为特征，而不是单点。只考虑使用低采样分辨率进行渲染。  直观理解傅里叶分析及在图像上的应用




  混叠效应

nerf的缺点：nerf使用神经元来编码场景的辐射场和体积密度，只能生成训练集级别的超分图像，无法生成更高质量的SR图像，即使volume density跟上了也无法提高图像质量。
基于这个缺点本作者提出了Nerf-SR，能够创造出高质量的SR图像。

<hr/>
2.相关研究
2.1创新点
任务：采用低分辨率图像训练，产生良好的多视图超分辨率图像。
1.Nyquist view sampling rates大多数超分方案无法达到这样的采样率。所以作者提出超采样策略，以亚像素的方式更好地加强了NeRF中嵌入的多视图一致性。

2.全景图和光场成像系统会在角度分辨率和空间分辨率之间进行权衡，直接将其生成的图像用Nerf进行训练只能在一定范围内提升SR精度。所以作者提出patch-wise warp-and-refine strategy   利用估计的三维几何，将HR参考图像的细节传播到整个场景。

超采样是对Nerf的采样方式的改进，refinement是对生成模型后的图像进行训练。
2.2NeRF相关
NeRF对颜色的预测：$$$$c(x,d)=(r,g,b) $$$$ ，对volume density预测:  (x) .  
注：NeRF编码的5d信息包括：3D position x = ( , ,  )    observed viewing direction d = ( ,  )   
density只依赖于x以保持视觉的连续性。
NeRF is an emission-only model，像素的颜色只取决于沿着光线的亮度，没有其他的照明因素




T(t)是累计透过率，表示射线从  到 不击中任何粒子的概率。r( ) = o +  d  是从相机中心o向d方向拍摄的光线。
loss采用的是均方差。






这个是NeRF最初的网络结构，因为是预测每个像素的RGB值，所以采用的是全连接层，每层是256维向量，能代表0-255的亮度值。输入的像素在模型上的具体位置，中间第五层加强一次，倒数第二层输入观察视角的方位，输出对应坐标对应观察角度下的RGB值。
tip:可根据Lab格式的特征对网络进行维度的修改适配。
3.NeRF-SR详解
目的 ：采样数量的问题，合成图像的超分问题
没有解决：解决采样角度问题
3.1 Supersampling  超采样
多张单张
一般的NeRF都达不到Nyquist sampling rate(就是观察视角的有限决定了其无法满足监督的要求)，只能通过插值的方法来补充。看论文总结出作者的超采样分为两种含义，一个是每个像素的超采样，即使用亚像素的方式将每个像素所占有的面积进行分割，分别进行color的预测，属于scale上的扩展；二是不同角度的扩展，
（tips：实际上，用Blender渲染就不会出现这个问题。渲染可以提供所有视角所有scale的监督图像。)
如果要在一个scale factor为s的sH*sW的平面上进行光线追踪，每个查询像素都需要具体到s*s大小的面积内，不仅采样的射线方向在训练过程中看不到，且查询的像素在3D空间中对应的区域(s*s)更小。我们提出了一个超级采样策略，解决了渲染SR图像的NeRF问题。
CRF相机响应函数与亚像素采样：
目的：解决采样数量的问题
采用pinhole camera model来模拟NeRF中相机的成像，对颜色的预测可用CRF表示为：
$$$$C(p) =   ( _{R(p)}) $$$$   传感器上曝光度与图像亮度值之间的映射关系。
R(p)表示训练图像中像素p的所有可能的射线方向集合。 是p覆盖区域上的入射辐照度，它是p中所有入射光线的辐照度的积分。
我们没有建立CRF模型，而是直接使用多层感知器输出每个亚像素的颜色，像素p的射线方向将从亚像素中采样：也就是将一个像素划分为多个亚像素然后分别输出每个亚像素的颜色。




tips:这种感觉有些多此一举，大可以直接用光线的数量多少来做，何必非得在物理上划分成子块。或者我一开始就用子块大小的规模作为我的像素块就得了呗。

解决监督图像大小不够的问题：
H × W是监督图的大小，sHxsW是模型对应平面图的大小，超采样后二者分辨率不一致，所以采用新的loss方程解决问题：




就是将原Loss方程修改为适应亚像素的形式。R′(p) 就是p像素包含的亚像素，每个亚像素预测出一个color最后进行平均
总结：这作者在渲染过程中将每个像素块均分为多个亚像素块，然后分别分配射线，最后修改了一下loss方程，以适配监督图像的大小。我感觉这就是多此一举，首先亚像素块和更密集的像素数量应该性质上一样，其次采用更密集的像素密度仍然可以对应到原图的大小然后进行loss计算。

3.2Patch-Based Refinement
目的 ：合成图像的超分问题
当一个场景的图像没有足够的亚像素对应关系时，超采样结果无法找到足够的细节来进行高分辨率合成。
Patch-Based Refinement 网络来恢复高频细节，旨在将参考图像的细节融合到NeRF合成的模型-图像中（图像已经包含大体的结构）。
基本就是在渲染合成的图像的基础上再加一个Unet网络，将渲染图像的patch作为输入，以对应的参考图像的patch作为监督。
用户使用了合成模型SR图像的一个patch $$$$\tilde{P}   $$$$和参考图像的  个patches $$$$ {[ ^{REF}]}^K_{k=1}    $$$$作为encoder输入，然后解码出一个图像，用参考图像对应的patch P作为监督。
测试时由于是新的视角，所以只能通过对SR图像的扭曲来对应上Reference图像，然后进行上述操作




4.EXPERIMENT
4.1Dataset
Blender Dataset
使用Blender渲染的场景。对于每个场景，我们输入100个视图进行训练，并提供200个图像进行测试。

LLFF Dataset   此论文应该只采用了人工拍摄的真实场景

  来源于论文：
  Local light field fusion: Practical view synthesis with prescriptive sampling guidelines
  University of California, Berkeley 2019
  该文献使用的数据集主要包含两类：
  1.渲染的模型数据
  SUNCG   包含45,000个简单的住宅和房间环境，纹理映射表面和低几何复杂性。
  UnrealCV   只包含少数大型环境，但它们的建模和渲染具有极端的细节，提供几何复杂性、纹理多样性和非朗伯反射效果
  2.人工拍摄的真实场景数据
  真实的训练数据集由我们的手持手机捕获的24个场景组成，每个场景有20-30张图像。

real-world pictures有更复杂的结构，更真实。Blender无法模拟的因素。
4.2结果展示
反而觉着NeRF-Swin某些局部看着更好，只是在衡量参数上作者的效果更好。




分别在Blender数据和LLFF实拍数据中的测试表现：






4.3超采样方法的有效性
作者NeRF-SR方案中，超采样可以找到亚像素级的对应关系，
这意味着可以从3D空间中相邻区域的其他视图中找到输入中缺失的细节（有点问题）
NeRF-SR填补了复杂场景的细节，并明显优于其他baseline。其他的方案有的缺失高频细节，有的预测形状甚至颜色上出现误差。
4.4Refinement network有效性
在4倍放大任务中的效果要优于2倍放大效果，作者分析：在超采样方法已经能学习到小尺度放大的超分信息，refine效果只是进一步细化了超频信息。大尺度超分的task中，超采样方案或者说简单的linear层无法获取低分图像中映射过来的细节，refine网络的学习能力可以弥补这种不足。

读后感：
目的 ：采样数量的问题，合成图像的超分问题
这作者在渲染过程中将每个像素块均分为多个亚像素块，然后分别分配射线，最后修改了一下loss方程，以适配监督图像的大小。
然后在渲染合成的图像的基础上再加一个Unet网络，将渲染图像的patch作为输入，以对应的参考图像的patch作为监督。
我感觉这就是多此一举，首先亚像素块和更密集的像素数量应该性质上一样，其次采用更密集的像素密度仍然可以对应到原图的大小然后进行loss计算。

首先NeRF可以通过更多的像素密度来获取HR图像，loss上可以借鉴本文的方法来计算做些提升。
他这个本质上是对传统NeRF的改进，我们要做的是应用，核心是渲染的数据。而渲染的数据从本质上就解决了他提到的Nyquist sampling rate问题，我们可以有更多的采样。

打工人潮哥

NeRF在超分领域的应用，这是清华发表的一篇文章。关于NeRF部分我没有解释详细，未来发布补充。