ISP图像调试之关于海思Hi3559AV100平台下的3DNR降噪中空域滤波模块的一些总结_问答

本帖最后由 qn1533613062 于 2019-9-30 11:18 编辑

1、3DNR分时域降噪TFy、空域降噪SFy、动静判断模块MDy。空域降噪又分SFi和SFk两种。其中SFi 模式空域滤波去噪效果强于 SFk 模式，保边效果差于 SFk 模式且伪纹理格子副作用强于 SFk 模式，且 SFi 模式强度调试过大，会带来伪纹理格子副作用加重且画面振铃现象严重以及暗区块状副作用，但 SFi 模式的功耗小于 SFk 模式。另外SFi是根据画面相对亮度降噪，SFk可以选择根据画面绝对亮度和相对亮度两种方式降噪。

2、海思Hi3559AV100中3DNR X 接口总共有四级，分为第 0、1、2、3 级。第 0 级是带有时域参考的空域滤波器；第 1 级和第 2 级是带有动静判决的时域参考的空域混合去噪；第 3 级是不带时域参考的纯空域滤波器。3DNR X 接口包括去亮度噪声模块和去色度噪声模块，其中去亮度噪声的模块包括时域去噪和空域去噪；

3、空域滤波器参数包括：SBS、SDS、SBF、SFT、STHp、SFRi、kPro、KTab、KSFT、KSBS、KSDS、KSTH、SBFk、SFRk、STR；HdgType、HdgMode、HdgIES、HdgWnd、HdgSFR、BriType、SBSk2、SDSk2、SBSk3、SDSk3、BriThr。

4、时域滤波器的相关参数包括：TFS、TFR、TDZ、TDX、TSHP、MATH、MATE、MABW、MATW、MASW、MAXN。

5、3DNR X 接口的去色噪参数包括：sfc、tfc、csfs、ctfs、csfk、ctfp、ciir 和 ctfr。

6、第 2 级和第 3 级的空滤滤波器具备 SFi 模式和 SFk 模式，第 0 级和第 1 级的空域滤波只有 SFi 模式。

7、第 2 级的 SFi 模式空域滤波器和 SFk 模式空域滤波器是互斥，只能生效其中一种；第3 级的空域滤波器可以根据亮区和暗区分别使用 SFi 和 SFk，具体通过 BriType 和BriThr 来进行控制；一般建议第 3 级空域滤波器只使用其中一种模式 SFi 或者 SFk，从而减轻图像调优的负担，建议 BriThr 表保持默认值 0，不建议调试该参数。当BriThr 表全为 0 时，BriType 为 0 ，第 3 级空域滤波器对整个画面生效的是 SFi 模式；当 BriThr 表全为 0 时，BriType 为 1，第 3 级空域滤波器对整个画面生效的是 SFk 模式。

8、第三级空域滤波模式控制：
（1）BriThr=0，BriType=0  SFi 模式
参数：SBS3、SDS3、STH3、SBF3、SFT3 、SFRi 、HdgType 、HdgMode HdgIES 、HdgWnd 、HdgSFR。
（2）BriThr=0，BriType=1，KTab=0  SFk模式相对亮度
参数：KSBS 、KSDS、KSTH 、SBFk 、SFRk 、KSFT 、HdgType 、HdgMode 、HdgIES 、HdgWnd、HdgSFR。
（3）BriThr=0，BriType=1，KTab=1  SFk模式绝对亮度
参数： SBSk3 、SDSk3 、KSTH 、SBFk 、SFRk 、KSFT 、HdgType、 HdgMode 、HdgIES 、HdgWnd 、HdgSFR

9、第二级空域滤波模式控制：
kPro=0-4 ，KTab=1  SFk模式，可调SBSk2、SDSk2 绝对亮度
kPro=0-4 ，KTab=0  SFk模式，可调KSBS2、KSDS2 相对亮度
kPro=7  SFi模式，相对亮度

10、海思Hi3559AV100 3DNR X 空域降噪的SFk 模式可由kTab参数决定是否根据画面绝对亮度设置不同的去噪强度。kTab=0，此时 SFy3 空域滤波器对应的参数为 KSBS 、KSDS、 KSTH 、SBFk 、SFRk 、KSFT 、HdgType 、HdgMode 、HdgIES 、HdgWnd、 HdgSFR；kTab=1，此时 SFy3 空域滤波器根据画面的绝对亮度阈值进行去噪，对应的参数为 SBSk3 、SDSk3 、KSTH 、SBFk 、SFRk 、KSFT 、HdgType、 HdgMode 、HdgIES 、HdgWnd 、HdgSFR。

感觉3DNR真的是参数很多，而且很复杂，特别是空域滤波参数，要看晕了，之前调试画面清晰调的sharpen和2DNR也是够呛，可以想象后面调试的时候得多孤独寂寞空虚冷:'( :'(

追加：下面是通过调用海思接口获取的参数，并和工具的参数做了比对，不过同时也发现文档一些地方没有对应上，漏了一些参数。参数后面的值是海思里面的默认值，目前还没有做调试。
IE细节纹理增强参数
IEy param: 这里有两种纹理增强的模式做选择，文档上漏了，不过工具里面是有这些参数的
stNRXParamV1.IEy.IES:0 边缘的绝对增强强度
stNRXParamV1.IEy.IESS:0 纹理和阴影的绝对增强强度
stNRXParamV1.IEy.IEDZ:0 噪声控制阈值

空域滤波参数有5组，后面两组用在第三级降噪上（第三级可以同时使用两个降噪模式）
SFy param:
stNRXParamV1.SFy[0].SBF:2 滤波器的选择类型
stNRXParamV1.SFy[1].SBF:2
stNRXParamV1.SFy[2].SBF:0
第三级SFi 模式使用
stNRXParamV1.SFy[3].SBF:0
第三级SFk 模式使用（SBFk）：
stNRXParamV1.SFy[4].SBF:0

stNRXParamV1.SFy[0].STR:2 前三级带有时域参考的空域滤波器发挥的相对强度，3级为纯空域降噪，不参考时域
stNRXParamV1.SFy[1].STR:7
stNRXParamV1.SFy[2].STR:7
stNRXParamV1.SFy[3].STR:0 *
stNRXParamV1.SFy[4].STR:0 *

stNRXParamV1.SFy[0].STHp:2 标定参数，不建议调试，前三级都保持默认值 2
stNRXParamV1.SFy[1].STHp:2
stNRXParamV1.SFy[2].STHp:2
stNRXParamV1.SFy[3].STHp:0 *
stNRXParamV1.SFy[4].STHp:0 *

stNRXParamV1.SFy[0].SFT:0 平坦区域的降噪强度
stNRXParamV1.SFy[1].SFT:0
stNRXParamV1.SFy[2].SFT:0
stNRXParamV1.SFy[3].SFT:0
第三级SFk 模式使用(KSFT):
stNRXParamV1.SFy[4].SFT:0

stNRXParamV1.SFy[0].kPro:0 * 纯空域滤波器去噪等级，2/3级使用
stNRXParamV1.SFy[1].kPro:0 *
stNRXParamV1.SFy[2].kPro:0
stNRXParamV1.SFy[3].kPro:0
stNRXParamV1.SFy[4].kPro:0 *

stNRXParamV1.SFy[0].STH[0]:30 保边阈值，值越小，越多的边缘被保留，噪声也会越大
stNRXParamV1.SFy[0].STH[1]:60
stNRXParamV1.SFy[0].STH[2]:120
stNRXParamV1.SFy[1].STH[0]:80
stNRXParamV1.SFy[1].STH[1]:80
stNRXParamV1.SFy[1].STH[2]:80
stNRXParamV1.SFy[2].STH[0]:80
stNRXParamV1.SFy[2].STH[1]:80
stNRXParamV1.SFy[2].STH[2]:80
第三级SFi相对亮度降噪模式使用：
stNRXParamV1.SFy[3].STH[0]:0
stNRXParamV1.SFy[3].STH[1]:0
stNRXParamV1.SFy[3].STH[2]:0
KSTH:第三级SFk相对亮度和绝对亮度降噪模式使用：
stNRXParamV1.SFy[4].STH[0]:20
stNRXParamV1.SFy[4].STH[1]:40
stNRXParamV1.SFy[4].STH[2]:80

stNRXParamV1.SFy[0].SBS[0]:44 亮区空域去噪声强度
stNRXParamV1.SFy[0].SBS[1]:44
stNRXParamV1.SFy[0].SBS[2]:44
stNRXParamV1.SFy[1].SBS[0]:50
stNRXParamV1.SFy[1].SBS[1]:50
stNRXParamV1.SFy[1].SBS[2]:50
stNRXParamV1.SFy[2].SBS[0]:50
stNRXParamV1.SFy[2].SBS[1]:50
stNRXParamV1.SFy[2].SBS[2]:50
第三级SFi相对亮度降噪模式使用：
stNRXParamV1.SFy[3].SBS[0]:0
stNRXParamV1.SFy[3].SBS[1]:0
stNRXParamV1.SFy[3].SBS[2]:0
KSBS:第三级SFk相对亮度降噪模式使用：
stNRXParamV1.SFy[4].SBS[0]:40
stNRXParamV1.SFy[4].SBS[1]:40
stNRXParamV1.SFy[4].SBS[2]:40

stNRXParamV1.SFy[0].SDS[0]:44 暗区空域去噪声强度
stNRXParamV1.SFy[0].SDS[1]:44
stNRXParamV1.SFy[0].SDS[2]:44
stNRXParamV1.SFy[1].SDS[0]:50
stNRXParamV1.SFy[1].SDS[1]:50
stNRXParamV1.SFy[1].SDS[2]:50
stNRXParamV1.SFy[2].SDS[0]:50
stNRXParamV1.SFy[2].SDS[1]:50
stNRXParamV1.SFy[2].SDS[2]:50
第三级SFi相对亮度降噪模式使用：
stNRXParamV1.SFy[3].SDS[0]:0
stNRXParamV1.SFy[3].SDS[1]:0
stNRXParamV1.SFy[3].SDS[2]:0
KSDS:第三级SFk相对亮度降噪模式使用：
stNRXParamV1.SFy[4].SDS[0]:40
stNRXParamV1.SFy[4].SDS[1]:40
stNRXParamV1.SFy[4].SDS[2]:40

MDy param 动静判决参数:用在1、2级带有动静判决的降噪上
stNRXParamV1.MDy[0].MATH:130 动静判决阈值
stNRXParamV1.MDy[0].MATE:2 表示平坦区域运动检测指数
stNRXParamV1.MDy[0].MATW:2 时域滤波防运动拖尾指数，该值越大，运动拖尾收敛越快
stNRXParamV1.MDy[0].MASW:12 时域滤波防雨点指数，该值越大，有助于降低雨点噪声出现的概率不建议调试，设置为默认值 12
stNRXParamV1.MDy[0].MABW:0 运动检测内容窗口大小的选择
stNRXParamV1.MDy[0].MAXN:1 不建议调试，应该使用其默认值 1

stNRXParamV1.MDy[1].MATH:130
stNRXParamV1.MDy[1].MATE:2
stNRXParamV1.MDy[1].MATW:2
stNRXParamV1.MDy[1].MASW:12
stNRXParamV1.MDy[1].MABW:0
stNRXParamV1.MDy[1].MAXN:1

TFy param 时域降噪参数:前面3级都是带时域参数滤波的，这里只有两组参数，暂时还没搞明白具体怎么用
stNRXParamV1.TFy[0].TFR[0]:128 静止区域时域滤波的相对强度
stNRXParamV1.TFy[0].TFR[1]:128
stNRXParamV1.TFy[0].TFR[2]:32
stNRXParamV1.TFy[0].TFR[3]:16
stNRXParamV1.TFy[0].TDZ:0 主要为了保护运动区域的纹理不受时域滤波影响，将TDZ 调大时，运动区域的纹理可以得到保护，同时也会带来时域滤波强度的削弱
stNRXParamV1.TFy[0].TDX:2 该参数建议使用默认值为 2，不推荐调试
stNRXParamV1.TFy[0].TFS:33 时域滤波绝对强度

stNRXParamV1.TFy[1].TFR[0]:128
stNRXParamV1.TFy[1].TFR[1]:128
stNRXParamV1.TFy[1].TFR[2]:32
stNRXParamV1.TFy[1].TFR[3]:16
stNRXParamV1.TFy[1].TDZ:0
stNRXParamV1.TFy[1].TDX:2
stNRXParamV1.TFy[1].TFS:33

下面参数用于第3级降噪，且只有第3级支持混合复杂滤波，还不清楚复杂混合滤波是指那些，好像和SFi SFk是另外独立的
stNRXParamV1.HdgType:1 决定所参与的复杂混合处理的空域滤波器的模式是 SFi 还是SFk
stNRXParamV1.BriType:1 第 3 级纯空域滤波器亮区和暗区选择 SFi 和 SFk 的模式参数
stNRXParamV1.HdgMode:2 复杂混合处理的空域滤波器针对平坦区域所选用的滤波器频段
stNRXParamV1.kTab2:0 第二级空域滤波器是否按照画面绝对亮度划分阈值进行去噪的判断标记
stNRXParamV1.HdgWnd:1 复杂混合处理的空域滤波器中噪声检测的取样范围，该值为 0 时，表示取样为小范围，该值为 1 时，表示为取样为大范围
stNRXParamV1.kTab3:0 第三级空域滤波器是否按照画面绝对亮度划分阈值进行去噪的判断标记
stNRXParamV1.HdgSFR:0 复杂混合处理的空域滤波器在平坦区域倾向降噪的程度，该值越大，平坦的空域降噪能力就越强，但边缘受损的可能性就越大，一般推荐调试为 1-8 左右
stNRXParamV1.nOut:27
stNRXParamV1.HdgIES:0 复杂混合处理的空域滤波器中后置 IE 增强强度，当且仅当HdgMode=0 时和 HdgSFR>0 时，该值有效，该值越大，后置 IE 纹理越强
stNRXParamV1.nRef:1

第3级SFi模式使用，空域滤波结果通过 4 种滤波器审查后所能发挥的相对强度，共有 4 段，该参数越大，对应级的
滤波器审查越宽松，纯空域所能发挥的能力就越大，去噪的强度也就越大，当该级 SFRi 参数为 0 时，对应级的滤
波器审查越严格，相当于该级空域滤波器近似关闭；同样大小的 SFRi（i=0-3），其审查严格程度为 SFRi[0]> SFRi[1]> SFRi[2] > SFRi[3]，
一般建议调为 SFRi[0]> SFRi[1]> SFRi[2]> SFRi[3]， SFRk 与 SFRi 类似，取值范围都为[0,255]

stNRXParamV1.SFRi[4]:
      128    0    0    0
stNRXParamV1.SFRk[4]:
      128    128    32    16

第2级SFk模式基于画面的绝对亮度阈值的去相对亮区和相对暗区的去噪强度表
stNRXParamV1.SBSk2[32]:
      0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0 0 0 0 0 0 0 0 0 0 0 0 0
stNRXParamV1.SDSk2[32]:
      0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0 0 0 0 0 0 0 0 0 0 0 0 0

第3级SFk模式基于画面的绝对亮度阈值的去相对亮区和相对暗区的去噪强度表
stNRXParamV1.SDSk3[32]:
      0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0 0 0 0 0 0 0 0 0 0 0 0 0
stNRXParamV1.SBSk3[32]:
      0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0 0 0 0 0 0 0 0 0 0 0 0 0

决定 SFy3 亮区和暗区选择 SFi 模式和 SFk 模式的阈值
stNRXParamV1.BriThr[16]:
      0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0

NRc param去色噪参数:
stNRXParamV1.NRc.SFC:0 表示 3DNR 去色噪的第 0 级的空域滤波强度
stNRXParamV1.NRc.TFC:2 表示 3DNR 去色噪的第 0 级的时域滤波强度，一般建议在低照度下调试不要超过 36-42 之间与ctfp共用
stNRXParamV1.NRc.CSFS:100 表示 3DNR 去色噪的第 1 级的空域滤波强度
stNRXParamV1.NRc.CSFk:0 3DNR 色度默认参数，该值不建议调试
stNRXParamV1.NRc.CTFS:14 3DNR 去色噪的第 1 级的时域滤波强度
stNRXParamV1.NRc.CIIR:0 3DNR 去色噪的第 1 级的空域滤波的模式，该值为 1 时，空域滤波去低频色噪的能力会更强，但色彩溢出效应会更严重，建议该值为 0
stNRXParamV1.NRc.CTFR:16 去色噪的第 1 级时域滤波的相对强度，该值越大，第 1 级去色噪的时域滤波能够发挥的强度越大，但同时会带来色彩拖尾的风险

ISP图像调试之关于海思Hi3559AV100平台下的3DNR降噪中空域滤波模块的一些总结

Markdown 语法

Markdown 语法