标签(空格分隔):paper_笔记
##1:概述
该论文的思想自于《Meshflow: Minimum latency online video stabilization 》,在Meshflow 中只使用 historical camera path to computer warping functions for incoming frames.
贡献:
1:开源一个抖动和稳定对应的视频数据集
2:使用cnn 网络(回归)来做防抖
##2:网络架构 overview Deep online video stabilization
2.1:网络输入是7帧(1帧unsteady frame, 6帧historical steady frames(unsteady frame 和steady frames 相隔1秒))
2.2:StabNet 回归出仿射变化的产生参数与Unsteady frame 做warp 最后出对应的Stabilized frame
这个图需要解释的主要有:
1:Temporal loss 是通过Siamese Network 贡献的
2:Gt 表示的不是ground true ,是一个4*4 的mesh on frame It
3.1: Lstab =ground ture (稳定帧)与 网络输出的稳定帧(不稳定帧经过warp)计算像素loss(较小) ,特征点loss
3.2: Lshape = mesh 中的网格内的形变loss ,和网格间的形变loss (这部分的理论基础见补充部分)
3.3: 帧与帧之间计算loss w(.) 表示warp 计算ground ture 两帧之间的光流作用与网络输出的两帧之间。
##4:自己的解读
1:通过云台采集到一个数据集,并公开,这部分贡献还是比较大的,以后大家可以在这个上面刷点。
2:但是在我调试开源代码得出的结果并不理想,从作者那里得到的实验室视频来看效果也不是特别好,这个就令人不理解了。
最原始提出的来自于ACM siggraph ,相似性的约束
Liu Feng 进行了改进应用到矩形中
Liu shuaicheng 基于Liu Feng 的理论进行应用,本文就是基于Liu shuaicheng 的结果进行应用的。