video interp_Sparse Global Matching for Video Frame Interpolation with Large Motion论文解释

video interp:Sparse Global Matching for Video Frame Interpolation with Large Motion

1.原理介绍

主要分为两个大模块：（结合论文阅读）

local feature branch 和 sparse global matching branch

1. local feature branch 主要包括 local feature extractor, flow estimation, refine net三个小模块：
2. local feature extractor 是CNN and Transformer hybrid structure, 用于特征提取
3. flow estimation 估计t->0的flow，t->1的flow, fusion map, 然后可以得到目标插帧图：
   
4. refine net是一个unet，用于优化插帧的效果。

以上就是local feature branch ，其实已经可以得到插帧结果，但是在面对大位移的时候可能效果没那么好，因此作者有引入了 sparse global matching branch , 这个分支通过稀疏匹配的方法解决大位移的匹配