卷积
反卷积
早就想写一个关于反卷积的总结,今天才得以动笔。
名字
反卷积:Deconvolution Convolution
转置卷积:Transposed Convolution
小数步长卷积:Fractionally Strided Convolution
转置卷积
对于上述卷积运算,可以把3×3
的卷积核展成如下4×16
的稀疏矩阵C
,其中非0元素Wij
表示卷积核的第i行和第j列。
再把4×4
的输入特征展开成16×1
的矩阵X
,那么Y=CX
是一个4×1
的输出特征矩阵,重新排列为2×2
的输出特征就得到最终的结果。
从上面过程可以看出,卷积层的计算可以转化为矩阵相乘。
卷积层的前向操作可以表示为权值组成的矩阵C
和输入特征Y
相乘。
由于矩阵C
一般没有逆矩阵C-1
,但是可以用矩阵C的转置CT
近似。
小数步长卷积
在其输入特征单元之间插入s−1
个0,插入0后将其作为新的输入特征。
此时步长不再是小数而是1。
卷积方式
- Valid卷积
- Same卷积
- Full卷积
以下均考虑S
(步长)为1的情况。
Valid卷积
S
(步长)为1时,输出特征图
比输入特征图
小。
一般表现为卷积之前不补K-1//2
个0。
Same卷积
Half padding,
S
(步长)为1时,输出特征图和
输入特征图`大小相同。
有pool的时候经常需要Same卷积
。
Full卷积
S
(步长)为1时,输出特征图
比输入特征图
大。
一般表现为卷积之前补K-1
个0。
Reference
Transposed Convolution, Fractionally Strided Convolution or Deconvolution