DiffStride: Learning strides in convolutional neural networks

Learning strides in convolutional neural networks

Table of contents

1. Introduction
2. Methods
3. Methods
4. Reference

Downsampling 등의 크기를 결정하는 것은 큰 hyperparameter
하지만, 이는 NAS로 찾기엔 시간이 오래 걸리고 훈련이 불가능함
따라서 훈련 가능한 diffstride를 제시

Introduction

Pooling이나 strude convolution은 관련 정보에 집중하게 하고, shift-invariant와 high-receptive field에 연관이 있음
일반적으로 pooling layer는 convolution (1) 같은 local calculation 후 subsampling (2)으로 진행됨
보통 (1)을 개선하기 위해 aliasing을 없애는 방식을 제시함
Stride가 2여도 정보량이 \(\frac{1}{4}\)로 줄어들기 때문에 분수 stride나 maxpooling도 제시됨
Fractional stride는 layer에 flexible을 주지만, search space를 증가시킴
또한, 적정한 stride를 찾기 쉽지 않음

따라서, 저자는 stride를 학습하는 diffstride를 제시
Diffstride는 spatial domain의 downsampling을 frequency domain의 crop처럼 cast
\(\rightarrow\) Backpropagation을 통해 split (2D attention window)

Methods

Methods

Reference