HRNet 保持高分辨率 不同分辨率之间进行信息交换（exchange） Exchange Unit HRNet Exchange Block.

Presentation on theme: "HRNet 保持高分辨率 不同分辨率之间进行信息交换（exchange） Exchange Unit HRNet Exchange Block."— Presentation transcript:

1

2

3 HRNet 保持高分辨率 不同分辨率之间进行信息交换（exchange） Exchange Unit HRNet
Exchange Block

4 Experiment results

5 Ablation study

6 HRNet v2 将HRNet用在分割和检测任务上

7 Modification：多个分辨率的输出concat

8 Experiment Semantic segmentation Object detection
Face landmark detection

9

10 对不同位置的attention-map进行可视化

11

12 我做的可视化

13 Motivation Non-local所有位置的attention-map几乎相同，可以简化
简化后的non-local跟SE Block惊人的结构相似 Non-local和SENet可以结合

14 简化NL Block

15 Simplified NL + SE = Global context block

16 Ablation study on COCO Validation
Non-local论文结果

17 Result on Kinetics Non-local论文结果

18

19 Motivation Self-attention计算每个位置的attention都需要所有位置参与，计算 量庞大（O(n^2)) 且没必要
本文提出轻量级的lightweight convolution和dynamic convolution

20

21 Lightweight convolution
有weight share的depthwise convolution；分H组，kernel size为k； 卷积核参数在k上进行softmax Gated linear unit，输入2d，其中d维用来做sigmoid后与另外d维相乘（便于优化梯度）

22 Dynamic Convolution 卷积核的参数并不取决于entire context，仅是当前的time-step的函数

23

24 Background Attention过程中包括了key和query，起作用的包括：key content， query content以及relative position

25 Spatial attention mechanisms
Generalized attention formulation Transformer attention 第m个attention head的attention weight

26 Deformable convolution
Regular convolution Deformable convolution Dynamic convolution 卷积offset Deformation offset 双线性插值

27 𝜀 1 = z 𝑞 𝑇 𝑈 𝑚 𝑇 𝑉 𝑚 𝐶 𝑥 𝑘 𝐶× 𝑁 𝑠 𝑁 𝑠 ×𝐶 𝐶×𝐶 𝐶×𝐶 𝑂(𝑁 𝑠 𝐶 2 ) 𝑂( 𝑁 𝑠 𝐶 2 ) 𝑁 𝑠 ×𝐶 𝐶× 𝑁 𝑠 𝑂( 𝑁 𝑠 2 𝐶) 𝑁 𝑠 × 𝑁 𝑠 总复杂度：𝑂( 𝑁 𝑠 2 𝐶+ 𝑁 𝑠 𝐶 2 )

28 Experiment Object detection/semantic segmentation NMT

29 Disentangle Transformer attention module

30

31