HRNet 保持高分辨率 不同分辨率之间进行信息交换（exchange） Exchange Unit HRNet Exchange Block
Experiment results
Ablation study
HRNet v2 将HRNet用在分割和检测任务上
Modification：多个分辨率的输出concat
Experiment Semantic segmentation Object detection Face landmark detection
对不同位置的attention-map进行可视化
我做的可视化
Motivation Non-local所有位置的attention-map几乎相同，可以简化 简化后的non-local跟SE Block惊人的结构相似 Non-local和SENet可以结合
简化NL Block
Simplified NL + SE = Global context block
Ablation study on COCO Validation Non-local论文结果
Result on Kinetics Non-local论文结果
Motivation Self-attention计算每个位置的attention都需要所有位置参与，计算 量庞大（O(n^2)) 且没必要 本文提出轻量级的lightweight convolution和dynamic convolution
Lightweight convolution 有weight share的depthwise convolution；分H组，kernel size为k； 卷积核参数在k上进行softmax Gated linear unit，输入2d，其中d维用来做sigmoid后与另外d维相乘（便于优化梯度）
Dynamic Convolution 卷积核的参数并不取决于entire context，仅是当前的time-step的函数
Background Attention过程中包括了key和query，起作用的包括：key content， query content以及relative position
Spatial attention mechanisms Generalized attention formulation Transformer attention 第m个attention head的attention weight
Deformable convolution Regular convolution Deformable convolution Dynamic convolution 卷积offset Deformation offset 双线性插值
𝜀 1 = z 𝑞 𝑇 𝑈 𝑚 𝑇 𝑉 𝑚 𝐶 𝑥 𝑘 𝐶× 𝑁 𝑠 𝑁 𝑠 ×𝐶 𝐶×𝐶 𝐶×𝐶 𝑂(𝑁 𝑠 𝐶 2 ) 𝑂( 𝑁 𝑠 𝐶 2 ) 𝑁 𝑠 ×𝐶 𝐶× 𝑁 𝑠 𝑂( 𝑁 𝑠 2 𝐶) 𝑁 𝑠 × 𝑁 𝑠 总复杂度：𝑂( 𝑁 𝑠 2 𝐶+ 𝑁 𝑠 𝐶 2 )
Experiment Object detection/semantic segmentation NMT
Disentangle Transformer attention module