IMU Deblur 張浩軒.

Presentation on theme: "IMU Deblur 張浩軒."— Presentation transcript:

1 IMU Deblur 張浩軒

2 Blur Model ( 𝑢 0 , 𝑣 0 ,1) 𝑇 ：物體在影像上的位置座標。座標為按下快門瞬間時的image frame
( 𝑢 𝑡 , 𝑣 𝑡 ,1) 𝑇 ：從按下快門經過時間t後，物體在影像上的位置座標。座標為按下快門瞬間時的image frame 想求trasform matrix 𝐻 𝑡 (𝑑) ： ( 𝑢 𝑡 , 𝑣 𝑡 ,1) 𝑇 = 𝐻 𝑡 (𝑑) ( 𝑢 0 , 𝑣 0 ,1) 𝑇

3 Blur Model 𝑯 𝒕 𝒅 =𝑲( 𝑹 𝒕 +𝟏/𝒅× 𝑻 𝒕 × 𝑵 𝑻 ) 𝑲 −𝟏
𝑯 𝒕 𝒅 =𝑲( 𝑹 𝒕 +𝟏/𝒅× 𝑻 𝒕 × 𝑵 𝑻 ) 𝑲 −𝟏 K：camera intrinsic matrix Rt：rotation matrix Tt：translation matrix d：image depth N：unit vector orthogonal to the image plane

4 Blur Model 𝑯 𝒕 𝒅 =𝑲( 𝑹 𝒕 +𝟏/𝒅× 𝑻 𝒕 × 𝑵 𝑻 ) 𝑲 −𝟏 Rotate

5 Blur Model 𝑯 𝒕 𝒅 =𝑲( 𝑹 𝒕 +𝟏/𝒅× 𝑻 𝒕 × 𝑵 𝑻 ) 𝑲 −𝟏
𝑯 𝒕 𝒅 =𝑲( 𝑹 𝒕 +𝟏/𝒅× 𝑻 𝒕 × 𝑵 𝑻 ) 𝑲 −𝟏 Translate(d = 15cm vs d = 20cm)

6 Blur Model d = 15cm d = 20 cm 移動距離比為3/4

7 Blur Model 但是，經過 𝐻 𝑡 (𝑑) 轉換得到的 ( 𝑢 𝑡 , 𝑣 𝑡 ,1) 𝑇 並不一定會在整數點上，而數位影像的顯示只能在整數點上。 因此要再對 ( 𝑢 𝑡 , 𝑣 𝑡 ,1) 𝑇 作bilinear transform，對每個整數點，取4個最近點做平均 表達為： 𝐼 𝑡 = 𝐴 𝑡 (𝑑) 𝐼 𝐼 𝑡 ：image at time t 𝐼 ：original image

8 Blur Model 而最終影像是由每個時間點接收到的曝光積分而來 𝐵 = 0 𝑠 𝐴 𝑡 𝑑 𝐼 𝑑𝑡 ,𝑡=0~𝑠
𝐵 = 0 𝑠 𝐴 𝑡 𝑑 𝐼 𝑑𝑡 ,𝑡=0~𝑠 A d = 0 𝑠 𝐴 𝑡 (𝑑)𝑑𝑡 𝐵 =𝐴 𝑑 𝐼 +𝑁, 𝑁~𝑁(0, 𝜎 2 )

9 Blur Model 𝑩 =𝑨 𝒅 𝑰 +𝑵, 𝑵~𝑵(𝟎, 𝝈 𝟐 ) spatially-variant, per pixel
𝑩 =𝑨 𝒅 𝑰 +𝑵, 𝑵~𝑵(𝟎, 𝝈 𝟐 ) spatially-variant, per pixel 目標：由陀螺儀和加速規上的資訊，得到最有可能的𝐴 𝑑

10 Rotation/Translation Matrix
加速規：測x、y、z三方向的加速度 陀螺儀：測x、y、z三方向的角速度 擁有的資訊：每一段間隔很短的時間內，加速規和陀螺儀記錄下的加速度與角速度。 我們假設每段時間內： 以等加速度移動：由加速規求得 translation matrix 以等角速度移動：由陀螺儀求得 rotation matrix

11 Rotation/Translation Matrix
接著做數學推導，假設參數如下：

12 Rotation/Translation Matrix
初始時有的參數： 𝑎 𝑝 𝑡 ：加速規測量 𝑤 𝑡 𝑡 ：陀螺儀測量 希望得到的： tRi ：每段時間的rotation matrix 𝑥 𝑡 𝑖 ：每段時間的位置，與 𝑥 𝑡−1 𝑖 相減可推得translation matrix

13 Obtain Rotation Matrix
假設初始角位置為0，所以初始的rotation matrix為 identity matrix 等角速度公式： 𝜃 𝑡 2 = 𝜃 𝑡 𝑡 2 − 𝑡 1 ×𝑤 以下列兩公式連續計算各個時間的rotation matrix tRi

14 Obtain Translation Matrix
假設初始加速規位置、速度皆為0 等加速度公式： 𝑣 𝑡 2 = 𝑣 𝑡 𝑡 2 − 𝑡 1 ×( 𝑎 𝑡 1 − 𝑔 ) 𝑥 𝑡 2 = 𝑥 𝑡 𝑣 𝑡 1 × 𝑡 2 − 𝑡 ×( 𝑎 𝑡 1 − 𝑔 )× (𝑡 2 − 𝑡 1 ) 2 因此可得：

15 Obtain Translation Matrix
Transform 𝑥 𝑝 𝑖 (𝑡) to 𝑥 𝑡 𝑖 ： 因為假設 𝑥 𝑝 𝑖 0 =0，所以 𝑥 𝑡 𝑖 = 𝑥 𝑝 𝑖 (𝑡) 由 𝑥 𝑡 𝑖 𝑡 可推得𝑡𝑟𝑎𝑛𝑠𝑙𝑎𝑡𝑖𝑜𝑛 𝑚𝑎𝑡𝑟𝑖𝑥

16 Predict Optimal Path 假設計算的time frame為t=0~T，則結束時的位置在 𝑥 𝑇 𝑖
由於前面數學推導做了許多假設，因此並不一定準確，但也不會跟真實結束位置距離太遠（曝光時間0.5sec時，大約在半徑1mm範圍內，曝光時間越長範圍越大） 所以要在 𝑥 𝑇 𝑖 附近的有限範圍內，尋找最佳化的位置 𝑥 0~𝑇 𝑖

17 Predict Optimal Path 定義一個function ∅如下，代表可能結束位置的cost function
(u,v)代表結束位置，要在 𝑥 𝑇 𝑖 附近有限範圍內 目的為對於每個可能結束位置，算出一組t=0~T的位置向量 𝑥 𝑖

18 Deconvolution 以energy minimization的方式，對每個可能的結束位置算出的位置向量 𝑥 𝑖 ，最佳化預測Point-Spread-Function A d 改寫成： energy minimization with image prior：

19 Energy Minimization 最佳化方法： Nelder-Mead simplex method
Outer Loop：對每一組u、v預測最佳的移動路徑 Inner Loop：對已知的A(d,u,v)做最小化cost function，希望得到最佳的𝐼

20 Nelder-Mead Method Iteratively最小化一個cost function的方法
假設cost function為f(x)，取B、G、W三點，且𝑓(𝐵)≤𝑓(𝐺)≤𝑓(𝑊) 目標為在iterative過程中，盡量將f(W) 以更小的值取代，以求這三個點達到收斂到最小值

21 Nelder-Mead Method Reflection：
因為x從W到B、W到G的過程，極有可能f(x)是會下降的，因此想將W朝G、B的方向前進，因此計算下圖的f(R) M = (B+G)/2, R = M + (M-W) = 2M - W

22 Nelder-Mead Method Expansion：
若f(R) < f(W)，則很有可能x是朝converge的方向前進，因此再朝這方向前進多些，計算如下圖的f(E) E = R + (R-M) = 2R – M 若f(E)<f(R)，則E取代W，反之則R取代W

23 Nelder-Mead Method Contraction：
若f(R) >= f(W)，則試著計算如下圖的C1、C2，其中f值較小的稱為C C1 = (W+M)/2, C2 = (M+R)/2, 若f(C)<f(W)，則C取代W

24 Nelder-Mead Method Shrink： 若f(C)>=f(W)，則將G、W分別換成下圖的M、S，接著回到第一步重新計算
S = (B+W)/2, M = (B+G)/2

25 Nelder-Mead Method Example： find the minimum of 𝑓 𝑥,𝑦 = 𝑥 2 −4𝑥+ 𝑦 2 −𝑦−𝑥𝑦，Start with this three points 𝑉 1 = 0,0 , 𝑉 2 = 1.2,0 , 𝑉 3 =(0,0.8) Optimal solution is (3,2)

26 Nelder-Mead Method