ラドン変換を用いた消失点検出による射影歪み補正の考察

1. ラドン変換を用いた消失点検出
による射影歪み補正の考察
杉山健太† ，石原聖司†，古川貴雄††，滝口孝志‡，長谷川誠†
† 東京電機大学
†† 共立女子大学家政学部
‡‡ 防衛大学校数学教育室

2. 目次
1. はじめに（携帯カメラを用いた文字認識）
2. （技術的課題）斜め撮影で生じる射影歪み
3. ２つの消失点を用いた射影歪みの補正
1. ラドン変換
2. ST変換と消失点の検出
3. 補正のための射影行列算出
4. 実験（補正精度の評価）
5. まとめ
斜め撮影による射影歪み
消失点

3. 携帯カメラを用いた文字認識
モバイル文字認識（携帯カメラを用いた文字認識）
• 外部環境（光源など）の変動に強い
• 文字の変形に頑健（回転・拡大縮小・平行移動・せん断・射影歪み）
• 雑音・オクルージョンへの耐性
• 識別能力が高い（低い他人受入率・低い本人拒否率）
• 高速な照合（照合計算量・インデックス技術）
道路案内標識：正面からの撮影，斜めからの撮影

4. （技術的課題）斜め撮影で生じる射影歪み
• 直線は保持；平行関係は保たれない
• 射影歪みはアフィン変換（平行移動・回転・拡大縮小・せん断）で補
正できない
（平行移動に頑健）位相限定相関法
（回転・拡大縮小・平行移動に頑健）フーリエ・メリン変換法
（せん断・回転・拡大縮小・平行移動に頑健）ラドン変換と非線型マッチングによる方法
正面からの撮影 斜めからの撮影（射影歪み） 撮影の様子

5. ２つの消失点を用いた射影歪みの補正
• １平面の射影歪み；２つの消失点が生成
• 水平・垂直線分による消失点検出
（罫線；文字枠；漢字などの縦横線を利用）
• 消失点を用いた射影歪みの補正
＜アルゴリズム（詳細は後述）＞
1. ラドン変換
2. ST変換；各線分を示す変換後の点列
が直線上に整列
3. 回帰直線による消失点検出
（従来方法の場合：Chenらの方法，志久の方法
再度ハフ変換し，消失点検出）
射影歪み（罫線付きホワイトボード）
消失点
消失点

6. ２つの消失点を用いた射影歪みの補正
＜アルゴリズム（詳細は後述）＞
4. ２つの消失点から４基準点生成
5. 補正のための射影行列算出
6. 射影変換による補正
消失点から４基準点の生成と射影変換による補正
消失点
消失点
基準点
基準点
基準点 基準点
画像領域

7. ラドン変換
• 直線上の線積分を算出して極座標系にプロットする変換
• 直線→点に変換
（定義）原画像𝑓(𝑥, 𝑦)のラドン変換R 𝜃, 𝜌
(1)
𝛿 𝑡 =
∞ 𝑡 = 0
0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒
∶ デルタ関数
𝐿 𝜃𝜌上の任意の点 と
𝐿 𝜃𝜌に垂直な単位ベクトル
との内積は
すなわち線上では次を満たす
(2)
𝐿 𝜃𝜌
x
y
𝜃
𝜌
𝜌
𝜃
原画像
ラドン変換結果
  yxyxyxfR dd)sincos(),(),( 
𝜉 = (cos 𝜃 , sin 𝜃)
),( yx
)sin,(cos  

0sincos   yx

8. ラドン変換
• 直線は点に変換
• 水平直線群と垂直直線群が２つの点列に変換
原画像（二値化＋白黒反転） ラドン変換

9. 水平罫線と垂直罫線の分離
• 水平罫線と垂直罫線の点列に分離
• それぞれ個別に消失点を検出
• ラドン変換の場合，点列はカーブしている
ラドン変換 水平罫線の点列 垂直罫線の点列

10. ST変換と消失点の算出
消失点 を通る直線は，次を満たす
(3)
さらに， と座標変換すると，
式(3)は直線の式
(4)
となり，点列は直線上に整列
大きな値の点列抽出；回帰直線を算出
回帰直線 (5)
消失点 (6)
),( vv yx
ivivi yx  sincos 



 sin
,
cos
 ts
tysx vv 1
水平罫線のラドン変換
水平罫線のＳＴ変換
  st








 1
,),( vv yx s
t

11. （資料）水平・垂直罫線のＳＴ変換
11
水平罫線のラドン変換
垂直罫線のラドン変換
水平罫線のST変換
垂直成分のST変換

12. 補正のための射影行列算出
• 射影変換： (7)
• 行列で記述： (8) ，変形すると次の方程式
が得られ，
(9)
消失点を用いた解が射影行列
• 原画像を射影変換して補正
消失点から４基準点の生成と射影変換による補正
333231
232221
333231
131211
,
hyhxh
hyhxh
y
hyhxh
hyhxh
x








































1333231
232221
131211
y
x
hhh
hhh
hhh
w
y
x
0




































33
32
31
23
22
21
13
12
11
000
1
1
000
h
h
h
h
h
h
h
h
h
xyxxx
yyyxyyx
yx

13. 実験
• 罫線付きホワイトボードの斜め撮影
• 射影歪みの補正
原画像（射影歪みを含む） 補正後

14. 補正精度の評価
画像 歪み量 補正効果
補正前 2.8623 1.00（補正無）
提案方法 0.4166 6.8706
Chenらの方法 1.3226 2.1641
志久らの方法 2.5977 1.1019
補正前 本方法 Chenらの方法 志久らの方法
• 9点の格子間隔の分散(歪み量)を算出
• 補正効果=補正前の歪み量/補正後の歪み量
9点の格子間隔
14

15. まとめ
（検討）斜め撮影による射影歪みの補正
• 平面を斜め撮影；２つの消失点生成
• ラドン変換を用いた消失点検出（ST変換）
• 消失点から射影歪み補正方法の提案
• 補正のための射影行列算出の解説
• 補正精度評価（Chenらの方法，志久らの方法よりも高精度）
（今後の課題）
• 精度評価
• 文字枠，日本語文字列の縦横線を用いた消失点検出
射影歪み 補正後