Recommandé
Contenu connexe
Similaire à Robot car gabor_filter
Plus de marsee101
Plus de marsee101 (19)
Dernier
Dernier (9)
Robot car gabor_filter
- 2. 2020年1月19日白線間、隊列走行ロボットカーの製作2 自己紹介 ● FPGA の部屋というブログを書いています ● 今年の 5 月で丸 15 年間になります ● 朝の 3 時半ころ起床して書いています ● 所属は T 大学のシニア技術職員です ● 61 歳 ● 趣味は FPGA 、マラソン、ロードバイクです ● 来週の勝田マラソン 10km に出場します
- 3. 2020年1月19日白線間、隊列走行ロボットカーの製作3 ロボットカーの開発経緯 ● 科研費奨励研究の課題 ● 「ステレオ・カメラや超音波距離センサーを使用したロボットカー教育用実験キットの開発」 ● カメラ画像を使って白線間を走行するロボットカーを作る ● Zybot のプラットフォームを利用した ● Digilent 社の ZYBO ボードを使用した全長 30cm 程度のロボットカー ● プラットフォームは使用しているが、ハード、ソフトとも独自開発 ● ZYBO ボード ● Xilinx 社の ARM プロセッサ（ Cortex-A9 デュアル）＋ FPGA チップ ● Zynq-7010 ● 強力な 2 つの Cortex-A9 で Ubuntu14.04 が動作 ● ソフトウェア実装後にハードウェアにオフロードが簡単に行える
- 4. 2020年1月19日白線間、隊列走行ロボットカーの製作4 Vivado の Zybot 用プロジェクトの構成 （自作 IP ） ● Vivado HLS で作成した IP （ C 言語で書いた IP ） ● モーター用 PWM IP ● モーター・モニター IP （モーターのパルス数をカウント） ● 超音波センサ・インターフェース IP ● ガボール・フィルタ IP ● ガボール・フィルタ用 DMA エンジン IP ● ラプラシアンフィルタ IP ● RGB-HSV 変換 IP ● ビットマップ・ディスプレイ・コントローラ IP ● カメラ・インターフェース IP
- 5. 2020年1月19日白線間、隊列走行ロボットカーの製作5 ソフトウェア構成の概略 ● OS ● Digilent 社の Linux カーネル ● Root File System は Ubuntu14.04 ● Vivado で実装したハードウェア・デバイスはデバイス・ツリーに UIO （ User space I/O ）としてマップ ● UIO でマップされたハードウェア・デバイスは、 open することによ りユーザーから使用することができる ● カメラの画像のフレームバッファ領域は、 ikwzm さんの udmabuf を 使用している ● CMA(Continuous Memory Allocator) 領域にフレームバッファを確保するためのドライ バ
- 8. 2020年1月19日白線間、隊列走行ロボットカーの製作8 白線検出の方法 ● ガボール・フィルタを使用 ● 正弦波とガウス関数の積 ● 1 次元 ● 2 次元 ● ガウス関数の分散 (Sigma) ● 正弦波の周期 (Lambda) ● 正弦波の進行方向（角度） (theta) ● 正弦波の位相 (Psi) Sigma=4, Lambda=80, Theta=68, Psi=94 Sigma=4, Lambda=80, Theta=135, Psi=94 -1.5 -1 -0.5 0 0.5 1 1.5 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 109 系列1 X 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 109 系列1 = -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 109 系列1
- 9. 2020年1月19日白線間、隊列走行ロボットカーの製作9 白線検出の方法 2 ● 左白線用、右白線用ガボール・フィルタのパラメータを決定 ● Sigma, Lambda, Theta, Psi ● 日本大学の方のガボール・フィルタの実装を使用した（今 Web サイトが無い） ● パラメータを使って演算すれば n x n の重みを画像に掛け算するのみ ● 9 x 9 ピクセルの左白線用、右白線用ガボール・フィルタの重みを取得した ● 左白線用、右白線用の 2 つのパラメータのガボール・フィルタを Vivado HLS で C 言語から HDL へ変換して IP 化 x00 x01 x02 x03 x04 x05 x06 x07 x08 x10 x11 x12 x13 x14 x15 x16 x17 x18 x20 x21 x22 x23 x24 x25 x26 x27 x28 x30 x31 x32 x33 x34 x35 x36 x37 x38 x40 x41 x42 x43 x44 x45 x46 x47 x48 x50 x51 x52 x53 x54 x55 x56 x57 x58 x60 x61 x62 x63 x64 x65 x66 x67 x68 x70 x71 x72 x73 x74 x75 x76 x77 x78 x80 x81 x82 x83 x84 x85 x86 x87 x88 x??：重み 左白線用 ガボール・フィルタ の重み x00 x01 x02 x03 x04 x05 x06 x07 x08 x10 x11 x12 x13 x14 x15 x16 x17 x18 x20 x21 x22 x23 x24 x25 x26 x27 x28 x30 x31 x32 x33 x34 x35 x36 x37 x38 x40 x41 x42 x43 x44 x45 x46 x47 x48 x50 x51 x52 x53 x54 x55 x56 x57 x58 x60 x61 x62 x63 x64 x65 x66 x67 x68 x70 x71 x72 x73 x74 x75 x76 x77 x78 x80 x81 x82 x83 x84 x85 x86 x87 x88 x??：重み 右白線用 ガボール・フィルタ の重み
- 10. 2020年1月19日白線間、隊列走行ロボットカーの製作10 左白線用、右白線用ガボール・フィルタ処理画像 元画像 左白線用ガボール・フィルタ画像 右白線用ガボール・フィルタ画像 x00 x01 x02 x03 x04 x05 x06 x07 x08 x10 x11 x12 x13 x14 x15 x16 x17 x18 x20 x21 x22 x23 x24 x25 x26 x27 x28 x30 x31 x32 x33 x34 x35 x36 x37 x38 x40 x41 x42 x43 x44 x45 x46 x47 x48 x50 x51 x52 x53 x54 x55 x56 x57 x58 x60 x61 x62 x63 x64 x65 x66 x67 x68 x70 x71 x72 x73 x74 x75 x76 x77 x78 x80 x81 x82 x83 x84 x85 x86 x87 x88 x??：重み 右白線用 ガボール・フィルタ の重み x00 x01 x02 x03 x04 x05 x06 x07 x08 x10 x11 x12 x13 x14 x15 x16 x17 x18 x20 x21 x22 x23 x24 x25 x26 x27 x28 x30 x31 x32 x33 x34 x35 x36 x37 x38 x40 x41 x42 x43 x44 x45 x46 x47 x48 x50 x51 x52 x53 x54 x55 x56 x57 x58 x60 x61 x62 x63 x64 x65 x66 x67 x68 x70 x71 x72 x73 x74 x75 x76 x77 x78 x80 x81 x82 x83 x84 x85 x86 x87 x88 x??：重み 左白線用 ガボール・フィルタ の重み X X
- 11. 2020年1月19日白線間、隊列走行ロボットカーの製作11 Vivado の IP Integrator 画面 カメラ DDR SDRAM 左白線 右白線 ガボールフィルタ カメラ・インターフェース スイッチ DMAC スイッチ カメラ・インターフェース
- 12. 2020年1月19日白線間、隊列走行ロボットカーの製作12 白線間走行アプリケーションの動作 ● ハードウェアの動作 ● カメラ画像 1 フレームごとに左白線検出用、右白線検出用のガボール・フィルタが切り 替わり、異なるフレーム・バッファに DMA する ● 白線間走行アプリケーション（ ARM プロセッサ） ● 左白線検出用フレーム・バッファのある行を検索して、左白線の位置を確認 ● 右白線検出用フレーム・バッファの同じ行を検索して、右白線の位置を確認 ● 道路の位置（右白線位置－左白線位置）が左寄りの場合、右モーターの PWM 値を上 げる ● 道路の位置が右寄りの場合は、左モーターの PWM 値を上げる ● 道路の位置が中央の場合は、右、左のモーターの PWM は同一 ● PWM の値の組は 5 種類
- 14. 2020年1月19日白線間、隊列走行ロボットカーの製作14 隊列走行ロボットカーの追従用マーカー 水色四角の中の赤の四角 RGB カメラ画像 HSV 変換 -S=V=255 固定 RGB 変換 HSV での H （色相）は、 0 ～ 360 までの円で表されるので、 0 と 180 の距 離が一番離れている。 S = V = 255 とすると H = 0 は R=255, G = 0, B = 0 つまり赤であり、 H =180 は R = 0, G = 255, B = 255 の水色
- 15. 2020年1月19日白線間、隊列走行ロボットカーの製作15 追従走行ロボットカー動作概要 ●前車との標準的な距離は 32 ㎝ とする。 ●マーカーは水色の四角の中に赤の四角があるものとする。水色の色相（H ）は180 、赤の色相は0 であ る。 ●前車との距離が 32cm でも 64cm でも、マーカーをサーチする際に800 ピクセル×600 行のうちの上 から360 行の付近を横にサーチすれば水色の四角と赤の四角を横切るので、その辺りで判定する。 １．左側から15 ピクセル程度水色判定が続いたら、マーカーだと判定する。 ２．赤になった時の幅を確認する。もし赤判定が100 ピクセル以下だったら、遠すぎるか、マー カー検出できていないので検出プログラムを停止する。 ３．赤判定が外れて5 ピクセル以内に水色判定にならないときはエラー。（CMOS カメラのベイヤ 配列のためか？赤、水色の境界では、2 ピクセルほど色が赤でも水色でもない状態にある） ●前車との標準的な距離 32cm のときの赤い四角の幅は 340 ピクセル、64 cm の時は 144 ピクセル ●前車との間隔は 赤判定が340 ～280 ピクセル程度に収まるように車速を調整する。 ●赤い四角が画像の真ん中に来るようにする。 ●赤い四角が左に寄っている場合 － 右車輪の回転数を上げるか、左車輪の回転数を下げる。 ●赤い四角が右に寄っている場合 － 左車輪の回転数を上げるか、右車輪の回転数を下げる。
- 16. 2020年1月19日白線間、隊列走行ロボットカーの製作16 追従走行用ソフトウェア・テスト ● 前車との認識パターン 標準的な位置のセンター、右、もっと右、左、もっと左、の 5 パターン 小さいサイズ（つまり遠い位置）のセンター、右、もっと右、左、もっと左、の 5 パターン
- 17. 2020年1月19日白線間、隊列走行ロボットカーの製作17 カメラで撮影した画像（ HSV を適当に RGB にアサインしてい るので色がおかしい）
- 19. 2020年1月19日白線間、隊列走行ロボットカーの製作19 カメラで撮影した画像（ HSV を適当に RGB にアサインしてい るので色がおかしい）
- 22. 2020年1月19日白線間、隊列走行ロボットカーの製作22 まとめ ● Zybot をベースにして独自のロボットカーを製作した ● Zybot のベース基板としては Digilent 社の ZYBO を使用した ● Vivado HLS で作成した IP を多く使用している ● ガボール・フィルタをハードウェアとして実装し、ハードウェアと ソフトウェアの連帯により画像解析を使用した白線走行を実現した ● 問題点 ● まだチューニングが足りないので、直角カーブとか急なカーブが曲がれない ● その後の発展 ● 前走車にマーカーを付けて、追従走行ができた ● 今は物体検知、回避走行を実装中