メカノクロミック構造色ゲルの色調変化に基づく接触荷重の推定-Contact_load_estimation_by_structural_color_changes_of_mechanochromic_hydrogel_sheet-ROBOMECH2023
•
0 j'aime•10 vues
This paper presents a load estimation method using a mechanochromic hydrogel sheet. The structural color of the gel is changed depending on the applied pressure to the gel sheet. The proposed load estimator based on the combined approaches with image features and machine learning can detect the applied load from the captured images of the gel sheet. The extracted image features of the color images of the gel sheet are superimposed on the captured initial images. By using the superimposed images as input to the machine learning system, we improve the success rate and precision of the load estimation. The experimental results show that the estimator recognizes the applied force with every 100 gf from 0 to 1,000.
![0 g
Compression
with 400 gf
Compression
with 500 gf
圧力印可によって色調が変化する
無機ナノ構造色ゲルシート
＜500gf compression＞
with SIFT features
＜500gf compression＞
with AKAZE features
D. G. Lowe: “Distinctive Image Features from Scale-Invariant
Keypoints,” Int. J. of Computer Vision, 60, 91—110, 2004.
P. F. Alcantarilla et al.: “Fast Explicit Diffusion for Accelerated
Featuresin Nonlinear Scale Spaces.” British Machine Vision
Conference, 2013.
A: All images (154) B: Dataset for pre-learning (77) C: Dataset for tests (77)
D,F: Images for learning (55) E,G: Images for tests (22)
H: Images with SIFT features (55) I: Images with AKAZE features (55)
J: Pre-learned model with SIFT K,M: Output weights of Pre-learned model
L: Pre-learned model with AKAZE, (T: Transfer learning, f: fine tuning)
＜Experimental results＞
＜実験手順＞
1. 構造色ゲルシートに
100gfずつ荷重を印可し，
色調を真上から撮影
（背景色：黒）
2. 撮影画像の一部を取り出
し，SIFT特徴量とAKAZE
特徴量を抽出
3. それぞれの画像特徴量を
元画像に重畳描画した画
像をもとに学習器を生成
4. 事前学習モデルからfine
tuningしたモデルと，転
移学習したモデルを生成
5. ゲルの色調画像から印可
荷重値を推定
W. Yang et al.: “Perovskite Nanosheet Hydrogels with Mechanochromic
Structural Color,” Angew. Chem. Int. Ed., 60, 15, 8466–8471, 2021.
A
B
C
D
E
F
G
T-SIFT model
f-SIFT model
T-AKAZE model
f-AKAZE model
Untreated model
ViT
20Epoch x2
20
E
P
O
C
H
H
I
J
ViT+K
L
ViT+M
pre-
learning
ViT
20Epoch
Image features
superimposing
＜Discussion＞
• 画像特徴量を重畳した画像を学習することで，画像のみと比べて正解率の向上が見られた
• 同様に，不正解の場合の誤差が低減された
＜Future Works＞
• 印可荷重の分解能を高め，数十 [gf] 程度の精度での荷重推定
• 推定荷重レンジの向上，材料の改善
謝辞
本研究は福岡工業大学総合研究機構 2021 年度
研究高度化支援制度の助成を受けたものです．
スケール，回転，照明条件に頑健
◆0.7782
▲0.7376
●0.7945
■0.7594
●0.6837
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Success
rate
of
load
estimation
[-]
Epoch number [-]
f-SIFT f-AKAZE T-SIFT T-AKAZE untreated
●140
◆183.33…
▲140
■180
●214.28…
0
50
100
150
200
250
300
350
400
450
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Average
error
to
ground
truth
[-]
Epoch number [-]
f-SIFT f-AKAZE T-SIFT T-AKAZE untreated
＜Dataset processing and learning procedure＞
画像特徴量を重畳することで，
学習性能の向上が期待できる](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommandé
Contenu connexe
Plus de Fukuoka Institute of Technology
Plus de Fukuoka Institute of Technology (20)
Dernier
Dernier (10)
メカノクロミック構造色ゲルの色調変化に基づく接触荷重の推定-Contact_load_estimation_by_structural_color_changes_of_mechanochromic_hydrogel_sheet-ROBOMECH2023
- 1. ［1P1-G17］ 2023年6月29日（木） コアタイム 13:30～14:15 日本機械学会 ロボティクス・メカトロニクス講演会 ROBOMECH 2023 メカノクロミック構造色ゲルの 色調変化に基づく接触荷重の推定 Contact load estimation by structural color changes of mechanochromic hydrogel sheet 藤村輝，槇田諭（福岡工業大学） makita@fit.ac.jp Fukuoka Institute of Technology <Overview> Mechanically compress Change color Retrieved dataset Input: Color image of gel Output: Forces applied to the gel Image feature extraction Features superimposed images Combine the original image with its image features Vision Transformer Learning Input: Superimposed images Output: Forces applied to the gel Pre-trained model Fine tuning Transfer learning Load estimation from a color image 圧力印可による色調変化を捉えた画像を，Vision Transformer を用いて識別 Weight scale CMOS camera Gel holder Lifter <Experimental Setting> 1. 構造色ゲルシートをガラス板で挟んで固定， 加圧面に黒色塗料を背景として塗布 2. ガラス板と重量スケールの間にΦ10の 丸棒を配置 3. ガラス板固定具を上下動することで， 丸棒からの印可荷重を変更 ※分布圧の推定はまだ実施していない ※CMOSカメラの色温度は任意に設定 画像特徴量を元画像に重畳描画， 学習精度の向上を図る ＜無機ナノシート構造色ゲルの利点＞ • 構造色の色変化は材料由来で印可圧力に依存 → 他の電源や回路を必要としない非電化のセンサ • 柔軟性が高い → 曲面への貼付も期待できる ＜センサとしての課題＞ • 色調変化と印可圧力がキャリブレーション されていない ＜色調変化の課題＞ • 印可圧力の変化に対して，色調変化が小さい • 構造色は照明条件に依存する ＜研究目的とアプローチ＞ • 圧力印可による色調変化から印可圧力を推定 • わずかな荷重変化に対して画像特徴を重畳 → 構造色ゲルの画像特徴の変化を強調 関連研究 • 森本ら：“サンプリングモアレ法による変 位・ひずみ分布計測”，J. of the Vacuum Society of Japan，54，1，pp. 32–38， 2011． • S. Umemoto et al. “Strain measurement of bridge members using Strain Visualization Sticker,” Proc. of Int. Conf. on Bridge Maintenance, Safety and Management, pp. 2212–2217, 2012.
- 2. 0 g Compression with 400 gf Compression with 500 gf 圧力印可によって色調が変化する 無機ナノ構造色ゲルシート ＜500gf compression＞ with SIFT features ＜500gf compression＞ with AKAZE features D. G. Lowe: “Distinctive Image Features from Scale-Invariant Keypoints,” Int. J. of Computer Vision, 60, 91—110, 2004. P. F. Alcantarilla et al.: “Fast Explicit Diffusion for Accelerated Featuresin Nonlinear Scale Spaces.” British Machine Vision Conference, 2013. A: All images (154) B: Dataset for pre-learning (77) C: Dataset for tests (77) D,F: Images for learning (55) E,G: Images for tests (22) H: Images with SIFT features (55) I: Images with AKAZE features (55) J: Pre-learned model with SIFT K,M: Output weights of Pre-learned model L: Pre-learned model with AKAZE, (T: Transfer learning, f: fine tuning) ＜Experimental results＞ ＜実験手順＞ 1. 構造色ゲルシートに 100gfずつ荷重を印可し， 色調を真上から撮影 （背景色：黒） 2. 撮影画像の一部を取り出 し，SIFT特徴量とAKAZE 特徴量を抽出 3. それぞれの画像特徴量を 元画像に重畳描画した画 像をもとに学習器を生成 4. 事前学習モデルからfine tuningしたモデルと，転 移学習したモデルを生成 5. ゲルの色調画像から印可 荷重値を推定 W. Yang et al.: “Perovskite Nanosheet Hydrogels with Mechanochromic Structural Color,” Angew. Chem. Int. Ed., 60, 15, 8466–8471, 2021. A B C D E F G T-SIFT model f-SIFT model T-AKAZE model f-AKAZE model Untreated model ViT 20Epoch x2 20 E P O C H H I J ViT+K L ViT+M pre- learning ViT 20Epoch Image features superimposing ＜Discussion＞ • 画像特徴量を重畳した画像を学習することで，画像のみと比べて正解率の向上が見られた • 同様に，不正解の場合の誤差が低減された ＜Future Works＞ • 印可荷重の分解能を高め，数十 [gf] 程度の精度での荷重推定 • 推定荷重レンジの向上，材料の改善 謝辞 本研究は福岡工業大学総合研究機構 2021 年度 研究高度化支援制度の助成を受けたものです． スケール，回転，照明条件に頑健 ◆0.7782 ▲0.7376 ●0.7945 ■0.7594 ●0.6837 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Success rate of load estimation [-] Epoch number [-] f-SIFT f-AKAZE T-SIFT T-AKAZE untreated ●140 ◆183.33… ▲140 ■180 ●214.28… 0 50 100 150 200 250 300 350 400 450 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Average error to ground truth [-] Epoch number [-] f-SIFT f-AKAZE T-SIFT T-AKAZE untreated ＜Dataset processing and learning procedure＞ 画像特徴量を重畳することで， 学習性能の向上が期待できる