SlideShare une entreprise Scribd logo

【DL輪読会】Factory: Fast Contact for Robotic Assembly

•Télécharger en tant que PPTX, PDF•
•
Deep Learning JP
Deep Learning JP

2022/06/10 Deep Learning JP: http://deeplearning.jp/seminar-2/

Technologie
1  sur  25
1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Factory: Fast Contact for Robotic Assembly Koki Ishimoto
書誌情報 • Title: Factory: Fast Contact for Robotic Assembly • Author: Yashraj Narang*, Kier Storey*, Iretiayo Akinola*, Miles Macklin*, Philipp Reist*, Lukasz Wawrzyniak*, Ynrong Guo*, Adam Moravanszky*, Gavriel State*, Michelle Lu*, Ankur Handa*, Dieter Fox*† • * NVIDIA • †University of Washington • Project page: https://sites.google.com/nvidia.com/factory/ 2
概要 3 • Contact-Richなシミュレーションをreal-timeに動かすことに成功した • 高品質なCADファイルとメモリ消費を抑えた接触シミュレーション手法により、A5000１枚で 1000個のボルトScrew環境を作成可能にした。 • 従来手法に比べて2桁早い • 並列化でシングルスレッドのreal-time計算に比べて3桁の高速化 • AssemblyタスクのBenchmarkを提供した • 4つのpolicyを1-1.5hで学習可能(RTX 3090 1枚)
関連研究 Contact-rich simulation • 従来のcontact-richなタスクを解くsimulatorは、nut-bolt taskのレンダリングにreal-time の20倍以上の時間がかかることが多い • Implicit Multibody Penalty-BasedDistributed Contact (2014): 1/460 real-time • Intersection-free rigid body dynamics(2021): 1/350 real-time • Sim-to-Real Transfer of Bolting Tasks with Tight Tolerance(2020): 4* real-time (ただしタスクが簡 単) 4 https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9341644
Contact-Rich Simulation Methods • RLタスクなどのために、十分高速に回せるcontact-richなシミュレータの開発 5
SDF Collisions 6 • SDF: 物体の表面を0として外部と内部を正負で表現した関数 • 256^3より大きい解像度のSDFを用意 • 右の画像引用元の手法で物体のcontactの初期情報を計算 • 物体間で最も近い点をSDFの勾配情報から求めていく • M4 (径が4mm) ナットとボルトで16k個のcontactsが生成された • Contact: 物体間に生じるinteraction, 接触力(ベクトル) https://dl.acm.org/doi/pdf/10 .1145/3384538
Contact Reduction and Solver Selection • 処理の高速化のために、GPUメモリの節約を考える • Contact生成において、各contactに必要なのは7つのfloat(point, normal vector, distance)と２つの inteters(rigid body indices) 合わせて36bytes • およそ160bytesをcontactとその制約に必要なメモリ量として見積もる • M4 ナットとボルト(16k contacts)で約2.5MB/timestep • Jacobi solver(Δt=1/60)の条件で、, 8 sub-steps と 64 iterationsが安定的なシミュレーションのた めに必要 • 上記の設定で、メモリバンド幅はおよそ1.28GB/frame, 76.8GB/s • もしContactsを16k → 300に減らせたら、1つ当たり24MB/frame, 1.4GB/sでシミュレーション可能。 • A5000を使った場合、最大1100個のナット・ボルトアセンブリをsimulationできるはず • Contactsが300程度なら、Gauss-Seidel solverを使用できる（1 substepと16 iterationsで安定的な シミュレーションが可能） 7
Implementation of Contact Reduction • 近いmesh同士でnormal vector(contact)を共有 することでcontactを減らす 1: SDF collisionを用いてcontactsの生成 2: 法線の類似度でcontactを統合 3: 割り当てられていないものについては、その中で deepest penetrationなcontactを見つける 4: 3で見つけたcontactに、割り当てられていない contactを統合していく 8
Implementation of Contact Reduction • 削減されたcontact • 300contactsの場合: contactの生成と削減に11ms, contactの制約の解決に3msかかる 9
Performance Evaluations • さ ま ざ ま な 環 境 の rendering テ ス ト 動 画 は Project page へ https://sites.google.com/nvidia.com/factory/ 10
Robot Learning Tools • 次に、ロボット学習環境としてIsaac Gymを使用(PhysX物理エンジンはIsaacで使用可能) • RobotとしてPanda Frankaのロボットアームを使用 • NIST boardの60個のアセット • Robot assembly 環境３つ • FrankaNutBoltEnv • FrankaInsertionEnv • FrankaGearsEnv • Robotコントローラ７種類 11
Robot Learning Tools • NIST boardの60個のアセット • NISTの公開されているアセットは、正確なシミュレーションを行 う上では精度が不十分 • 電気コネクターなどはCADがピッタリ噛み合わなかったり、手作業で計測 されてたりする • 自作の、より精度の高いCADファイルを作成 12
Scenes • Robot assembly 環境３つ • FrankaNutBoltEnv • ナットとボルトの嵌め込み • M4,M8,M12,M16,M20(使 用 し た ボルトのサイズ) • FrankaInsertionEnv • 丸 型 ま た は 正 方 形 型 の pegs- and-holes/コネクタ類の差し込 み • FrankaGearsEnv • ギア３つとマウンタ１つの嵌め 込み 13
Controllers • Robotコントローラ７種類 • IK(inverse kinematics) • ID(inverse dynamics) • インピーダンス制御 • Operational-space motion controller • 慣性モーメント・重力補償付きのID • 開ループ力制御 • 閉ループ位置制御 • Hybrid force-motion controller • Motion controllerとforce controllerの組み合わせ(軸によって使い分ける) 14
Reinforcement Learning • タスクを三つに分解 • Pick • Place • Screw • Pick&Placeタスク自体は古典的 • 特にContact-RichなScrewタスクに注目 15
Shared Framework: Pick, Place, Screw • PPOのハイパラは共通(右表) • 3-4個のpolicyはRTX 3090で同時にバッジ学習 • それぞれのpolicyで128個のsimulation環境を使用 • 各バッジ1024 policy updateに 1-1.5 h • 行動空間 • 開ループ制御と閉ループ制御は３次元力ベクトル • それ以外のコントローラはハンドの相対姿勢(6DoF) 16 各SubpolicyのRandomized Initial States
Subpolicy: Pick and Place • Pick(成功率 100%) • 観測: ハンド・ナットの姿勢、ハンド速度・角速度 • 行動空間: IK(inverse kinematics) • Dense reward: • kn, kf: ナットの中心軸とハンドの approach axisに関する2-4個のキーポイントからなるテンソル • Success: Pickに成功したら • Place(成功率 98.4%) • 観測: ハンド・ナット・ボルトの姿勢、ハンド＋ナットの速度・角速度 • 行動空間: IK • Dense reward: Placeと同様(ボルトとナットに関する距離) • Success: ボルトとナットのキーポイントが0.8mm 以内 17
SubPolicy: Screw • Screw • 観測：複数で比較 • 行動空間：複数で比較 • Dense Reward: ボルトとナット、ナットとハンドのキーポイントの距離の和 • Success: ナットとボルトが最後まで回りきったら成功(最後から1巻以内なら成功) • ハンドの関節角を無限回転と仮定(Frankaは本来無限回転しない) • ハンドをナットから離さずに回すため • さまざまな失敗軌道も見られた • ボルトとの衝突、ナットとボルトが接触した際のroll-pitch軸のずれ、回している際のジャミング、歳差運動に よるハンドとナットのスリップ • ⇨観測・行動空間の比較、baseline_rewardの追加 18
SubPolicy: Screw • コントローラ・ゲインの探索 • OSC motionを使って P Motion Gainが小さい時(0.1)に最も成功確率が高かった。 19
SubPolicy: Screw • 観測の探索 • Pose+ velocityが最も成功率が高かった(Poseのみとそこまで変わらな い) • 行動空間の探索 • 6自由度を全て使うより、z方向とyaw軸の２自由度で回した方が成功 率が高い 20
SubPolicy: Screw • Baseline_rewardの探索 • Linearを使用した場合が最も成功率が高かった • d: キーポイント間の距離 21
Sequential Policy Execution • Multi-task learning的な話 • Pick, Place, Screwをend-to-endで学習させると72.9%まで成功率が低下 • Subpolicyを学習するときに、ひとつ前のSubpolicyの最終状態の分布をカバーする様にするなどの工夫をした • バラバラに学習させた場合は合わせて90% 22 各SubpolicyのRandomized Initial States
Contact Forces • Screwタスク時のジョイントトルクの分布 • Daily Interactive Manipulation datasetのボルト＋レンチタスクと比較 • Real Fasten Nutの分布内にSim Fasten Nutが収まっている • Real Fasten Nutの方が分散が大きいのは、人間の締め方の多様性の問題と推測 23
Limitations • 要改善点 • SDFの衝突スキーム • 薄い素材でできたボトルや箱の衝突をロバストに処理する機能 • Mesh１つあたりが大きい場合の処理の改善 • Meshひとつごとに一つの接触が生成されるため、平坦で大きい表面の衝突がうまく表現できていない • Sparse SDF representationを用いたメモリの削減 • Deformable objectsのFEMベースのサポート(コネクタケーブルなど) 24
Conclusion • Contact-Richなシミュレーションをreal-timeに動かすことに成功した • 高品質なCADファイルとメモリ消費を抑えた接触シミュレーション手法により、A5000１枚で 1000個のボルトScrew環境などを作成可能にした。 • 従来手法に比べて2桁早い • 並列化でシングルスレッドのreal-time計算に比べて3桁の高速化 • AssemblyタスクのBenchmarkを提供した • 4つのpolicyを1-1.5hで学習可能(RTX 3090 1枚) • Screwタスクだけでなく、他のContact-Richなタスクにも応用可能性がある • 非凸形状の把持 • 不均一な屋外地形での移動 など 25

Recommandé

強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe
 
モデル高速化百選
モデル高速化百選モデル高速化百選
モデル高速化百選Yusuke Uchida
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイcvpaper. challenge
 
[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−
[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−
[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−Deep Learning JP
 
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報Deep Learning JP
 
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP
 
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況Deep Learning JP
 

Recommandé

強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe
 
モデル高速化百選
モデル高速化百選モデル高速化百選
モデル高速化百選Yusuke Uchida
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイcvpaper. challenge
 
[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−
[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−
[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−Deep Learning JP
 
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報Deep Learning JP
 
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP
 
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況Deep Learning JP
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法Deep Learning JP
 
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
（DL輪読）Variational Dropout Sparsifies Deep Neural NetworksMasahiro Suzuki
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions [DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions Deep Learning JP
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化Yusuke Uchida
 
ResNetの仕組み
ResNetの仕組みResNetの仕組み
ResNetの仕組みKota Nagasato
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925小川 雄太郎
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
最適輸送入門
最適輸送入門最適輸送入門
最適輸送入門joisino
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
【DL輪読会】Transformers are Sample Efficient World Models
【DL輪読会】Transformers are Sample Efficient World Models【DL輪読会】Transformers are Sample Efficient World Models
【DL輪読会】Transformers are Sample Efficient World ModelsDeep Learning JP
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解するAtsukiYamaguchi1
 
強化学習その4
強化学習その4強化学習その4
強化学習その4nishio
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP
 
FPGAX2016 ドキュンなFPGA
FPGAX2016 ドキュンなFPGAFPGAX2016 ドキュンなFPGA
FPGAX2016 ドキュンなFPGAHiroki Nakahara
 
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくるデータセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくるMasafumi Oe
 

Contenu connexe

Tendances

【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法Deep Learning JP
 
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
（DL輪読）Variational Dropout Sparsifies Deep Neural NetworksMasahiro Suzuki
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions [DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions Deep Learning JP
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化Yusuke Uchida
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925小川 雄太郎
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
最適輸送入門
最適輸送入門最適輸送入門
最適輸送入門joisino
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
【DL輪読会】Transformers are Sample Efficient World Models
【DL輪読会】Transformers are Sample Efficient World Models【DL輪読会】Transformers are Sample Efficient World Models
【DL輪読会】Transformers are Sample Efficient World ModelsDeep Learning JP
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解するAtsukiYamaguchi1
 
強化学習その4
強化学習その4強化学習その4
強化学習その4nishio
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP
 

Tendances (20)

【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
 
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
 
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions [DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
 
ResNetの仕組み
ResNetの仕組みResNetの仕組み
ResNetの仕組み
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
 
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
 
最適輸送入門
最適輸送入門最適輸送入門
最適輸送入門
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
【DL輪読会】Transformers are Sample Efficient World Models
【DL輪読会】Transformers are Sample Efficient World Models【DL輪読会】Transformers are Sample Efficient World Models
【DL輪読会】Transformers are Sample Efficient World Models
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解する
 
強化学習その4
強化学習その4強化学習その4
強化学習その4
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
 

Similaire à 【DL輪読会】Factory: Fast Contact for Robotic Assembly

FPGAX2016 ドキュンなFPGA
FPGAX2016 ドキュンなFPGAFPGAX2016 ドキュンなFPGA
FPGAX2016 ドキュンなFPGAHiroki Nakahara
 
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくるデータセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくるMasafumi Oe
 
Embedding Watermarks into Deep Neural Networks
Embedding Watermarks into Deep Neural NetworksEmbedding Watermarks into Deep Neural Networks
Embedding Watermarks into Deep Neural NetworksYusuke Uchida
 
Trainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
Trainable Calibration Measures for Neural Networks from Kernel Mean EmbeddingsTrainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
Trainable Calibration Measures for Neural Networks from Kernel Mean Embeddingsharmonylab
 
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNAStyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNAKento Doi
 
オブジェクト指向モデリング
オブジェクト指向モデリングオブジェクト指向モデリング
オブジェクト指向モデリングtakepu
 
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...Tokyo Institute of Technology
 
Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
Soft Rasterizer: A Differentiable Renderer for Image-based 3D ReasoningSoft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
Soft Rasterizer: A Differentiable Renderer for Image-based 3D ReasoningKohei Nishimura
 
自宅ラックとやらについてちょっと考えてみた
自宅ラックとやらについてちょっと考えてみた自宅ラックとやらについてちょっと考えてみた
自宅ラックとやらについてちょっと考えてみたM Hagiwara
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...MasanoriSuganuma
 
令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -Yutaka KATAYAMA
 
Generative adversarial nets
Generative adversarial netsGenerative adversarial nets
Generative adversarial netsKeisuke Hosaka
 
ICCV 2019 論文紹介 (26 papers)
ICCV 2019 論文紹介 (26 papers)ICCV 2019 論文紹介 (26 papers)
ICCV 2019 論文紹介 (26 papers)Hideki Okada
 
2012-03-08 MSS研究会
2012-03-08 MSS研究会2012-03-08 MSS研究会
2012-03-08 MSS研究会Kimikazu Kato
 
2020 08 05_dl_DETR
2020 08 05_dl_DETR2020 08 05_dl_DETR
2020 08 05_dl_DETRharmonylab
 
2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介
2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介
2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介Hiroki Nakahara
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...MasanoriSuganuma
 

Similaire à 【DL輪読会】Factory: Fast Contact for Robotic Assembly (20)

FPGAX2016 ドキュンなFPGA
FPGAX2016 ドキュンなFPGAFPGAX2016 ドキュンなFPGA
FPGAX2016 ドキュンなFPGA
 
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくるデータセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
 
Embedding Watermarks into Deep Neural Networks
Embedding Watermarks into Deep Neural NetworksEmbedding Watermarks into Deep Neural Networks
Embedding Watermarks into Deep Neural Networks
 
Trainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
Trainable Calibration Measures for Neural Networks from Kernel Mean EmbeddingsTrainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
Trainable Calibration Measures for Neural Networks from Kernel Mean Embeddings
 
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNAStyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
 
オブジェクト指向モデリング
オブジェクト指向モデリングオブジェクト指向モデリング
オブジェクト指向モデリング
 
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
 
JAWS DAYS 2022
JAWS DAYS 2022JAWS DAYS 2022
JAWS DAYS 2022
 
Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
Soft Rasterizer: A Differentiable Renderer for Image-based 3D ReasoningSoft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
 
自宅ラックとやらについてちょっと考えてみた
自宅ラックとやらについてちょっと考えてみた自宅ラックとやらについてちょっと考えてみた
自宅ラックとやらについてちょっと考えてみた
 
Japanino Workshop #3
Japanino Workshop #3Japanino Workshop #3
Japanino Workshop #3
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
 
Cassandra Summit 2016 注目セッション報告
Cassandra Summit 2016 注目セッション報告Cassandra Summit 2016 注目セッション報告
Cassandra Summit 2016 注目セッション報告
 
令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -
 
Generative adversarial nets
Generative adversarial netsGenerative adversarial nets
Generative adversarial nets
 
ICCV 2019 論文紹介 (26 papers)
ICCV 2019 論文紹介 (26 papers)ICCV 2019 論文紹介 (26 papers)
ICCV 2019 論文紹介 (26 papers)
 
2012-03-08 MSS研究会
2012-03-08 MSS研究会2012-03-08 MSS研究会
2012-03-08 MSS研究会
 
2020 08 05_dl_DETR
2020 08 05_dl_DETR2020 08 05_dl_DETR
2020 08 05_dl_DETR
 
2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介
2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介
2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
 

Plus de Deep Learning JP

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP
 
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについてDeep Learning JP
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP
 
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLMDeep Learning JP
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo... 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP
 
【DL輪読会】Hopfield network　関連研究について
【DL輪読会】Hopfield network　関連研究について【DL輪読会】Hopfield network　関連研究について
【DL輪読会】Hopfield network　関連研究についてDeep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "Deep Learning JP
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"Deep Learning JP
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...Deep Learning JP
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...Deep Learning JP
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...Deep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP
 

Plus de Deep Learning JP (20)

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
 
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
 
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo... 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
 
【DL輪読会】Hopfield network　関連研究について
【DL輪読会】Hopfield network　関連研究について【DL輪読会】Hopfield network　関連研究について
【DL輪読会】Hopfield network　関連研究について
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
 

Dernier

SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですSOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですiPride Co., Ltd.
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...博三 太田
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama
 
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）UEHARA, Tetsutaro
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama
 
【早稲田AI研究会　講義資料】3DスキャンとTextTo3Dのツールを知ろう！(Vol.1)
【早稲田AI研究会　講義資料】3DスキャンとTextTo3Dのツールを知ろう！(Vol.1)【早稲田AI研究会　講義資料】3DスキャンとTextTo3Dのツールを知ろう！(Vol.1)
【早稲田AI研究会　講義資料】3DスキャンとTextTo3Dのツールを知ろう！(Vol.1)Hiroki Ichikura
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案sugiuralab
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？akihisamiyanaga1
 

Dernier (9)

SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですSOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
 
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
 
【早稲田AI研究会　講義資料】3DスキャンとTextTo3Dのツールを知ろう！(Vol.1)
【早稲田AI研究会　講義資料】3DスキャンとTextTo3Dのツールを知ろう！(Vol.1)【早稲田AI研究会　講義資料】3DスキャンとTextTo3Dのツールを知ろう！(Vol.1)
【早稲田AI研究会　講義資料】3DスキャンとTextTo3Dのツールを知ろう！(Vol.1)
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
 

【DL輪読会】Factory: Fast Contact for Robotic Assembly

  • 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Factory: Fast Contact for Robotic Assembly Koki Ishimoto
  • 2. 書誌情報 • Title: Factory: Fast Contact for Robotic Assembly • Author: Yashraj Narang*, Kier Storey*, Iretiayo Akinola*, Miles Macklin*, Philipp Reist*, Lukasz Wawrzyniak*, Ynrong Guo*, Adam Moravanszky*, Gavriel State*, Michelle Lu*, Ankur Handa*, Dieter Fox*† • * NVIDIA • †University of Washington • Project page: https://sites.google.com/nvidia.com/factory/ 2
  • 3. 概要 3 • Contact-Richなシミュレーションをreal-timeに動かすことに成功した • 高品質なCADファイルとメモリ消費を抑えた接触シミュレーション手法により、A5000１枚で 1000個のボルトScrew環境を作成可能にした。 • 従来手法に比べて2桁早い • 並列化でシングルスレッドのreal-time計算に比べて3桁の高速化 • AssemblyタスクのBenchmarkを提供した • 4つのpolicyを1-1.5hで学習可能(RTX 3090 1枚)
  • 4. 関連研究 Contact-rich simulation • 従来のcontact-richなタスクを解くsimulatorは、nut-bolt taskのレンダリングにreal-time の20倍以上の時間がかかることが多い • Implicit Multibody Penalty-BasedDistributed Contact (2014): 1/460 real-time • Intersection-free rigid body dynamics(2021): 1/350 real-time • Sim-to-Real Transfer of Bolting Tasks with Tight Tolerance(2020): 4* real-time (ただしタスクが簡 単) 4 https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9341644
  • 5. Contact-Rich Simulation Methods • RLタスクなどのために、十分高速に回せるcontact-richなシミュレータの開発 5
  • 6. SDF Collisions 6 • SDF: 物体の表面を0として外部と内部を正負で表現した関数 • 256^3より大きい解像度のSDFを用意 • 右の画像引用元の手法で物体のcontactの初期情報を計算 • 物体間で最も近い点をSDFの勾配情報から求めていく • M4 (径が4mm) ナットとボルトで16k個のcontactsが生成された • Contact: 物体間に生じるinteraction, 接触力(ベクトル) https://dl.acm.org/doi/pdf/10 .1145/3384538
  • 7. Contact Reduction and Solver Selection • 処理の高速化のために、GPUメモリの節約を考える • Contact生成において、各contactに必要なのは7つのfloat(point, normal vector, distance)と２つの inteters(rigid body indices) 合わせて36bytes • およそ160bytesをcontactとその制約に必要なメモリ量として見積もる • M4 ナットとボルト(16k contacts)で約2.5MB/timestep • Jacobi solver(Δt=1/60)の条件で、, 8 sub-steps と 64 iterationsが安定的なシミュレーションのた めに必要 • 上記の設定で、メモリバンド幅はおよそ1.28GB/frame, 76.8GB/s • もしContactsを16k → 300に減らせたら、1つ当たり24MB/frame, 1.4GB/sでシミュレーション可能。 • A5000を使った場合、最大1100個のナット・ボルトアセンブリをsimulationできるはず • Contactsが300程度なら、Gauss-Seidel solverを使用できる（1 substepと16 iterationsで安定的な シミュレーションが可能） 7
  • 8. Implementation of Contact Reduction • 近いmesh同士でnormal vector(contact)を共有 することでcontactを減らす 1: SDF collisionを用いてcontactsの生成 2: 法線の類似度でcontactを統合 3: 割り当てられていないものについては、その中で deepest penetrationなcontactを見つける 4: 3で見つけたcontactに、割り当てられていない contactを統合していく 8
  • 9. Implementation of Contact Reduction • 削減されたcontact • 300contactsの場合: contactの生成と削減に11ms, contactの制約の解決に3msかかる 9
  • 10. Performance Evaluations • さ ま ざ ま な 環 境 の rendering テ ス ト 動 画 は Project page へ https://sites.google.com/nvidia.com/factory/ 10
  • 11. Robot Learning Tools • 次に、ロボット学習環境としてIsaac Gymを使用(PhysX物理エンジンはIsaacで使用可能) • RobotとしてPanda Frankaのロボットアームを使用 • NIST boardの60個のアセット • Robot assembly 環境３つ • FrankaNutBoltEnv • FrankaInsertionEnv • FrankaGearsEnv • Robotコントローラ７種類 11
  • 12. Robot Learning Tools • NIST boardの60個のアセット • NISTの公開されているアセットは、正確なシミュレーションを行 う上では精度が不十分 • 電気コネクターなどはCADがピッタリ噛み合わなかったり、手作業で計測 されてたりする • 自作の、より精度の高いCADファイルを作成 12
  • 13. Scenes • Robot assembly 環境３つ • FrankaNutBoltEnv • ナットとボルトの嵌め込み • M4,M8,M12,M16,M20(使 用 し た ボルトのサイズ) • FrankaInsertionEnv • 丸 型 ま た は 正 方 形 型 の pegs- and-holes/コネクタ類の差し込 み • FrankaGearsEnv • ギア３つとマウンタ１つの嵌め 込み 13
  • 14. Controllers • Robotコントローラ７種類 • IK(inverse kinematics) • ID(inverse dynamics) • インピーダンス制御 • Operational-space motion controller • 慣性モーメント・重力補償付きのID • 開ループ力制御 • 閉ループ位置制御 • Hybrid force-motion controller • Motion controllerとforce controllerの組み合わせ(軸によって使い分ける) 14
  • 15. Reinforcement Learning • タスクを三つに分解 • Pick • Place • Screw • Pick&Placeタスク自体は古典的 • 特にContact-RichなScrewタスクに注目 15
  • 16. Shared Framework: Pick, Place, Screw • PPOのハイパラは共通(右表) • 3-4個のpolicyはRTX 3090で同時にバッジ学習 • それぞれのpolicyで128個のsimulation環境を使用 • 各バッジ1024 policy updateに 1-1.5 h • 行動空間 • 開ループ制御と閉ループ制御は３次元力ベクトル • それ以外のコントローラはハンドの相対姿勢(6DoF) 16 各SubpolicyのRandomized Initial States
  • 17. Subpolicy: Pick and Place • Pick(成功率 100%) • 観測: ハンド・ナットの姿勢、ハンド速度・角速度 • 行動空間: IK(inverse kinematics) • Dense reward: • kn, kf: ナットの中心軸とハンドの approach axisに関する2-4個のキーポイントからなるテンソル • Success: Pickに成功したら • Place(成功率 98.4%) • 観測: ハンド・ナット・ボルトの姿勢、ハンド＋ナットの速度・角速度 • 行動空間: IK • Dense reward: Placeと同様(ボルトとナットに関する距離) • Success: ボルトとナットのキーポイントが0.8mm 以内 17
  • 18. SubPolicy: Screw • Screw • 観測：複数で比較 • 行動空間：複数で比較 • Dense Reward: ボルトとナット、ナットとハンドのキーポイントの距離の和 • Success: ナットとボルトが最後まで回りきったら成功(最後から1巻以内なら成功) • ハンドの関節角を無限回転と仮定(Frankaは本来無限回転しない) • ハンドをナットから離さずに回すため • さまざまな失敗軌道も見られた • ボルトとの衝突、ナットとボルトが接触した際のroll-pitch軸のずれ、回している際のジャミング、歳差運動に よるハンドとナットのスリップ • ⇨観測・行動空間の比較、baseline_rewardの追加 18
  • 19. SubPolicy: Screw • コントローラ・ゲインの探索 • OSC motionを使って P Motion Gainが小さい時(0.1)に最も成功確率が高かった。 19
  • 20. SubPolicy: Screw • 観測の探索 • Pose+ velocityが最も成功率が高かった(Poseのみとそこまで変わらな い) • 行動空間の探索 • 6自由度を全て使うより、z方向とyaw軸の２自由度で回した方が成功 率が高い 20
  • 21. SubPolicy: Screw • Baseline_rewardの探索 • Linearを使用した場合が最も成功率が高かった • d: キーポイント間の距離 21
  • 22. Sequential Policy Execution • Multi-task learning的な話 • Pick, Place, Screwをend-to-endで学習させると72.9%まで成功率が低下 • Subpolicyを学習するときに、ひとつ前のSubpolicyの最終状態の分布をカバーする様にするなどの工夫をした • バラバラに学習させた場合は合わせて90% 22 各SubpolicyのRandomized Initial States
  • 23. Contact Forces • Screwタスク時のジョイントトルクの分布 • Daily Interactive Manipulation datasetのボルト＋レンチタスクと比較 • Real Fasten Nutの分布内にSim Fasten Nutが収まっている • Real Fasten Nutの方が分散が大きいのは、人間の締め方の多様性の問題と推測 23
  • 24. Limitations • 要改善点 • SDFの衝突スキーム • 薄い素材でできたボトルや箱の衝突をロバストに処理する機能 • Mesh１つあたりが大きい場合の処理の改善 • Meshひとつごとに一つの接触が生成されるため、平坦で大きい表面の衝突がうまく表現できていない • Sparse SDF representationを用いたメモリの削減 • Deformable objectsのFEMベースのサポート(コネクタケーブルなど) 24
  • 25. Conclusion • Contact-Richなシミュレーションをreal-timeに動かすことに成功した • 高品質なCADファイルとメモリ消費を抑えた接触シミュレーション手法により、A5000１枚で 1000個のボルトScrew環境などを作成可能にした。 • 従来手法に比べて2桁早い • 並列化でシングルスレッドのreal-time計算に比べて3桁の高速化 • AssemblyタスクのBenchmarkを提供した • 4つのpolicyを1-1.5hで学習可能(RTX 3090 1枚) • Screwタスクだけでなく、他のContact-Richなタスクにも応用可能性がある • 非凸形状の把持 • 不均一な屋外地形での移動 など 25