ロボットがマニピュレーションをする動作を生成することを考えます。このとき、ロボットは周囲の環境との干渉を避けたり、ときには周辺の環境と干渉を許容しながらターゲットとする対象物を把持します。つまり、対象物を把持する際は周辺環境とのインタラクションを考慮する必要がありますが、この周辺環境とのインタラクションを考慮しつつ把持を成功させるために機械学習を用いることができます。左の図では、製造産業でよく想定される箱にバラ積みされた部品のピッキングの問題に対して、Deep
Learningを使って把持の成否を予測しています。