静岡大学未来の科学者養成スクール（FSS）受講生、AR技術とロボットの融合に関する研究を映像情報メディア学会で発表

【研究のポイント】

・研究の目的は、AR技術とロボットを組み合わせ「触れ合い」可能なキャラクターを生成し、人間とのコミュニケーションを促進するというものです。

・例えば、人間が銃を撃つポーズをすると、ロボットはそのポーズに反応して倒れてその後起き上がるポーズを取り、AR上では映像キャラクターがロボットに重ね合わさる形で同様のポーズをとることができるというものです。

・このアプローチによって、ロボットが持つ表現力に限界がある場面で、キャラクターの表情や動作などを付加することが可能となり、より身近な体験を提供できるようになります。また、触れ合える映像、といった新しい表現やコミュニケーションを創造できます。


本研究は、AR (Augmented Reality)とロボットを使用した「触れ合い」可能なキャラクターを生成し、人間とコミュニケーションをとるという目的のもと、モーションセンサーを使用して人間の手の動きに反応して、ロボットが動作を行い、同じ動作をARでも表現できるというものです。一方でロボットが転倒したり、障害物に当たったときにもキャラクターが同様の動きをするようにロボットのサーボモーターの動きをARにフィードバックする仕組みも取り入れました。

本研究で得られた研究成果は今後、ホテルやレストランで稼働しているロボットにARを合わせることでよりエンターテインメント性の高い体験したり、アニメやゲームに登場する好きな「推し」キャラクターと実際に握手をしたりハイタッチをすることができるといった夢のような体験を実現できると期待されています。

なお、本研究成果は、一般社団法人映像情報メディア学会の発行する予稿集「映像情報メディア学会2023年年次大会講演予稿集」に掲載されています。


【研究者コメント】

静岡大学電子工学研究所　教授・青木　徹（あおき　とおる）

AR技術とロボットを組み合わせ「触れ合い」可能なキャラクターを作ってみたい、という高校生ならではのアイデアをベースに研究を行いました。
ARを使用して、ロボットに「表情」をつけることで、感情や動作を持つキャラクターとのインタラクションを可能にする一歩となっています。
将来的には、エンターテインメントやサービス業界において、ARとロボット技術の組み合わせが新たな楽しみや価値を創出することにつながると考えています。