視触覚クローン(Haptoclone)

haptoclone_7_720C0040.00_02_22_15.Still006
 

*Haptoclone (視触覚クローン) は SIGGRAPH 2015 Emerging Technologies (2015/8/9-13) および SUI 2015 (2015/8/8) でデモ展示されたシステムです

篠田・牧野研究室 Haptoclone デモチームの構成 (2015年8月時点)
(中心的な開発者)古山佳和 (M2),井上 碩 (D1)
(協力者)長谷川圭介 (特任助教), 田中宏治 (M1),伊藤 充 (M1),杜 洪林(M1)

キーワード: 遠隔触覚コミュニケーション, テレハプティクス, 空中触覚, 触覚ホログラフィ, テレイグジスタンス, テレプレゼンス, 空中超音波触覚ディスプレイ, ライトフィールド転送光学系

Haptoclone (Hapic & optical clone,ハプトクローン,視触覚クローン) は, 触覚情報と視覚情報の3次元的な「クローン」によってインタラクションする新しいシステムです. 離れた場所にいる二人が,素手・裸眼でお互いに触れ合うことができます.
2つの離れたワークスペースの光と力の場はお互いに複製・転送され,共有されます.一方のワークスペースに存在する物体の視覚的クローン(3次元映像)は,他方のワークスペースに再現され,実物とクローンが接触すると,その実物と,クローンのもとになっている物体の両方が接触力を受けます.
接触力の再現は,空中超音波によって実現されます.実物とクローンが重なっている領域に超音波のエネルギーを集中させると,実物は放射圧を受けます.もしその「実物」が自分の指であれば,その指はクローンとの接触力を感じることになります.同時にもう一方のワークスペースでは,クローンのもとになっている実物が同じ力を受けています.指の姿勢や形状は任意です.
なお Haptoclone システムで再現される接触圧は,1平方センチメートルあたり10gf (100 mN) 程度までであり,その点で実物同士の接触とは異なっています.そのため例えば10N 以上の力で握る握手を忠実に再現することはできません.また力の方向も原則として面に垂直な力に限定されます.しかし,接触点の位置や接触領域については 実際の接触に忠実であり,接触の状況を限定すればそれなりにリアルな接触感を再現することができます.軽く触れられれば確かに触れられたと感じますし,手を重ねて撫でてやると,手の存在やその凹凸までも感じとることができます.

Technical Details

(1) 光の場のコピー

2枚のマイクロミラーアレイを使用し、ワークスペース内の光の場を双方向にコピーします。この特殊なミラーの一方の面に入射した光は、他方の面から、ミラーに対して対称となる方向へと透過します。Fig.1のように2枚のミラーを配置すると、Aにある物体はBへコピーされ、Bにコピーされた像はCへとコピーされます。同様に、Cにある物体はAにコピーされます。したがって、ユーザは自身の実物の手と、離れた場所にいるユーザのコピーされた手を同時に見ることができます。このマイクロミラーアレイにはアスカネット社製の“Aerial Imaging Plate” (AIP)を使用しています。

Passive Lightfield Forwarding

Fig 1. Passive Lightfield Forwarding

Forwarded Image with depth of field

Fig 2. Forwarded Image with depth of field

(2) 力の場のコピー

空中超音波ホログラフィ技術により、力の場の転送を実現しています[1]。3次元的な超音波の場の生成により、音響ポテンシャル場を再構成し、他方のワークスペース内にある物体に対して音響放射力を発生させることができます。ワークスペースを囲うように配置された超音波フェーズドアレイによって、上下左右から立体的な力を発生させ、ユーザの皮膚に触った感覚を提示することができます。Haptoclone システムでは、全部で1992個の超音波振動子を使用しています。ワークスペース内の物体形状は赤外線を用いたデプスセンサにより計測し、点群として表現されます。この各ワークスペースで計測された点群は、UDP/IPプロトコルによって送受信され、共有されます。一方のワークスペースで計測された点群と他方で計測された点群の衝突部分を計算し、それをもとに実物とクローンの間に反力を発生させます。

[1] Seki Inoue, Yasutoshi Makino, Hiroyuki Shinoda: Active Touch Perception Produced by Airborne Ultrasonic Haptic Hologram, Proc. 2015 IEEE World Haptics Conference (WHC), pp.362-367, 2015.

Collisions between real balloon and virtual balloon

Fig 3. Collisions between real balloon and virtual balloon

Interaction between virtual cube and real hand

Fig 4. Interaction between virtual cube and real hand

Fig 4. Force field created with virtual finger image

Fig 5. Force field created with virtual finger image

Haptoclone システムは、次の体験をユーザに提供します。

  1. 受動的なライトフィールドミラーにより、Haptoclone システムに対面している2人のユーザを、光学的に他方へとコピーします。
  2. ユーザは自身の手と相手の手のクローン像を同じ座標軸で同時に見ることができます。手の位置や動きに完全に同期したクローン像が他方へコピーされます。
  3. ユーザ同士がHaptoclone システムを通じて仮想的に触れ合うと、両ユーザに触覚フィードバックが与えられます。位相を適切に制御した超音波アレイによって、何もない空中で触感を感じることができます。

Haptocloneにより、離れた人のクローン像と触覚を通じてリアルタイムにコミュニケーションすることが可能となります。

展示
1) 東京ゲームショウにてデモ展示 2016年9月
2) Ars Electronicaにてデモ展示 2016年9月
3) デジタルコンテンツエキスポにてデモ展示 2015年10月

 

取材等
1) 日本経済新聞 電子版 (映像) (2017年3月30日)
2) NHK Eテレ サイエンスZERO (2016年11月20日)
3) CNN On Japan (2016年10月29日)
4) 毎日放送 林先生の大阪向上ゼミ (2016年3月16日)
5) テレビ東京 チャージ730 (2016年1月18日)
6) 日本テレビ SENSORS (2015年11月8日)
7) TBS 情報7daysニュースキャスター (2015年10月10日)
8) BBC NEWS Click (2015年10月10日)
9) 日本テレビ ズームインサタデー (2015年10月3日)

HaptoClone_thumbnail
haptoclone_5_720
haptoclone_8_b_720
haptoclone_8_a_720
haptoclone_6_720
pc