ハンドジェスチャーの概要

基本的なジェスチャー

つまむ（Pinch）

つまむ（Pinch）ジェスチャーは、残りの指を伸ばしながら、親指の先を人差し指の先にタッチすることで実行されます。つまみ（Pinch）は、手を横から見たときに最もよく認識されます。 つまみ（Pinch）は、指が触れたときに選択したり、ジェスチャーを保持して動かすことで操作したりするために使用されます。 つまむ（Pinch）ジェスチャーは自動触覚フィードバックにつながるため、検証のための効率的なジェスチャーです。

つかむ（Grab）

つかむジェスチャーは、手をカメラの前に置き、拳を握ることで実行されます。 このジェスチャーは、近くにある大きなオブジェクトをつかんで操作するために使用されます。 つかむジェスチャーにより、触覚フィードバックも可能になります。

ひらく（Open-Hand）

手をひらくジェスチャーは自然体のジェスチャーです。指を広げ、手のひらをカメラから離して手を伸ばすことで実行されます。 ひらくジェスチャーは通常、レイキャストを利用して遠いオブジェクトを操作するために使用されます。 このジェスチャーは、レイキャストを表示するため、またはリリースするジェスチャーとして使用されます。

ハンドジェスチャーがうまく認識しない場合

ハンドジェスチャーをうまく認識させるコツについては、「ハンドジェスチャーがうまく認識しない」に掲載しています。

手の表現

拡張現実(AR)

ARアプリでハンドトラッキングを利用する場合、実際の手の上に仮想の手を表示することは推奨されません。手のアバターではなく、仮想オブジェクトのフィードバックに重点を置くことをお勧めします。

仮想現実(VR)

逆運動学を活用した3Dモデルは、VRアプリに最適です。手の3D表現がデジタル空間の手に重ねて表示され、より没入感のある体験を実現します。デモのコンテキストに応じて手の表現を適応させることが重要です。

さらに、3Dハンドは、ユーザーが操作中であることを視覚的に示す必要があります。

3Dハンドのアバター例を2つ示します。

アルファハンド

ハーレクインハンド

フィードバック、キュー、アフォーダンス

手は他の入力デバイスのように触覚的なフィードバックを提供しないため、ユーザーが3Dオブジェクトを操作するときに、視覚的および音声的なフィードバックを通じてそれを補うことが不可欠です。ユーザーがコンポーネントを操作したときにそれを確認する、明確な音と視覚的変化を設計することが重要です。

ユーザー体験を向上させるには、現実世界のフィードバックと同等のものをインタラクションのデザインに組み込むことを検討してください。これにより、視覚的または音声的な手がかりを通じて、オブジェクトまたはジェスチャーとのインタラクションが正常に実行されているか、正常に実行されたかを確認できます。

操作に対するフィードバックは次のとおりです。

状態	視覚的フィードバック	音のフィードバック
アイドル	無し	無し
ホバー	有り	有り
選択	有り	有り

視覚的フィードバック

オブジェクト

オブジェクトの動作を変更したり、正常に操作されたときにオブジェクトを強調表示したりできます。また、オブジェクトは、インタラクションやジェスチャーに反応して形状やサイズを変更することもできます。 オブジェクトの状態は、アイドル、ホバー、選択です。

ハンド

状況に応じて、インタラクティブなオブジェクトに加えて、3Dハンドアバターに視覚的なフィードバックを提供することを、おすすめします。

一般的に、手は、相互作用なし、相互作用要素との衝突、相互作用の3つの状態を経ます。以下は、3Dの手が持つことができる効果の種類を表しています。 ハンドフィードバック: アイドル、ホバー、選択

レティクル

特に遠隔インタラクションのコンテキストでインタラクションしたい要素を指定するには、ポインターにさまざまなタイプの効果を返すことが重要です。従来のHMIインターフェイスでは、ポインターの外観はインタラクションの状態に応じて変化します。そのため、これらの動作はユーザーにとって非常に直感的です。設計段階では、レイキャストとそのレティクルが持つ可能性のあるさまざまなタイプの動作について検討することが重要です。 レティクルフィードバック: アイドル、ホバー、選択

音のフィードバック

インタラクションの音はコンテキストに依存するため、音のフィードバックは仮想のオブジェクトにのみ実装することが望ましいです。ユーザーが2Dメニューを操作する場合、音のフィードバックはビデオゲームで操作する場合とは異なります。

音は環境音にも使用できますが、状況に依存します。

インタラクションの合図

インタラクションの合図は、ユーザーの手が検出されない場合にトリガーされる手のアニメーションです。このコンポーネントは、ユーザーが仮想のオブジェクトの操作方法がわからない場合にユーザーをガイドします。

ユーザーが数秒間操作を行わなかった場合、システムが操作を検出するまでコンポーネントはループでアニメーション化されます。

早見表

インタラクション状態に最適なジェスチャーとフィードバック

	近く	遠く	フィードバック
オブジェクト	コリジョンが重なる	手を開く(レイキャスト)	視覚、音
オブジェクトの選択	つまむ、つかむ	つまむ	視覚、音
オブジェクトの操作	つまむ、つかむ	つまむ	視覚(状況に応じて)
UI	コリジョンが重なる	手を開く(レイキャスト)	視覚、音
UIの選択	つまむ、つかむ	つまむ	視覚、音
UIの操作	つまむ、つかむ	つまむ	視覚、音