メインコンテンツまでスキップ
バージョン: 1.0.1

カメラ画像認識 (GPT-4o)

概要​

このサンプルは、OpenAIのGPT-4oを使用して、ARグラスのカメラに写っている物を認識します。

詳細

カテゴリ​

  • カメラアクセス
  • ChatGPT
  • 音声案内

MiRZAに載せる上での特徴​

  • スマートフォンと異なりARグラス上のカメラは視界に追従するため、視界内の状況について自然に把握することができます。

使用技術​

  • ChatGPT
  • TextToSpeech
  • UnityWebRequest

ユースケース​

  • 画像検索
  • 視覚障害者のための周囲の状況説明

お問い合わせ先​

Unityプロジェクトのセットアップ​

1. Snapdragon Spaces SDKのインポート​

  1. まだ、Snapdragon Spaces SDKをインポートしていない場合はインポートします。

  2. 以下のサンプルのパッケージもインポートする必要があります。

2. 依存パッケージのインポート​

UniTaskのインポート​

  1. 「UniTask.2.5.5.unitypackage」をダウンロードします。
  2. ダウンロードした「UniTask.2.5.5.unitypackage」をUnityEditorのProjectタブにドラッグ&ドロップします。
  3. UniTaskが、Unityプロジェクトにインポートされます。

Newtonsoft.Jsonのインポート​

  1. Window > PackageManagerを開きます。
  2. 左上の+▼ボタンから、「Add package from git URL...」を選択します。
  3. URLの欄に、com.unity.nuget.newtonsoft-jsonを入力して「Add」を選択します。
  4. Newtonsoft.Jsonが、Unityプロジェクトにインポートされます。

3. MiRZAライブラリのインポート​

4. QONOQサンプルのインポート​

  1. 以下のUnityパッケージをダウンロードします。

  2. ダウンロードしたUnityパッケージをUnityEditorのProjectタブにドラッグ&ドロップします。

  3. サンプルがUnityプロジェクトにインポートされます。

5. シーンのセットアップ​

  1. Projectの以下のシーンを選択します。

    • Assets/Samples/QONOQ/1.0.1/Scenes/Spaces Feature (Single)/GPT Image Analyzer/[Headworn] GPT Image Analyze Speacker
      　

  2. Sample Assets/Image Analyze Speackerオブジェクトを選択します。

  3. GPT Image AnalyzerコンポーネントのOpen AI_API Keyに「OpenAI」のAPIキーを入力します。
    　

TIP

GPT Image AnalyzerコンポーネントのOpen AI API Key_TextにAPIキーが記載された.txt形式のファイルを格納することも出来ます。APIキーの.txtファイルのみを.gitignoreで除外することで、GitHub等で外部にプロジェクトを公開する場合に、役立ちます。

音声出力を行う場合​

  1. Sample Assets/Image Analyze Speackerオブジェクトを選択します。

  2. GoogleTextToSpeechConverterコンポーネントのGcp_API Keyに「Google Cloud」のAPIキーを入力します。

  3. このサンプルを使用するには、カメラフレームへのアクセス機能の有効化を行う必要があります。
    　

  1. プロジェクト設定をHeadworn用に設定します。
  2. シーンをビルドします。

アプリの使用方法​

  1. 以下のいずれかの方法で、画像認識を開始できます。

    • グラスの右側面のタッチセンサーをシングルタップする
    • UI上の画像解析ボタンを押す

  2. 数秒後に、解析結果がUIの右側に表示されます。

アプリが正常に動作しない場合​