NO HAND NUMBER INPUT
手を使わない
数字入力
2021.05.10
機械学習と障がい者支援というテーマで作成しました。
顔の角度で数字の入力を可能にするもので、センサーなどの設置が一切必要なく、通常のWebカメラのみで入力が可能である点が推しポイントです。
内部では、機械学習によって顔の視方向のベクトルを取得し、それをUnityに送りUnity側で数字入力の処理をしています。
すべてPythonで書いてもよかったのですが、非同期での処理や、UI実装はUnityのほうが高速で安定しているのでこちらを選びました。
同時に、PythonとUnityのFlexibleな双方向通信をテストできた点も大きいです。