C#

NO HAND NUMBER INPUT

手を使わない
数字入力

2021.05.10

機械学習と障がい者支援というテーマで作成しました。
顔の角度で数字の入力を可能にするもので、センサーなどの設置が一切必要なく、通常のWebカメラのみで入力が可能である点が推しポイントです。

内部では、機械学習によって顔の視方向のベクトルを取得し、それをUnityに送りUnity側で数字入力の処理をしています。
すべてPythonで書いてもよかったのですが、非同期での処理や、UI実装はUnityのほうが高速で安定しているのでこちらを選びました。

同時に、PythonとUnityのFlexibleな双方向通信をテストできた点も大きいです。

Phisical Machine learning

倒立振り子の
機械学習

2021.02.26

前からゲーム作成で使用していたUnityですが、物理エンジンを機械学習で利用できないかと考え、探したところPythonと連携できるライブラリがありました。

倒立振り子を倒れないようにするチュートリアル的なものですが、目で学習の様子が見えるので非常に楽しかったです。