omicroシリーズ専用アプリケーション：iOS・watchOSアプリの機能と操作
1. はじめに
omicroシリーズ（omicroおよびomicro Flux）は、専用のiOSアプリケーションとwatchOSアプリケーションを通じて操作される球体型ロボットシステムです。これらのアプリケーションは、直感的なユーザーインターフェースとハンドジェスチャー機能により、革新的なロボット操作体験を提供します。
2. 球型ロボットを操作するためのiOSアプリケーション
2.1 基本機能
このiOSアプリケーションは、システムのハブの役割を担っており、複数の球型ロボット（omicroおよびomicro Flux）とwatchOSアプリとの間の通信をすべて制御しています。球型ロボットとwatchOSアプリとの通信はCoreBluetoothを用いてBLEで行っています。
2.2 主要機能
omicroシリーズのアプリケーションでは、以下の機能が実装されています：
- 複数ロボット同時制御: 複数の球型ロボットとwatchOSアプリ、Unityアプリの間の通信管理
- Unity連携:
- 球型ロボットから受け取った角度情報をUnityアプリケーションに送信
- Unityアプリケーションから受け取った衝突判定のフラグを球型ロボットに送信
- BLE通信: CoreBluetoothを用いた安定したBluetooth Low Energy通信
3. 球型ロボットを操作するためのwatchOSアプリケーション
3.1 基本概要
このアプリはiOSアプリに付随するものです。iOSアプリと同様に球型ロボットを操作するのが主な機能であり、その操作の際は必ずiOSアプリケーションを経由して、球型ロボットに指示を送ります。
3.2 ハンドモーション機能
watchOSアプリケーションならではの機能としては、ハンドモーション機能が挙げられます。これは、パフォーマンスを行う球型ロボット操縦者の手の動きをApple Watchのジャイロセンサと加速度センサで読み取り、それに応じて球型ロボットを操縦する機能です。
基本操作
- 機能のオン/オフ: 手を素早く下げた場合には機能がオフになり、素早く水平に上げた場合は機能がオンになります
- 直進操作: 手を水平状態から20°上げると、球体型ロボットが直進します
- 回転操作: 手を水平に上げたまま手のひらを左右に捻ると球体型ロボットが左右に回転します
3.3 機械学習機能
watchOS上のCoreMLを用いて手の動きを機械学習し、複雑なハンドモーションで操作する機能も実装されています。手の動きのログをCoreMLのActivity Classificationでトレーニングさせ、センシングだけより複雑な手の動きのパターンを読み取れるようにしています。
4. システム間連携
これらのアプリケーションは、omicroシリーズのロボットと密接に連携し、以下のような統合されたシステムを構成しています：
- iOSアプリ: 中央制御ハブとして機能
- watchOSアプリ: 直感的なハンドジェスチャー操作を提供
- 球型ロボット: 高精度な物理的動作を実行
- 外部システム: Unity等との連携によるXR体験の実現
これらのアプリケーションにより、omicroシリーズは単なるロボットを超えた、革新的なインタラクション体験を提供するプラットフォームとして機能しています。