顔の表情や動きでマウスカーソルを動かしたりクリックをすることができるproject gameface
project_gameface
GitHub – google/project-gameface
Project Gamefaceは、ゲーマーが頭の動きと顔のジェスチャーを使用してマウスカーソルを制御
start /min C:\app\project_gameface\run_app.exeカーソルのスピードとマウス制御の表情を設定すれば使用することはできますがjsonを編集して設定することで細かな動きを制御可能です
基本設定
| camera_id | マシンのデフォルトのカメラインデックス。 |
| tracking_vert_idxs | カーソルを制御するためのトラッキングポイント () |
| spd_up | 上方向のカーソル速度 |
| spd_down | カーソル速度が下向き |
| spd_left | 左方向のカーソル速度 |
| spd_right | 右方向のカーソル速度 |
| pointer_smooth | カーソルの滑らかさの量 |
| shape_smooth | アクションのちらつきを減らします |
| hold_trigger_ms | ホールド アクション トリガー遅延 (ミリ秒単位) |
| auto_play | プログラムを起動すると自動的に再生が開始されます |
| mouse_acceleration | 頭が速く動くとカーソルの動きが速くなります |
| use_transformation_matrix | ヘッド方向を使用してカーソルを制御します(tracking_vert_idxsは無視されます) |
“C:\app\project_gameface\configs\profile_1\cursor.json"
{
"fix_width": 640,
"fix_height": 480,
"camera_id": 0,
"tracking_vert_idxs": [
8
],
"spd_up": 40,
"spd_down": 38,
"spd_left": 22,
"spd_right": 23,
"pointer_smooth": 15,
"shape_smooth": 10,
"tick_interval_ms": 16,
"hold_trigger_ms": 500,
"auto_play": false,
"mouse_acceleration": false,
"use_transformation_matrix": false
}キーバインド設定
キーバインド設定の設定パラメータは、この構造体にあります。
gesture_name: [device_name, action_name, threshold, trigger_type]
| gesture_name | 顔の表情の名前は、一覧を参照してください |
| device_name | 「マウス」または「キーボード」"mouse" or “keyboard" |
| action_name | マウスの「左」、「右」、「中央」。キーボードの場合は「」、たとえば W キーの場合は「w」。"left", “right" and “middle" for mouse. “" for keyboard, for instance, “w" for the W key. |
| threshold | アクション トリガーのしきい値には、0.0 から 1.0 の範囲の値があります。 |
| trigger_type | アクション トリガーの種類: 1 つのトリガーには “single" を使用し、進行中のアクションには “hold" を使用します。 |
gesture_name
| Index | Blendshape Name | 日本語訳 |
|---|---|---|
| 0 | None | なし |
| 1 | Lower right eyebrow | 右眉毛下げ |
| 2 | Lower left eyebrow | 左眉毛下げ |
| 3 | browInnerUp | 眉内上げ |
| 4 | Raise right eyebrow | 右眉毛上げ |
| 5 | Raise left eyebrow | 左眉毛上げ |
| 6 | cheekPuff | 頬を膨らます |
| 7 | cheekSquintRight | 右頬すぼめ |
| 8 | cheekSquintLeft | 左頬すぼめ |
| 9 | eyeBlinkRight | 右目瞬き |
| 10 | eyeBlinkLeft | 左目瞬き |
| 11 | eyeLookDownRight | 右目下を見る |
| 12 | eyeLookDownLeft | 左目下を見る |
| 13 | eyeLookInRight | 右目内を見る |
| 14 | eyeLookInLeft | 左目内を見る |
| 15 | eyeLookOutRight | 右目外を見る |
| 16 | eyeLookOutLeft | 左目外を見る |
| 17 | eyeLookUpRight | 右目上を見る |
| 18 | eyeLookUpLeft | 左目上を見る |
| 19 | eyeSquintRight | 右目細め |
| 20 | eyeSquintLeft | 左目細め |
| 21 | eyeWideRight | 右目見開く |
| 22 | eyeWideLeft | 左目見開く |
| 23 | jawForward | 下顎前に |
| 24 | jawRight | 下顎右に |
| 25 | Open mouth | 口を開ける |
| 26 | jawLeft | 下顎左に |
| 27 | mouthClose | 口を閉じる |
| 28 | mouthDimpleRight | 右口のえくぼ |
| 29 | mouthDimpleLeft | 左口のえくぼ |
| 30 | mouthFrownRight | 右口下げ |
| 31 | mouthFrownLeft | 左口下げ |
| 32 | mouthFunnel | 口をすぼめる |
| 33 | Mouth right | 口右 |
| 34 | mouthLowerDownRight | 右口下げ |
| 35 | mouthLowerDownLeft | 左口下げ |
| 36 | mouthPressRight | 右口を押す |
| 37 | mouthPressLeft | 左口を押す |
| 38 | mouthPucker | 口を尖らせる |
| 39 | Mouth left | 口左 |
| 40 | Roll lower mouth | 下唇を転がす |
| 41 | Roll upper mouth | 上唇を転がす |
| 42 | mouthShrugLower | 下唇すくめ |
| 43 | mouthShrugUpper | 上唇すくめ |
| 44 | mouthSmileRight | 右口笑顔 |
| 45 | mouthSmileLeft | 左口笑顔 |
| 46 | mouthStretchRight | 右口を伸ばす |
| 47 | mouthStretchLeft | 左口を伸ばす |
| 48 | mouthUpperUpRight | 右口上げ |
| 49 | mouthUpperUpLeft | 左口上げ |
| 50 | noseSneerRight | 右鼻唇上げ |
| 51 | noseSneerLeft | 左鼻唇上げ |
“C:\app\project_gameface\configs\profile_1\mouse_bindings.json"
{
"Open mouth": [
"mouse",
"pause",
0.41590000000000005,
"single"
],
"mouthPucker": [
"mouse",
"left",
0.505,
"single"
]
}“C:\app\project_gameface\configs\profile_1\keyboard_bindings.json"
{
"mouthFunnel": [
"keyboard",
"enter",
0.4951,
"hold"
]
}画面
