▲人体姿态识别
不过,该模型的关节识别有时候会出错,偶尔会识别到一些其他物件,而不是玩家本人。为此,Nalman 添加了辅助 AI 模型来解决这个问题,他使用 Amazon SageMaker JumpStart,这是 AWS 近日发布的一款工具,可以轻易在 TensorFlowHub 和 PyTorchHub 部署 AI 模型,一共有 150 多种型号可选。
▲错误情况
这种 AI 辅助模型具有对象检测功能,可以确定玩家主体的边界框,这样系统就不会把一些杂物识别成人物关节了。被窝网
▲人体边框以外的关节点被排除在外
三、构建动作映射和手势识别
该模块将通过玩家的 6 个关节识别出游戏的各种指令:
第一,身体倾斜。玩家通过倾斜身体控制鹰在飞行途中的转向。系统根据手臂与水平面的角度来计算倾斜程度,从而控制转向幅度。在这里 Nalwan 选择了肘关节作为参考点,而非腕关节,是因为腕关节常常出画或被遮挡。
第二,手臂旋转。在站立时旋转手臂,鹰也会跟着拨动翅膀,这单纯是一个趣味性互动画面。系统根据手肘与水平面的夹角计算鹰翼的倾角,同时再增加 15 度,使得画面更加生动。