耗时2天我自制了一台体感游戏机但往前几年，其实还有另一个非常火的体感游戏设备，就是 xbox 上的 kinect。和 switch 用带有传感器的手柄来识别玩家动作不同，kinect 使用的是一组摄像头，通过图像来识别玩家的动作。

　　我这次做的 demo，就是一个使用摄像头的动作识别系统。理论上来说，这个识别系统只需要普通的电脑和普通的摄像头就可以运行。不过我最近正好拿到一样好东西，它可以让我这次的开发效率和运行效率都大大提高。

　　这就是我说的好东西，全名是Jetson AGX Orin，是 NVIDIA 的AI边缘计算设备。什么叫做边缘计算，简单来说就是对于数据的处理尽可能和产生数据的应用在一起。比如像机器人、像自动驾驶。这种场景对计算的实时性要求高，不好说把数据传到计算中心，靠机房的大家伙们处理完再把结果返回给设备。所以对于边缘计算设备来说，一是要计算能力够强，二就是要足够小，不仅是体积小，而且要能耗小。

　　这款 AGX Orin 就是 NVIDIA Jetson 系列的最新款。新到什么程度，就是目前市面上还没有现货可以买，只能预定。所以我这台可以说是一个全球限量版。和之前上一代 Jetson AGX Xavier 相比，它的性能提升到了8倍，可达到每秒 275 万亿次计算。这个程度已经相当于内置了GPU的服务器，而它的大小则小到可以托在手掌上。

　　除了强大的硬件之外，这里面自然也少不了 NVIDIA AI 相关软件的支持。并且对于大多数常见AI应用PP电子平台，比如人脸识别、物体识别、动作识别、自然语言处理、语音合成等等等等，它都提供了一些预训练好的模型。这个简直太方便了。

　　开机安装好 JetPack 开发套件，这里就有了很多可以运行的测试程序来让你体验。官方文档里也提供了很多示例来帮助开发者上手。

　　比如物体识别，识别一帧画面只需要十几毫秒，完全可以用在实时的视频监控，甚至正在进行的游戏当中。

　　拿到姿态数据之后，我们就可以用各种动作对应的数据来训练一个分类器。然后通过分类器来识别摄像头实时拍摄到的用户姿态，判断出动作。再根据识别出的动作，向系统发送键盘指令。这样就完成了一个简单的基于动作的交互系统。

　　在 NVIDIA 智能物联网的 github 仓库里，我发现了一个类似的项目，用手势去操作浏览网页。

　　里面使用 SVM 支持向量机来训练手势分类器，这个用到 Python 的 scikit-learn 模块。我们的第二部分也可以用同样的方法，只不过我们使用的是全身模型。

　　对于 Orin 来说，用在这个项目上其实有点大炮打蚊子了，因为姿态判断和动作识别用的都是预训练模型，实时的计算量并不算大。但它的软件环境和开发社区资源确实大大提升了我这次的开发效率。

　　唯一不足的就是从我家的网络连 github、apt、pip 都太慢了，以至于花了不少时间在环境安装上，如果相关资源能有一套国内镜像就更好了。

　　最后有一个小彩蛋，你们是否留意到我用来演示的游戏 KOF97。在2009年，也就是 kinect 正式发布的前一年，我做的硕士毕业设计，其实就是：使用单摄像机的人机交互系统

　　而在其中的动作识别部分，用的同样也是 SVM 支持向量机。在答辩时，我用的演示游戏，就是 KOF97