访问 https://treer.coooolfan.com 允许摄像头授权,等待左上角模型加载完毕后,单击开始按钮。
然后你可以尝试将手放在画面内,记得打开手掌,尝试移动手掌。(当然你也可以在右上角切换摄像头)
当然,这是个玩具
注意
确定一个三维物体的状态需要 6 个参数(假设摄像机固定):位置( x, y, z )、旋转( x, y, z )。虽然 mediapipe 可以提供手掌的 21 个关键点,理论上可以由此解算出模型或者摄像机的位置。但是我不会……
项目只实现了基于掌心位置的追踪,还有根据手掌周长大小来改变模型的大小。
演示站点https://treer.coooolfan.com部署在新加坡的小机上,可能访问会有些慢慢。当然也可以 clone 到本地,然后 yarn dev启动,项目本身无外部依赖,所有三维模型和识别模型均已内置
Github:https://github.com/Coooolfan/treer 欢迎 Star⭐、Issue 、PR