谷歌开源移动设备手势追踪AI
发布于:2019-12-07 05:15   编辑:admin 

实时的手形和动作跟踪器是手语辨认和手势控制系统的要害部分,关于增强实际体会来说重要性也是显而易见。可是手势辨认经常因遮挡和缺少比照形式而失效,无法可靠地履行。

这些应战促进谷歌的科学家们研讨出了一种新的,根据机器学习的核算机视觉手势辨认办法。在试验中,该办法能从手掌的单帧图画中推断出手掌的21个3D点位。

谷歌于6月在2019年核算机视觉和形式辨认大会上预发布了这项新技能,最近又在MediaPipe中施行了这项技能。MediaPipe是一个跨渠道结构,用于构建多形式运用机器学习流程,以处理不同模态的感知数据。现在该项意图源代码和端到端运用场景都可以在GitHub上取得。

研讨工程师Valentin Bazarevsky和Fan Zhang在博客文章中写道:“感知手的形状和运动的才能关于改进各种技能领域和渠道用户体会来说都非常重要。” “咱们希望向更广泛的研讨和开发社区供给这种手感知功能将推进创造性用例的呈现,激起新的运用和新的研讨途径。”

谷歌的技能包含三个串联作业的AI模型:一个手掌探测器 BlazePalm 剖析一个结构并回来一个手动边框; 一个手标志模型,它检查由手掌探测器界说的裁剪图画区域并回来3D手点; 以及手势辨认器,能将从前核算的3D点装备分类为一组手势。这个模型可以辨认来自多种文明的计数手势和各种手势,包含闭拳,“OK”,“摇滚”和“蜘蛛侠”。