基于多个可穿戴设备控制体感游戏的方法及装置与流程

本申请涉及可穿戴设备技术领域，尤其涉及一种基于多个可穿戴设备控制体感游戏的方法及装置。

背景技术：

体感游戏是一种将肢体动作变化通过传感器传给游戏设备来进行操作的新型电子游戏，一般用户可通过体感游戏机实现体感游戏，例如，如日本任天堂公司的wii、微软的kinect、索尼的playstationmove等可通过内置摄像装置识别人体动作，进而控制体感游戏的进程。但是，摄像装置对于细小的动作，例如，对转动手腕的动作无法判断，虽然可以借助手持游戏棒等实现细小动作的识别，但是这种专业游戏设备增加了游戏成本，而且具有一定的局限性，如无法感知腿脚部位的动作等。

技术实现要素：

有鉴于此，本申请提供一种新的技术方案，可以使用户基于多个可穿戴设备控制体感游戏，降低游戏成本，而且基于可穿戴设备与人体的贴合度可以检测到细小动作，而且基于用户身体多个部位佩戴的多个可穿戴设备可以支持时间上重合的多个动作的识别。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种基于多个可穿戴设备控制体感游戏的方法，包括：

根据当前预设时间段内接收到的可穿戴设备发送的设备信号数据，确定用户在所述当前预设时间段内的动作特征向量，其中，所述动作特征向量包括1*n组特征值，n的值与关联的可穿戴设备的个数相同；

将所述动作特征向量缓存至对应的动作时间窗口中，其中，所述当前预设时间段内的动作特征向量与所述动作时间窗口中的已有动作特征向量组合为待确认特征向量；

使用动作确认模型对所述待确认特征向量进行检测，得到检测结果；

当所述检测结果为所述待确认特征向量对应一个完整动作时，根据所述待确认特征向量对应的完整动作控制体感游戏。

根据本申请的第二方面，提出了一种基于多个可穿戴设备控制体感游戏的装置，包括：

确定模块，用于根据当前预设时间段内接收到的可穿戴设备发送的设备信号数据，确定用户在所述当前预设时间段内的动作特征向量，其中，所述动作特征向量包括1*n组特征值，n的值与关联的可穿戴设备的个数相同；

缓存模块，用于将所述第一确定模块确定的所述动作特征向量缓存至对应的动作时间窗口中，其中，所述当前预设时间段内的动作特征向量与所述动作时间窗口中的已有动作特征向量组合为待确认特征向量；

第一检测模块，用于使用动作确认模型对所述待确认特征向量进行检测，得到检测结果；

控制模块，用于当所述第一检测模块检测到的所述检测结果为所述待确认特征向量对应一个完整动作时，根据所述待确认特征向量对应的完整动作控制体感游戏。

根据本申请的第三方面，提出了一种基于多个可穿戴设备控制体感游戏的装置，所述装置包括：

处理器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器，被配置为执行上述基于多个可穿戴设备控制体感游戏的方法。

由以上技术方案可见，本申请实现了基于多个可穿戴设备的设备信号数据，识别用户的肢体动作，由于多个可穿戴设备可以佩戴在用户的不同身体部位，例如佩戴在左手、右手、左脚、右脚等部位，因此体感游戏机可基于多个可穿戴设备提供的设备信号数据识别出时间上有重合的多个动作，从而可以支持复杂游戏的操作，此外，由于可穿戴设备与人体的贴合度比较大，因此可以检测到细小动作，而且成本比较低。

附图说明

图1a示出了根据本发明的一示例性实施例一的基于多个可穿戴设备控制体感游戏的方法的流程示意图；

图1b示出了图1a所示实施例的一次基于多个可穿戴设备控制体感游戏的场景示意图；

图2示出了根据本发明的一示例性实施例二的基于多个可穿戴设备控制体感游戏的方法的流程示意图；

图3示出了根据本发明的一示例性实施例三的根据接收到的可穿戴设备发送设备信号数据确定对应的动作特征向量的方法的流程示意图；

图4示出了根据本发明的一示例性实施例的体感游戏机的结构示意图；

图5示出了根据本发明的一示例性实施例的基于多个可穿戴设备控制体感游戏的装置的结构示意图；

图6示出了根据本发明的另一示例性实施例的基于多个可穿戴设备控制体感游戏的装置的结构示意图；

图7示出了根据本发明的又一示例性实施例的基于多个可穿戴设备控制体感游戏的装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为对本申请进行进一步说明，提供下列实施例：

图1a示出了根据本发明的一示例性实施例一的基于多个可穿戴设备控制体感游戏的方法的流程示意图，图1b示出了图1a所示实施例的一次基于多个可穿戴设备控制体感游戏的场景示意图；本实施例可以通过体感游戏机来实现，该体感游戏机可以与多个可穿戴设备进行无线通信连接配对，其中，可穿戴设备可以包括但不限于智能手环、跑鞋、袜子等，可穿戴设备可以佩戴的位置包括但不限于脚踝、脚、手腕、手等位置。如图1a所示，基于多个可穿戴设备控制体感游戏的方法包括如下步骤：

步骤101，根据当前预设时间段内接收到的可穿戴设备发送的设备信号数据，确定用户在当前预设时间段内的动作特征向量。

在一实施例中，动作特征向量包括1*n组特征值，n的值与关联的可穿戴设备的个数相同，例如，如果体感游戏机当前与佩戴在左手、右手、左脚、右脚的4个可穿戴设备建立了无线通信连接，则动作特征向量可以包(左手信号，右手信号，左脚信号，右脚信号)，也即，包括4组特征值。

在一实施例中，可穿戴设备和体感游戏机都支持无线通信技术，例如，蓝牙、无线保真(wireless-fidelity，wifi)、zigbee等。

在一实施例中，设定时间段可以为1秒钟、0.5秒钟等时间间隔，每一个可穿戴设备可按照设定时间段将采集的信号数据发送至体感游戏机。

在一实施例中，设备信号数据可以为运动信号数据，如多个轴向的加速度数据、角速度数据等，可穿戴设备可控制内置的两个以上轴向的加速度传感器(例如：三轴加速度传感器，或者包含三轴加速度传感器的集成传感器，如六轴传感器或九轴传感器等)按照预设的采样频率采集得到的多个轴向的加速度数据，如按照25hz的采样频率采样及速度数据；在一实施例中，可穿戴设备还可控制角速度传感器、陀螺仪等采集运动信号数据。

在一实施例中，根据当前预设时间段内接收到的可穿戴设备发送的设备信号数据，确定用户在当前预设时间段内的动作特征向量的方法可参见图3所示实施例，这里先不详述。

步骤102，将动作特征向量缓存至对应的动作时间窗口中。

在一实施例中，每一个动作时间窗口可以为一个缓存区块，用来存储该类动作对应的动作特征向量；在一实施例中，可以为每一个可穿戴设备创建一个动作时间窗口，还可以为任意两个以上组合的可穿戴设备创建一个动作时间窗口，例如，如果体感游戏机当前绑定了3个可穿戴设备，分别为可穿戴设备a、可穿戴设备b、可穿戴设备c，则可以对应创建动作时间窗口a、动作时间窗口b、动作时间窗口c、动作时间窗口a+b、动作时间窗口a+c、动作时间窗口b+c、动作时间窗口a+b+c，当在一个预设时间段内只接收到了可穿戴设备a发送的设备信号数据时，可以将该预设时间段对应的动作特征向量缓存至可穿戴设备a对应的动作时间窗口a，当在一个预设时间段内同时接收到了可穿戴设备a和可穿戴设备b发送的设备信号数据时，可将该预设时间段对应的动作特征向量缓存至可穿戴设备a和b对应的动作时间窗口a+b。

在一实施例中，将每一个预设时间段对应的动作特征向量对应缓存至对应的动作时间窗口具体可以为，将每一个预设时间段对应的动作特征向量缓存至每一个动作时间窗口；或者，将每一个预设时间段对应的动作特征向量缓存至对应的一个动作时间窗口，例如，当在一个预设时间段内只接收到了可穿戴设备a发送的设备信号数据时，可以将该预设时间段对应的动作特征向量缓存至动作a时间窗口，而不缓存至其他动作时间窗口。

在一实施例中，当前预设时间段内的动作特征向量与动作时间窗口中的已有动作特征向量组合为待确认特征向量。

步骤103，使用动作确认模型对待确认特征向量进行检测，得到检测结果。

在一实施例中，动作确认模型可以由每一个动作的大量的训练样本的设备信号数据训练得到，设备信号数据包括但不限于：加速度数据、角速度等。

在一实施例中，动作确认模型包括但不限于目前公开的算法模型，例如：支持向量机(supportvectormachine，svm)、贝叶斯网络、时域频域分析、时间递归神经网络(longshort-termmemory，lstm)、卷积神经网络(convolutionalneuralnetwork，cnn)，等等。

在一实施例中，可以为每一个动作时间窗口设置一个动作确认模型，将动作时间窗口中的待确认特征向量输入对应动作时间窗口的动作确认模型，即可得到待确认特征向量对应的检测结果，例如，对于右手动作时间窗口，由于待确认特征向量(左手信号，右手信号，左脚信号，右脚信号)中只有右手信号是有效特征值，右手动作时间窗口对应的动作确认模型可以只针对右手信号的训练样本进行训练得到，由此使用动作确认模型对待确认特征向量进行检测时的计算量比较小；在又一实施例中，可以为所有的动作时间窗口设置一个动作确认模型，将待确认特征向量输入动作确认模型即可得到待确认特征向量对应的检测结果，只训练一个动作确认模性的前期训练计算量比较小，但是在对待确认特征向量进行检测时的计算量比较大。

步骤104，当检测结果为待确认特征向量对应一个完整动作时，根据待确认特征向量对应的完整动作控制体感游戏。

在一实施例中，体感游戏机可以将检测出的完整动作传输至应用层的游戏程序，游戏程序即可按照该动作控制游戏进程，如在电视机或者其他显示设备上显示对应的游戏画面等。

在一示例性实施例中，参见图1b，图中用户佩戴智能手环110、智能手环111、智能手环112、智能手环113(本申请中可穿戴设备的佩戴位置并不限定于手脚位置，例如还可以位于头部，本申请中可穿戴设备并不限定于手环，还可以为帽子、鞋子等)，智能手环110、智能手环111、智能手环112、智能手环113与体感游戏机120建立无线通信连接，体感游戏机120通过电视机显示对应的动作和游戏画面，用户在执行手部动作和腿脚部动作时，动作部位的智能手环可以检测到该动作，并将对应的设备信号数据传输至体感游戏机120，体感游戏机120根据设备信号数据计算出动作特征向量，进而使用动作确认模型即可计算出对应的肢体动作，然后控制游戏进程并且在电视机130上显示游戏画面和动作。由于本申请中，多个可穿戴设备可以同时检测到用户的动作，因此体感游戏机120可以支持同一时间的多个动作。

由上述描述可知，本申请实施例通过上述步骤101-步骤104实现了基于多个可穿戴设备的设备信号数据，识别用户的肢体动作，由于多个可穿戴设备可以佩戴在用户的不同身体部位，例如佩戴在左手、右手、左脚、右脚等部位，因此体感游戏机可基于多个可穿戴设备提供的设备信号数据识别出时间上有重合的多个动作，从而可以支持复杂游戏的操作，此外，由于可穿戴设备与人体的贴合度比较大，因此可以检测到细小动作，而且成本比较低。

图2示出了根据本发明的一示例性实施例二的基于多个可穿戴设备控制体感游戏的方法的流程示意图；本实施例在上述实施例的基础上，以体感游戏机如何基于多个可穿戴设备控制体感游戏为例进行示例性说明，如图2所示，包括如下步骤：

步骤201，根据当前预设时间段内接收到的可穿戴设备发送的设备信号数据，确定用户在当前预设时间段内的动作特征向量。

在一实施例中，动作特征向量包括1*n组特征值，n的值与关联的可穿戴设备的个数相同。

在一实施例中，步骤201的描述可参见图1a实施例的步骤101的描述，这里不再详述。

步骤202，根据当前预设时间段内的动作特征向量中的n组特征值，确定动作特征向量待缓存至的动作时间窗口。

在一实施例中，可计算当前预设时间段内每一个采样点的特征值，当前预设时间段中所有采样点的特征值即组合为一组特征值。

在一实施例中，每一组特征值对应一个可穿戴设备的设备信号数据，可以通过对当前预设时间段内设备信号数据的数值的进行的特征提取得到，例如，如果当前预设时间段内佩戴在右脚上的可穿戴设备所检测到的加速度数据为0或者接近0的数值，则佩戴在右脚上的可穿戴设备的设备信号数据所对应的特征值可以为0；如果当前预设时间段内佩戴在右脚上的可穿戴设备所检测到的加速度数据为z轴方向的加速度数据大于0且局部峰值大于2，则佩戴在右脚上的可穿戴设备的设备信号数据所对应的特征值可以为z轴加速度数据大于0。

步骤203，将动作特征向量缓存至对应的动作时间窗口中。

在一实施例中，当前预设时间段内的动作特征向量与动作时间窗口中的已有动作特征向量组合为待确认特征向量。

在一实施例中，如果当前预设时间段之前动作时间窗口中已经缓存有动作特征向量，则说明已缓存的动作特征向量不能被确认为对应一个完整动作，因此可将当前预设时间段内的动作特征向量与动作时间窗口中的已有动作特征向量组合为待确认特征向量。

步骤204，使用动作确认模型对待确认特征向量进行检测，得到检测结果。

在一实施例中，步骤204的描述可参见图1a所示实施例的步骤103的描述，这里不再详述。

步骤205，当检测结果为待确认特征向量对应一个完整动作时，根据待确认特征向量对应的完整动作控制体感游戏，并且删除动作时间窗口中的待确认特征向量。

在一实施例中，体感游戏机可以将检测出的完整动作传输至应用层的游戏程序，游戏程序即可按照该动作控制游戏进程，如在电视机或者其他显示设备上显示对应的游戏画面等。

在一实施例中，如果根据待确认特征向量可以识别到一个完整的动作，则可将动作时间窗口中的缓存数据删除。

步骤206，当检测结果为待确认特征向量对应一个异常动作时，删除动作时间窗口中的待确认特征向量。

在一实施例中，异常动作可以理解为不符合动作确认模型定义的动作，例如，右脚对应的动作的待确认特征向量为z轴加速度数据持续大于2，由于用户不可能一直向上抬右脚，因此如果待确认特征向量持续大于2超过几个预设时间段，则可确定该待确认特征向量对应一个异常动作。

步骤207，当检测结果为待确认特征向量对应一个未完成动作时，基于下一预设时间段内接收到的可穿戴设备发送的设备信号数据对应的动作特征向量，执行使用动作确认模型对待确认特征向量进行检测的操作。

本实施例中，基于多个可穿戴设备的设备信号数据，识别用户的肢体动作，由于多个可穿戴设备可以佩戴在用户的不同身体部位，例如佩戴在左手、右手、左脚、右脚等部位，因此体感游戏机可基于多个可穿戴设备提供的设备信号数据识别出时间上有重合的多个动作，从而可以支持复杂游戏的操作，此外，由于可穿戴设备与人体的贴合度比较大，因此可以检测到细小动作，而且成本比较低。

图3示出了根据本发明的一示例性实施例三的根据接收到的可穿戴设备发送设备信号数据确定对应的动作特征向量的方法的流程示意图；本实施例以确定动作特征向量为例进行示例性说明，如图3所示，包括如下步骤：

步骤301，对接收到的可穿戴设备中每一个可穿戴设备的设备信号数据提取对应的特征值。

在一实施例中，可针对每一个可穿戴设备，计算当前预设时间段内每一个采样点的特征值，当前预设时间段中所有采样点的特征值即组合为一组特征值。

步骤302，将每一个可穿戴设备的设备信号数据对应的特征值按照预设顺序生成当前预设时间段内的动作特征向量。

在一实施例中，为了支持多个可穿戴设备的设备信号数据，动作特征向量可以包括多个维度，每一个维度对应一个可穿戴设备，为了准确地通过动作确认模型对动作特征向量进行检测，动作特征向量中每一个可穿戴设备的设备信号数据对应的特征值的顺序需要与动作确认模型匹配。

本实施例中，通过按照预设顺序生成的动作特征向量可以实现支持使用多个可穿戴设备来控制体感游戏，并且支持输出时间上有重合的多个“动作”，进而支持复杂游戏的操作。

对应于上述的基于多个可穿戴设备控制体感游戏的方法，本申请还提出了图4所示的根据本申请的一示例性实施例的体感游戏机的示意结构图。请参考图4，在硬件层面，该可穿戴设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成实现基于多个可穿戴设备控制体感游戏的装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

图5为根据本发明的一示例性实施例的基于多个可穿戴设备控制体感游戏的装置的结构示意图；如图5所示，该基于多个可穿戴设备控制体感游戏的装置可以包括：确定模块51、缓存模块52、第一检测模块53和控制模块54。其中：

确定模块51，用于根据当前预设时间段内接收到的可穿戴设备发送的设备信号数据，确定用户在当前预设时间段内的动作特征向量，其中，动作特征向量包括1*n组特征值，n的值与关联的可穿戴设备的个数相同；

缓存模块52，用于将确定模块51确定的动作特征向量缓存至对应的动作时间窗口中，其中，当前预设时间段内的动作特征向量与动作时间窗口中的已有动作特征向量组合为待确认特征向量；

第一检测模块53，用于使用动作确认模型对待确认特征向量进行检测，得到检测结果；

控制模块54，用于当第一检测模块53检测到的检测结果为待确认特征向量对应一个完整动作时，根据待确认特征向量对应的完整动作控制体感游戏。

图6示出了根据本发明的另一示例性实施例的基于多个可穿戴设备控制体感游戏的装置的结构示意图，在图5所示实施例的基础上，如图6所示，在一实施例中，装置还包括：

第一删除模块55，用于当第一检测模块53检测到的检测结果为待确认特征向量对应一个异常动作时，删除动作时间窗口中的待确认特征向量。

在一实施例中，装置还包括：

第二检测模块56，用于当第一检测模块53检测到的检测结果为待确认特征向量对应一个未完成动作时，基于下一预设时间段内接收到的可穿戴设备发送的设备信号数据对应的动作特征向量，执行使用动作确认模型对待确认特征向量进行检测的操作。

在一实施例中，装置还包括：

第二删除模块57，用于当第一检测模块53检测到的检测结果为待确认特征向量对应一个完整动作时，删除动作时间窗口中的待确认特征向量。

在一实施例中，装置还包括：

分配模块58，用于根据当前预设时间段内的动作特征向量中的n组特征值，确定动作特征向量待缓存至的动作时间窗口。

图7示出了根据本发明的又一示例性实施例的基于多个可穿戴设备控制体感游戏的装置的结构示意图，在图5和/或图6所示实施例的基础上，如图7所示，在一实施例中，第一检测模块53包括：

输入单元531，用于将待确认特征向量输入动作时间窗口对应的动作确认模型，得到检测结果。

在一实施例中，装置还包括：

训练模块59，用于使用每一个动作的训练样本的设备信号数据对动作确认模型进行训练，得到每一个动作对应的动作确认模型。

在一实施例中，确定模块51包括：

提取单元511，用于对接收到的可穿戴设备中每一个可穿戴设备的设备信号数据提取对应的特征值；

生成单元512，用于将每一个可穿戴设备的设备信号数据对应的特征值按照预设顺序生成当前预设时间段内的动作特征向量。

通过上述实施例，可以实现基于多个可穿戴设备的设备信号数据，识别用户的肢体动作，由于多个可穿戴设备可以佩戴在用户的不同身体部位，例如佩戴在左手、右手、左脚、右脚等部位，因此体感游戏机可基于多个可穿戴设备提供的设备信号数据识别出时间上有重合的多个动作，从而可以支持复杂游戏的操作，此外，由于可穿戴设备与人体的贴合度比较大，因此可以检测到细小动作，而且成本比较低。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。