CN105528577B - 基于智能眼镜的识别方法 - Google Patents

Abstract

本发明涉及智能识别领域，其公开了一种基于智能眼镜的识别方法，包括如下步骤：（S1）获取眼镜上的惯性传感器实时传输数据并判断头部的位置；（S2）获取阅读状态和阅读内容；（S3）阅读提醒。本发明的有益效果是：监测与识别用户的学习认知状态，并给用户提供相应的认知辅助措施，进一步提高了阅读效率。

Description

基于智能眼镜的识别方法

技术领域

本发明涉及智能识别领域，尤其涉及一种基于智能眼镜的识别方法。

背景技术

如今，随着教育的不断普及，人们的阅读需求不断提高，但是随着阅读内容越来越丰富的时候，我们遇到的阅读问题越来越多（比如在阅读英文文章的时候我们会有很多不懂得单词和句子，在阅读专业书籍的时候我们会用很多不懂的专业名词，在阅读文献的时候我们会有很多不懂专业知识等等），遇到这些问题时就需要去查询相关资料，而查询相关资料是一件很麻烦而且费时的事情，从而会大大降低人们的阅读效率。

为了解决人们的阅读问题和提高人们的阅读效率，目前的商用产品比如步步高点读机等产品中多采用点读技术，这种技术是将书本放在特等的位置，然后用笔去点击书本，从而感知书本的某一个位置，然后将相应的提示内容显示出来。这种技术有很大的局限性，因为这种技术需要先将书本的内容记录下来，然后做成一个软件包才能使用，市场上普通的书本并不能用使用这种点读机；其次我们每次阅读我们都需要带着这样一个体积庞大的点读机，非常不方便；而在人看书的过程成中容易走神，这种点读机不能提示人走神，让人回到阅读中来。在这种情况下，一种能够帮助人在阅读中解决困难，在人走神的时候给出声音提醒的系统无疑有很强的实用价值。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于智能眼镜的识别方法，解决现有技术中无法帮助人在阅读中解决困难，在人走神的时候给出提醒的问题。

本发明是通过以下技术方案实现的：设计、制造了一种基于智能眼镜的识别方法，包括如下步骤：（S1）获取眼镜上的惯性传感器实时传输数据并判断头部的位置；（S2）获取阅读状态和阅读内容；（S3）阅读提醒。

作为本发明的进一步改进：所述步骤（S1）进一步包括：（S11）从眼镜上的惯性传感器中读取数据；（S12）通过判断不同的头部位置来确定人的阅读状态；当头部的位置符合阅读时头部位置范围时且人为静止时，视为阅读状态；当头部位置不符合阅读时头部位置范围或者人在运动时，视为不在阅读状态。

作为本发明的进一步改进：所述步骤（S2）中，通过将眼镜上的眼部摄像头传来图像转化为灰度值，然后设置阈值从而取得眼球的坐标，通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态；通过对眼镜上的情景摄像头得到的图像设立坐标，并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来，进而获得使用者现在所看的内容。

作为本发明的进一步改进：所述步骤（S3）中，根据阅读状态对读者给予不同的阅读帮助。

作为本发明的进一步改进：所述步骤（S2）中，为获取不同的阅读状态，进一步包括如下步骤：(S21)开启红外发射器使其照向眼睛，开启眼部摄像头捕捉眼球的位置图像，开启情景摄像头捕捉眼睛所看到的图像；（S22）通过将眼部摄像头获得的图像转化为灰度值，并且取反，然后设立灰度值的阈值从而得到瞳孔的位置，并为瞳孔中心的位置设立坐标；（S23）通过眼球的运动来判断人阅读的状态。

作为本发明的进一步改进：所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态；所述正常阅读状态为眼球的移动速度在一定的范围内；所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值；所述扫视状态为当眼球移动速度超过某一个阈值；所述回看状态为眼球移动方向为反方向时；所述走神状态为眼球速度低于一定的阈值且超过一定的时间。

作为本发明的进一步改进：所述步骤（S3）中，将场景摄像头获得图像分为九宫格并且设立坐标，并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来；通过获取阅读状态来进行阅读指导。

作为本发明的进一步改进：通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。

作为本发明的进一步改进：当阅读状态为思考状态时，自动搜索使用者阅读的内容然后将搜索的结果进行显示；当使用者处于走神状态时，自动发出声音进行提醒。

本发明的有益效果是：监测与识别用户的学习认知状态，并给用户提供相应的认知辅助措施，进一步提高了阅读效率。

【附图说明】

图1是本发明一种基于智能眼镜的识别方法的步骤示意图。

图2是本发明一实施例示意图。

【具体实施方式】

下面结合附图说明及具体实施方式对本发明进一步说明。

如图1，一种基于智能眼镜的识别方法，包括如下步骤：（S1）获取眼镜上的惯性传感器实时传输数据并判断头部的位置；（S2）获取阅读状态和阅读内容；（S3）阅读提醒。

所述步骤（S1）进一步包括：（S11）从眼镜上的惯性传感器（包括加速度计和陀螺仪）中读取数据；（S12）通过判断不同的头部位置来确定人的阅读状态；当头部的位置符合阅读时头部位置范围时且人为静止时，视为阅读状态；当头部位置不符合阅读时头部位置范围或者人在运动时，视为不在阅读状态。

所述步骤（S2）中，通过将眼镜上的眼部摄像头传来图像转化为灰度值，然后设置阈值从而取得眼球的坐标，通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态；通过对眼镜上的情景摄像头得到的图像设立坐标，并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来，进而获得使用者现在所看的内容。

所述步骤（S3）中，根据阅读状态对读者给予不同的阅读帮助。

所述步骤（S2）中，为获取不同的阅读状态，进一步包括如下步骤：(S21)开启红外发射器使其照向眼睛，开启眼部摄像头捕捉眼球的位置图像，开启情景摄像头捕捉眼睛所看到的图像；（S22）通过将眼部摄像头获得的图像转化为灰度值，并且取反，然后设立灰度值的阈值从而得到瞳孔的位置，并为瞳孔中心的位置设立坐标（利用眼睛对红外线的特性，即当红外线与光轴是异轴的时候，瞳孔会显得很暗，虹膜会显得相对较亮）；（S23）通过眼球的运动来判断人阅读的状态。

所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态；所述正常阅读状态为眼球的移动速度在一定的范围内；所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值；所述扫视状态为当眼球移动速度超过某一个阈值；所述回看状态为眼球移动方向为反方向时；所述走神状态为眼球速度低于一定的阈值且超过一定的时间。

所述步骤（S3）中，将场景摄像头获得图像分为九宫格并且设立坐标，并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来；通过获取阅读状态来进行阅读指导。

通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。

当阅读状态为思考状态时，自动搜索使用者阅读的内容然后将搜索的结果进行显示；当使用者处于走神状态时，自动发出声音进行提醒。

在一实施例中，如图2，提出了一种基于智能眼镜结合眼球追踪、图像坐标匹配、文本识别和机器学习技术，进而监测与识别用户的学习认知状态，并给用户提供相应的认知辅助措施的智慧系统。该方法通过利用置于眼镜上的摄像头、红外发射器、惯性测量单元3（加速度传感器，陀螺仪），并辅之以智能手机APP从而实现以上所述功能。所述方法主要包括：通过内置的惯性测量单元监测获取用户头部运动的数据；通过对惯性单元数据进行分析从而确定用户行为状态；当判定用户的状态为阅读时，红外发射器、眼球摄像头1和情景摄像头2会同步开启，一方面通过红外传感器和眼摄像头获取用户阅读过程中的眼球运动的图片，另一方面通过场景摄像头获取用户当前阅读内容的图片；通过对眼球运动图片的处理，提取眼球运动的特征，结合惯性单元的数据，判定用户阅读过程中的学习与认知状态，诸如正常阅读、思考、回看、扫视、走神；通过校准的方式将眼球的坐标和场景的坐标一一对应，并将场景摄像头的图片中内容进行识别，结合用户学习认知状态的判定，分析用户的学习兴趣、认知特点与行为习惯，麦克风4可以进行语音输出。基于这些核心模块，我们可以开发出各种辅助用户学习与认知的应用，比如：当系统判定出用户在特定内容上凝视较长时间时，相应APP会识别出的内容进行自动搜索，以辅助用户理解相应的内容。

在一实施例中，S1、眼镜上的惯性传感器实时传输数据到电脑中，通过判断加速度计的数值和陀螺仪的数值来判断头部的位置（头部偏转角度，包括前后左右）；S2、通过头部的位置来判决人们状态，这个状态分为阅读和不在阅读，阅读的内容可以是纸质材料、电子材料等等。当人们的状态为阅读时，眼镜上的红外发射器、眼部摄像头和情景摄像头会自动打开并且收集数据。收集到的数据可以通过服务器、个人电脑、手机、平板、等设备进行处理。通过将眼部摄像头传来图像转化为灰度值，然后设置阈值从而取得眼球的坐标。通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态，比如正常阅读、思考、扫视、回看、走神等等。通过对情景摄像头得到的图像设立坐标，并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来，从而能够获得使用者现在所看的内容；S3、结合S2得到的各种阅读状态来给读者给予阅读帮助。比如当读者处于思考状态或者多次回看上面的内容时，手机APP会自动搜索读者所看的内容，给读者提供帮助，从而解决读者的阅读问题；当读者处于走神状态时，手机APP会发出声音提醒人们重新回到阅读，从而提高人们的阅读效率等。

根据阅读状态提供不同的阅读帮助，进一步为：将场景摄像头获得图像分为九宫格并且设立坐标，并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来。其对应的方式可用矩阵相乘的方式获得的。即眼球坐标矩阵乘以通过校准计算而来的矩阵可以计算出场景图像的坐标。结合步骤S2中所得到的状态来提供不同的帮助。当阅读状态为思考的时候，手机APP会自动搜索使用者阅读的内容然后将搜索的结果显示在手机APP上，帮助读者解决阅读中遇到的问题；结合步骤S2中所得到的状态来帮助读者提高阅读效率，当使用者处于走神状态时，手机APP会自动发出声音提醒读者要专心读书，不要走神，从而提高读者的效率。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于智能眼镜的识别方法，其特征在于：包括如下步骤：（S1）获取眼镜上的惯性传感器实时传输数据并判断头部的位置；（S2）获取阅读状态和阅读内容，通过将眼镜上的眼部摄像头传来图像转化为灰度值，然后设置阈值从而取得眼球的坐标，通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态；通过对眼镜上的情景摄像头得到的图像设立坐标，并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来，进而获得使用者现在所看的内容，眼镜上的眼部摄像头传来的图像转化的灰度值为单一灰度数值；（S3）阅读提醒；根据所述步骤（S1）（S2）以及（S3），通过眼镜上的惯性传感器监测获取用户头部运动的数据；通过对惯性传感器数据进行分析从而确定用户行为状态；当判定用户的状态为阅读时，红外发射器、眼部摄像头和情景摄像头会同步开启，一方面通过红外发射器和眼部摄像头获取用户阅读过程中的眼球运动的图片，另一方面通过情景摄像头获取用户当前阅读内容的图片；通过对眼球运动图片的处理，提取眼球运动的特征，结合惯性单元的数据，判定用户阅读过程中的学习与认知状态；当判定出用户在特定内容上凝视较长时间时，手机上相应的APP软件将识别出的内容进行自动搜索，以辅助用户理解相应的内容。

2.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S1）进一步包括：（S11）从眼镜上的惯性传感器中读取数据；（S12）通过判断不同的头部位置来确定人的阅读状态；当头部的位置符合阅读时头部位置范围时且人为静止时，视为阅读状态；当头部位置不符合阅读时头部位置范围或者人在运动时，视为不在阅读状态。

3.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S3）中，根据阅读状态对读者给予不同的阅读帮助。

4.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S2）中，为获取不同的阅读状态，进一步包括如下步骤：（S21）开启红外发射器使其照向眼睛，开启眼部摄像头捕捉眼球的位置图像，开启情景摄像头捕捉眼睛所看到的图像；（S22）通过将眼部摄像头获得的图像转化为灰度值，并且取反，然后设立灰度值的阈值从而得到瞳孔的位置，并为瞳孔中心的位置设立坐标；（S23）通过眼球的运动来判断人阅读的状态。

5.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态；所述正常阅读状态为眼球的移动速度在一定的范围内；所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值；所述扫视状态为当眼球移动速度超过某一个阈值；所述回看状态为眼球移动方向为反方向时；所述走神状态为眼球速度低于一定的阈值且超过一定的时间。

6.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S3）中，将情景摄像头获得图像分为九宫格并且设立坐标，并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来；通过获取阅读状态来进行阅读指导。

7.根据权利要求6所述的基于智能眼镜的识别方法，其特征在于：通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。

8.根据权利要求5所述的基于智能眼镜的识别方法，其特征在于：当阅读状态为思考状态时，自动搜索使用者阅读的内容然后将搜索的结果进行显示；当使用者处于走神状态时，自动发出声音进行提醒。