CN121438053A - 基于计算机视觉的图书盘点方法及系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，公开了基于计算机视觉的图书盘点方法及系统。该方法包括通过三维扫描设备获取图书架多源感知数据，经处理生成标准化点云数据；利用多模态融合网络联合提取图书表面特征和标识符信息，输出包含唯一标识的识别结果；结合书架拓扑模型解算图书朝向角和坐标偏移量，得到精确位姿数据；基于位姿数据采用概率路线图算法生成机器人运动轨迹，并在线修正得到鲁棒盘点路径；依据该路径实时跟踪图书遗失或误置事件，关联时序日志生成增量盘点报告。本发明实现了高精度的图书识别与状态诊断，提升了盘点自动化水平。

Description

基于计算机视觉的图书盘点方法及系统

技术领域

本发明涉及计算机视觉技术领域，具体为基于计算机视觉的图书盘点方法及系统。

背景技术

现有的图书馆或大型书架的盘点工作逐步采用自动化技术替代纯人工操作。通常先通过深度相机获取书架的彩色图像和点云数据，随后采用串行处理流程：先尝试对图像进行光学字符识别或条码扫描以获取图书标识，若识别失败，则转而利用简单的视觉特征进行图书匹配。在定位方面，多数方法仅通过目标检测算法框取书脊在图像中的位置，并简单映射到三维空间中获得一个粗略的中心点坐标。

上述现有技术方案存在缺陷。基于串行处理流程的识别方法在面对复杂光照、书脊文字模糊磨损、或部分遮挡等情况时，稳定性较差。当首要的标识符识别步骤失败后，后续基于简单视觉特征的匹配方法由于特征区分度不足，极易导致误匹配或识别失败，难以在真实的图书馆环境中实现高准确率的全自动盘点。在图书状态判断上，现有方法提供的粗略三维坐标信息无法精确反映书本的具体摆放姿态。由于缺乏对书架物理结构的建模，系统无法理解书本与书架层板、书本与书本之间的空间约束关系，因此难以有效检测出书本的倾斜、突出或凹陷等异常摆放状态，而这些细微的位姿差异正是判断图书是否误置或需要整架的关键依据。

当前技术瓶颈在于，图书盘点的目标不仅是识别出书籍身份，更需要诊断其在书架上的物理状态。现有方法将识别与状态评估割裂开来，识别环节对多源信息利用不充分，状态评估环节又缺乏必要的环境上下文信息作为推理基础。这导致最终的盘点结果仅能提供一份存在与否的清单，无法生成具有指导意义的增量盘点报告。

发明内容

本发明的目的在于提供基于计算机视觉的图书盘点方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供基于计算机视觉的图书盘点方法，所述方法包括：

通过三维扫描设备捕获图书架的多源感知数据，对所述多源感知数据进行空间对齐和噪声滤波处理，生成标准化点云数据集；

采用多模态融合网络对所述标准化点云数据集中的图书表面特征和标识符信息进行联合提取与解析，输出包含图书唯一标识的识别结果集；

集成书架拓扑模型和所述识别结果集，对图书的朝向角和坐标偏移量进行解算，得到图书位姿数据集；

基于所述图书位姿数据集，应用概率路线图算法生成盘点机器人的运动轨迹，并插入传感器观测数据对轨迹进行在线修正，输出鲁棒盘点路径；

依据所述鲁棒盘点路径，触发异常感知单元对盘点过程中的图书遗失或误置事件进行跟踪，并关联时序盘点日志生成增量盘点报告。

优选的，所述通过三维扫描设备捕获图书架的多源感知数据，对所述多源感知数据进行空间对齐和噪声滤波处理，生成标准化点云数据集，包括：

采集深度相机和RGB相机的同步数据流，执行时间戳匹配和坐标系变换操作，生成初始融合数据；

对所述初始融合数据应用体素网格下采样算法，降低点云密度，并采用统计离群值移除方法过滤噪声点，生成去噪点云；

通过迭代最近点算法将去噪点云与基准模型进行配准，计算变换矩阵，输出标准化点云数据集。

优选的，所述采用多模态融合网络对所述标准化点云数据集中的图书表面特征和标识符信息进行联合提取与解析，输出包含图书唯一标识的识别结果集，包括：

构建图卷积网络模型，对点云数据中的节点特征进行聚合，提取图书几何轮廓和纹理特征；

使用注意力机制对几何轮廓和纹理特征进行加权融合，生成增强特征向量；

通过连接主义时序分类解码器对增强特征向量中的序列标签进行预测，识别图书标识符字符流；

合并几何轮廓特征和标识符识别结果，采用特征拼接技术生成图书唯一标识的识别结果集。

优选的，所述构建图卷积网络模型，对点云数据中的节点特征进行聚合，提取图书几何轮廓和纹理特征，包括：

将点云数据划分为局部区域，为每个区域构建k近邻图结构；

通过图卷积层迭代更新节点特征，聚合邻居节点信息，输出局部特征图；

应用全局最大池化层对局部特征图进行降维，生成图书几何轮廓和纹理特征向量。

优选的，所述集成书架拓扑模型和所述识别结果集，对图书的朝向角和坐标偏移量进行解算，得到图书位姿数据集，包括：

加载书架的三维网格模型，将识别结果集映射到网格顶点空间；

计算图书重心点与网格顶点的欧氏距离，解算图书相对于基准位置的平移向量；

通过主成分分析算法估计图书点云的主方向，计算朝向角偏移量，输出图书位姿数据集。

优选的，所述基于所述图书位姿数据集，应用概率路线图算法生成盘点机器人的运动轨迹，并插入传感器观测数据对轨迹进行在线修正，输出鲁棒盘点路径，包括：

将图书位姿数据集离散化为配置空间，随机采样节点并连接可行边，构建概率路线图；

使用迪杰斯特拉算法在概率路线图上搜索最短路径，生成初始运动轨迹；

通过激光雷达和惯性测量单元获取实时位姿数据，采用扩展卡尔曼滤波器对初始运动轨迹进行校正；

结合动态障碍物预测结果，应用模型预测控制算法优化轨迹曲率，输出鲁棒盘点路径。

优选的，所述使用迪杰斯特拉算法在概率路线图上搜索最短路径，生成初始运动轨迹，包括：

为概率路线图中的每个节点分配距离权重，设置起点和终点节点；

迭代扩展邻近节点，更新最短路径树；

回溯路径节点序列，生成初始运动轨迹。

优选的，所述依据所述鲁棒盘点路径，触发异常感知单元对盘点过程中的图书遗失或误置事件进行跟踪，并关联时序盘点日志生成增量盘点报告，包括：

实时捕获盘点场景的立体图像数据，与识别结果集进行特征匹配；

应用光流法计算图书运动矢量，检测位置异常事件；

记录异常事件的空间坐标和时间标记；

集成时序盘点日志中的历史状态变化，采用差分算法生成增量盘点报告。

优选的，所述应用光流法计算图书运动矢量，检测位置异常事件，包括：

提取连续图像帧中的角点特征，使用卢卡斯-卡纳德方法计算特征点运动位移；

比较运动位移与阈值范围，标识异常运动区域；

聚类异常区域生成异常事件列表。

优选的，本发明还包括一种基于计算机视觉的图书盘点系统，所述系统包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时，实现如上述基于计算机视觉的图书盘点方法的步骤。

与现有技术相比，本发明的有益效果是：

采用多模态融合网络对标准化点云数据集中的图书表面特征和标识符信息进行联合提取与解析。该网络在特征层级进行深度融合，使得几何点云数据为视觉特征的定位提供空间上下文，而高分辨率的纹理信息为几何特征相近的图书提供区分依据。这种处理机制在标识符信息不完整或质量不佳时，能够利用书脊的整体视觉外观进行互补推理；反之，在视觉特征相似度高时，精确的标识符信息可作为决定性判断依据。这种深度的跨模态交互提升了在复杂光照、部分遮挡及书脊磨损等真实场景下的识别成功率与稳定性，避免了传统串行流程中因单一模态失败而导致的整体识别中断，为实现全自动高精度识别提供了技术基础。

集成书架拓扑模型和图书识别结果集，对图书的朝向角和坐标偏移量进行解算。书架拓扑模型引入了书本应遵循的空间约束关系，将检测到的每本书置于一个连续的物理上下文环境中进行评估。通过比对书本实际点云与模型预期的理想位置，可以解算出书本相对于层板平面的精确朝向角，以及相对于相邻书本排面的坐标偏移量。这种解算方式将单纯的物体检测提升到了空间关系诊断的层面，生成的位姿数据集直接量化了书本的摆放异常程度。基于此，系统能够感知到书本的轻微前倾、后倒、或是突出于书列等细微位姿变化，这些信息是判断图书是否被误置或需要复位的关键，超过传统方法仅能提供存在性判断的能力，实现了从盘点清单到可操作状态报告的跨越。

附图说明

图1为本发明所述的基于计算机视觉的图书盘点方法的工作原理图；

图2为生成标准化点云数据集的流程图；

图3为多模态融合网络识别图书唯一标识的流程图；

图4为图书位姿解算结果分析图；

图5为机器人路径规划结果分析图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供基于计算机视觉的图书盘点方法，所述方法包括。：通过三维扫描设备捕获图书架的多源感知数据，对多源感知数据进行空间对齐和噪声滤波处理，生成标准化点云数据集；采用多模态融合网络对标准化点云数据集中的图书表面特征和标识符信息进行联合提取与解析，输出包含图书唯一标识的识别结果集；集成书架拓扑模型和识别结果集，对图书的朝向角和坐标偏移量进行解算，得到图书位姿数据集；基于图书位姿数据集，应用概率路线图算法生成盘点机器人的运动轨迹，并插入传感器观测数据对轨迹进行在线修正，输出鲁棒盘点路径；依据鲁棒盘点路径，触发异常感知单元对盘点过程中的图书遗失或误置事件进行跟踪，并关联时序盘点日志生成增量盘点报告。

实施例1：参阅图2，在具体实施中，深度相机和RGB相机的同步数据流采集过程依赖于硬件触发信号和精密的时间同步模块。深度相机采用主动立体视觉或飞行时间原理获取场景的深度信息，生成包含每个像素点距离信息的深度图。RGB相机同步捕获同一场景的高分辨率彩色图像。时间戳匹配操作由嵌入式系统上的高精度时钟驱动，为每一帧深度数据和RGB数据分配一个全局唯一且严格递增的时间戳标识符。坐标系变换操作基于相机标定获得的内参矩阵和外参矩阵，内参矩阵包含焦距和主点等相机内部几何参数，外参矩阵定义深度相机坐标系与RGB相机坐标系之间的旋转和平移关系。通过将深度相机坐标系下的三维点云数据乘以外参矩阵变换到RGB相机坐标系，再通过透视投影变换映射到RGB图像的二维像素坐标系，实现深度信息与彩色信息的像素级对齐，从而生成初始融合数据。初始融合数据是一种包含三维空间坐标和对应RGB颜色值的点云数据结构。

在具体实施中，对初始融合数据应用体素网格下采样算法，体素网格下采样算法将三维点云空间划分为一系列均匀的立方体网格即体素。每个体素内部的所有点被一个单一的代表点所替代，这个代表点通常是该体素内所有点的几何中心点或通过计算体素内所有点的坐标平均值获得。体素网格下采样算法的体素尺寸是一个可配置参数，体素尺寸的选择需要在减少数据量和保留必要几何细节之间进行权衡，较大的体素尺寸会导致更激进的数据压缩但可能损失细微特征，较小的体素尺寸能保留更多细节但计算负担更重。在具体实施中，体素尺寸根据原始点云的平均点间距和后续处理任务对精度的要求动态设定。采用统计离群值移除方法过滤噪声点，统计离群值移除方法分析每个点与其最近的k个邻近点之间的平均距离，并假设这些距离服从正态分布。计算整个点云的平均距离和标准差，任何点的平均距离如果大于全局平均距离加上n倍标准差的阈值，则被视为离群点并从点云中移除。统计离群值移除方法中的邻近点数量k和乘数因子n是关键参数，需要根据点云密度和噪声水平进行调整。经过体素网格下采样和统计离群值移除处理后，生成的点云数据称为去噪点云，去噪点云具有更低的数据密度和更高的信噪比。

在具体实施中，通过迭代最近点算法将去噪点云与基准模型进行配准，基准模型是书架单元精确的三维数字模型，可以是计算机辅助设计模型或通过高精度三维扫描仪预先获取的参考点云。迭代最近点算法是一种迭代优化算法，用于计算两个点云数据集之间的最优刚体变换即旋转矩阵和平移向量。迭代最近点算法的基本步骤包括：在每一次迭代中，为去噪点云中的每个点在基准模型点云中寻找最近邻点作为对应点对；然后计算使得所有对应点对之间的平均距离最小的旋转矩阵和平移向量；应用计算得到的变换矩阵更新去噪点云的位置；重复上述过程直到平均距离变化小于预设的收敛阈值或达到最大迭代次数。迭代最近点算法对初始位置较为敏感，因此在实际应用中通常结合粗配准方法如基于特征描述符的匹配来提供一个良好的初始位姿估计。迭代最近点算法成功配准后输出的变换矩阵包含了将去噪点云对齐到基准模型坐标系所需的旋转和平移参数。应用这个变换矩阵对原始去噪点云进行坐标变换，最终输出标准化点云数据集。标准化点云数据集中的所有点都位于一个统一的、与基准模型一致的坐标系下，具有一致的尺度、朝向和原点。

在一些实施例中，深度相机和RGB相机的同步可以通过专门的同步信号线实现，即深度相机在曝光时产生一个硬件触发信号并发送给RGB相机，RGB相机接收到触发信号后立即进行图像采集。在一些实施例中，同步也可以通过软件方式实现，即由主控计算机向深度相机和RGB相机同时发送采集指令，并记录指令下发的时间戳作为数据帧的时间戳。坐标系变换操作中涉及的内参矩阵和外参矩阵需要通过相机标定过程预先获取，相机标定使用已知几何图案的标定板，通过拍摄标定板在不同位置和姿态下的多张图像，利用张正友标定法等算法计算相机的内部参数和相对位姿。

可以理解，体素网格下采样算法不仅减少了点云数据量，还一定程度上平滑了点云表面，因为每个体素内的点被一个中心点代表，这有助于消除一些细小的噪声。统计离群值移除方法能够有效过滤由于传感器误差、环境粉尘或光线干扰产生的孤立噪声点，这些噪声点通常远离主要的点云簇。迭代最近点算法的配准精度直接影响后续图书识别和位姿估计的准确性，因此选择适当的收敛阈值和最大迭代次数至关重要，同时需要考虑点云的法向量和曲率信息来改进对应点对的搜索和匹配质量。

可选的，在体素网格下采样之前，可以增加一个半径滤波步骤，半径滤波移除在指定半径范围内邻近点数量少于阈值的点，这种滤波方法对于移除稀疏的、漂浮的噪声点特别有效。可选的，对于迭代最近点算法，可以采用点对平面误差度量代替标准的点对点误差度量，点对平面误差度量在点云表面较为平滑时能加速收敛并提高配准精度，它最小化的是源点云中的点到目标点云局部切平面的距离。

可以理解，生成标准化点云数据集是整个图书盘点流程的数据预处理基础，标准化点云数据集的质量直接决定了后续特征提取和识别的性能。多源感知数据的空间对齐确保了不同模态信息能够正确关联，噪声滤波处理提升了数据的纯净度，使得后续算法能够在更可靠的数据基础上运行。整个处理流程的设计充分考虑了实际应用环境中可能存在的传感器误差和环境干扰，通过一系列严谨的数学运算和算法处理，将原始的、带有噪声的多源感知数据转化为干净的、坐标系统一的标准化点云数据集。

实施例2：参阅图3，在具体实施中，构建图卷积网络模型的过程始于将标准化点云数据集表示为图结构数据，点云中的每个三维点被定义为图中的一个节点，节点之间的边基于空间邻近关系建立。为每个节点构建k近邻图结构，k近邻图结构通过计算点云中每个点与其余所有点之间的欧几里得距离，选择距离最近的k个点作为邻居节点并建立连接边。每个节点初始特征向量可以包含点的三维坐标、颜色信息、法向量以及局部曲率等属性。图卷积网络模型由多个图卷积层堆叠而成，每个图卷积层对输入的节点特征进行变换和聚合，图卷积操作通过可学习的权重矩阵对中心节点及其邻居节点的特征进行线性变换，然后使用池化函数如最大池化或平均池化聚合邻居节点的变换后特征，最后将聚合后的邻居特征与中心节点自身的变换特征相结合，通常通过求和或拼接操作，生成中心节点的新特征表示。通过多层图卷积层的迭代更新，每个节点的特征向量能够捕获其局部邻域乃至全局上下文的几何和纹理信息。最终，应用全局最大池化层对所有节点的特征向量进行降维，全局最大池化层沿着节点维度对每个特征通道取最大值，输出一个固定维度的全局特征向量，这个全局特征向量即作为图书的几何轮廓和纹理特征的整体表示。

在具体实施中，使用注意力机制对几何轮廓和纹理特征进行加权融合，注意力机制通常采用自注意力模块实现。自注意力模块将图卷积网络模型提取的几何轮廓和纹理特征向量作为输入，通过三个可学习的线性变换矩阵分别生成查询向量、键向量和值向量。计算查询向量与所有键向量的点积，然后应用缩放操作和softmax函数得到注意力权重分布，注意力权重分布表示不同特征维度的重要性程度。使用注意力权重对值向量进行加权求和，生成加权的特征表示。这种自注意力机制能够动态地捕捉特征向量内部不同部分之间的依赖关系，从而对几何轮廓特征和纹理特征进行自适应加权融合，突出对图书识别任务判别性强的特征通道，抑制冗余或噪声特征，最终生成增强特征向量。增强特征向量融合了图书的宏观形状信息和微观表面细节，具有更强的表征能力。

在具体实施中，通过连接主义时序分类解码器对增强特征向量中的序列标签进行预测，连接主义时序分类解码器专门用于处理输入序列与输出序列长度不一致的序列学习问题。增强特征向量首先通过一个或多个全连接层映射到更高维的特征空间，然后输入到循环神经网络层如长短期记忆网络或门控循环单元，循环神经网络层逐时间步处理输入序列，捕捉序列中的长期依赖关系。循环神经网络层的输出在每个时间步上通过一个线性变换层和softmax激活函数，产生在预定义字符集上的概率分布。连接主义时序分类解码器的损失函数在训练时直接计算输入序列特征与输出字符序列之间的条件概率，无需对输入序列和输出序列进行强制对齐。在推理阶段，使用波束搜索算法从连接主义时序分类解码器输出的概率分布中搜索最可能的字符序列，波束搜索算法通过维护多个候选序列并迭代扩展和剪枝，最终选择总体概率最高的序列作为识别出的图书标识符字符流，图书标识符字符流可以是国际标准书号、图书编码或书名文本等。

在具体实施中，合并几何轮廓特征和标识符识别结果采用特征拼接技术，将从图卷积网络模型提取的图书几何轮廓特征向量与连接主义时序分类解码器识别出的标识符字符流经过嵌入层转换后的特征向量进行拼接。几何轮廓特征向量是表征图书物理形态的全局特征，标识符特征向量是表征图书身份信息的语义特征。特征拼接操作将这两个来源不同、语义互补的特征向量在特征维度上进行连接，形成一个综合的特征表示。这个拼接后的高维特征向量随后可以通过一个全连接层进行降维和融合，最终生成包含图书唯一标识的识别结果。识别结果集以结构化的形式存储，每条记录包含图书的唯一标识符、在点云中的空间位置置信度等信息。

在一些实施例中，图卷积网络模型可以结合边卷积操作，边卷积不仅聚合邻居节点的特征，还显式地考虑中心节点与每个邻居节点之间的相对空间关系，例如边的方向向量和长度，将这些几何关系编码到特征学习过程中。在一些实施例中，注意力机制可以采用多头注意力机制，多头注意力机制将特征向量分割到多个子空间，在每个子空间中独立计算注意力权重，最后将多个头的输出进行拼接，从而捕获不同子空间中的多样化特征关系。

可以理解，图卷积网络模型能够直接处理点云这种非欧几里得数据，通过图结构有效地建模点与点之间的局部几何关系，使得学习的特征对点云的旋转、平移等变换具有较好的鲁棒性。连接主义时序分类解码器避免了传统光学字符识别流程中需要对字符进行精确分割的步骤，特别适用于自然场景中可能存在的字体、光照、遮挡等复杂情况下的文字识别。特征拼接技术简单有效地融合了来自不同模态和不同抽象层次的特征，为图书提供了全面且具有判别性的表示。可以在图卷积网络模型中加入跳跃连接机制，跳跃连接机制将浅层图卷积层的特征与深层图卷积层的特征进行融合，有助于缓解深层网络训练中的梯度消失问题，同时保留多尺度的特征信息。可选的，对于连接主义时序分类解码器，可以在循环神经网络层之前加入卷积神经网络层，卷积神经网络层能够提取输入特征的局部相关性，并具有一定的平移不变性，有助于提升序列特征的稳定性。

可以理解，多模态融合网络通过端到端的训练方式，将点云特征提取、标识符识别和特征融合等多个步骤统一在一个框架内进行优化，使得各个模块能够相互协作，共同优化最终的图书识别目标。图卷积网络模型对点云局部结构的建模能力与连接主义时序分类解码器对序列信息的处理能力相结合，能够有效地从点云数据中同时解析出图书的物理形态和身份信息。注意力机制的引入使得网络能够自适应地关注对当前识别任务最重要的特征区域，提升了特征表示的效率和鲁棒性。整个识别流程的设计充分考虑了点云数据的特性和图书识别的实际需求，实现了高精度的图书唯一标识提取。

在具体实施中，将点云数据划分为局部区域的操作通常基于空间聚类算法，例如欧几里得聚类算法。欧几里得聚类算法基于点与点之间的欧几里得距离进行聚类，将距离小于设定阈值的点归为同一个局部区域。每个局部区域包含一组在空间上连续且邻近的点云，这些点云可能对应于图书的书脊、封面或局部表面。为每个局部区域构建k近邻图结构，k近邻图结构以局部区域内的每个点作为图节点，计算该节点到局部区域内其他所有点的距离，选择距离最近的k个点作为其邻居节点并建立连接边。k近邻图结构有效地捕获了局部区域内的点与点之间的空间邻近关系和局部几何结构。

在具体实施中，通过图卷积层迭代更新节点特征，每个图卷积层执行消息传递机制。在每一层图卷积中，每个节点会从其邻居节点接收特征信息，并将接收到的邻居特征与自身特征进行聚合，从而更新自身的特征表示。图卷积层的具体操作包括对中心节点的特征和每个邻居节点的特征分别进行线性变换，然后使用一个对称的聚合函数如最大池化、平均池化或求和池化，对所有邻居节点变换后的特征进行聚合，最后将聚合后的邻居特征与中心节点自身变换后的特征进行组合，例如通过相加或拼接操作，再经过一个非线性激活函数如ReLU函数，输出该节点在图卷积层更新后的新特征。通过堆叠多个图卷积层，每个节点的特征感受野逐渐扩大，能够聚合来自更远邻居节点的信息，从而学习到从局部到全局的点云特征。经过多层图卷积层迭代更新后，输出每个局部区域对应的局部特征图，局部特征图包含了每个节点的深度特征表示。

在具体实施中，应用全局最大池化层对局部特征图进行降维，全局最大池化层沿着节点维度对局部特征图中所有节点的每个特征通道取最大值。具体而言，假设局部特征图包含N个节点，每个节点的特征向量维度为D，全局最大池化层会输出一个D维的向量，这个D维向量的每个维度上的值是所有N个节点在该维度上特征值的最大值。全局最大池化操作使得输出的特征向量对输入点云中点的排列顺序具有不变性，并且能够捕获点云中最显著的特征激活。最终生成的图书几何轮廓和纹理特征向量是一个固定长度的全局描述子，它概括了整个点云或局部区域的关键形状和纹理信息，适用于后续的分类、识别或检索任务。

实施例3：在具体实施中，加载书架的三维网格模型的过程涉及从持久化存储设备读取预先构建的模型文件，三维网格模型通常采用三角网格表示法，由顶点集合、边集合和面片集合构成。顶点集合包含每个顶点的三维空间坐标，边集合定义顶点之间的连接关系，面片集合则由三个顶点索引构成一个三角面片。三维网格模型通过计算机辅助设计软件精确建模或通过高精度三维扫描仪对实物书架进行扫描重建获得，三维网格模型完整地表达了书架的结构尺寸、层板位置以及每个图书放置格位的空间范围。将识别结果集映射到网格顶点空间的操作是一种空间投影过程，识别结果集中包含每本识别出的图书在点云坐标系下的三维位置信息，通过坐标变换矩阵将图书的三维坐标转换到三维网格模型的坐标系下。转换后，针对每本图书，需要在三维网格模型的顶点空间中寻找与其投影位置最接近的一个或多个网格顶点，建立图书与网格顶点之间的关联映射关系，这种映射关系为后续计算图书相对于书架基准位置的偏移量提供了空间参考框架。

在具体实施中，计算图书重心点与网格顶点的欧氏距离是解算平移向量的核心步骤。图书重心点通过计算属于该图书的所有点云数据点的坐标平均值获得，具体公式为：

；

其中：表示图书重心点的三维坐标向量，表示属于该图书的点云中点的总数量，表示第个点的三维坐标向量。计算得到的图书重心点代表了图书在空间中的质心位置。图书的基准位置对应于该书在书架上正确放置时其重心点应该处于的三维网格模型上的理论位置点，这个理论位置点可以预先定义在三维网格模型的特定顶点上。解算图书相对于基准位置的平移向量直接通过向量减法实现：

；

其中：是计算得到的平移向量，是图书重心点的坐标，是对应的基准位置网格顶点的坐标。平移向量包含了图书在X、Y、Z三个坐标轴方向上相对于其正确位置的偏移量。

在具体实施中，通过主成分分析算法估计图书点云的主方向，主成分分析算法是一种统计方法，用于从多维数据中提取主要特征方向。主成分分析算法首先计算图书点云数据的协方差矩阵，协方差矩阵反映了点云在各个维度上的方差以及不同维度之间的协方差关系。对协方差矩阵进行特征值分解，得到三个特征值和对应的三个特征向量，这三个特征向量两两正交，并且按照对应的特征值从大到小排序。最大特征值对应的特征向量即点云的第一主成分方向，这个方向是点云分布方差最大的方向，对于一本规则形状的图书，第一主成分方向通常沿着书脊的方向。计算朝向角偏移量需要将估计出的图书点云主方向与基准方向进行比较，基准方向是图书在书架上正确放置时其主方向应该指向的理论方向，基准方向同样可以预先定义在三维网格模型中。朝向角偏移量可以通过计算主方向向量与基准方向向量之间的夹角来获得，这个夹角反映了图书围绕其法线轴旋转的角度。最终输出的图书位姿数据集是一个结构化的数据集合，每条记录对应一本识别出的图书，记录中包含图书的唯一标识符、计算得到的平移向量以及朝向角偏移量，完整地描述了每本图书在书架上的当前位置和姿态相对于其标准位置的偏差。

在一些实施例中，三维网格模型的顶点可以附加属性信息，例如顶点颜色、纹理坐标或法向量，这些属性信息可以用于更精细的可视化渲染或辅助计算。在一些实施例中，基准位置网格顶点的确定可以基于图书的国际标准书号或分类号，通过查询预定义的映射表，将图书标识符映射到三维网格模型上的特定顶点坐标。在一些实施例中，对于不规则形状或特殊装帧的图书，可以预先为其建立更精细的三维模型，并在主成分分析算法中引入权重因子，根据点的局部曲率或密度对协方差矩阵的计算进行加权，以更准确地估计主方向。

可以理解，将识别结果集映射到高精度的三维网格模型顶点空间，建立了一个精确的、数字化的空间参考系，使得图书的实际位置能够与理论位置进行精确比对。通过计算重心点与参考点的欧氏距离来解算平移向量，方法直观且计算高效，能够准确反映图书的线性位移偏差。主成分分析算法能够从点云的几何分布中稳健地提取出主要方向，对点云的密度变化和局部噪声具有一定的鲁棒性，使得朝向角的估计结果稳定可靠。

可选的，在计算平移向量之前，可以对图书点云进行预处理，例如应用基于半径的离群点移除算法，过滤掉可能由于识别误差而产生的孤立噪声点，确保计算出的重心点更具代表性。可以理解，图书位姿数据集的生成是整个图书盘点系统中的关键环节，位姿数据集不仅用于判断图书是否错架，还为后续机器人路径规划提供了精确的目标点坐标和姿态信息。平移向量和朝向角偏移量共同构成了图书的六自由度位姿描述，完整地刻画了图书在书架空间中的实际状态。通过将视觉识别结果与精确的书架拓扑模型相结合，位姿解算过程将抽象的图像或点云信息转化为了具有明确物理意义的空间度量数据，为自动化盘点的决策和执行提供了定量依据。

参阅图4，展示了基于三维网格模型和点云数据的图书位姿解算结果。图中清晰呈现了书架的三维结构框架，以及图书在书架空间中的位置分布情况。绿色圆点标记了图书在书架上的理论基准位置，这些位置代表了图书正确放置时应该处于的理想坐标。红色三角形则显示了通过点云分析得到的图书实际位置，直观反映了图书在书架上的真实摆放状态。蓝色方向箭头展示了通过主成分分析算法计算得到的图书主要朝向，这些箭头方向代表了图书在空间中的实际摆放角度。紫色虚线连接了理论位置和实际位置，明确显示了每本图书相对于其标准位置的偏移向量。该可视化结果验证了位姿解算算法的有效性，能够准确识别图书的位置偏差和方向偏移，为后续的错架检测和机器人路径规划提供了精确的空间参考数据。通过这种三维空间关系的直观展示，可以快速评估图书整理状态并指导后续的自动化操作

实施例4：在具体实施中，将图书位姿数据集离散化为配置空间是路径规划的基础步骤，配置空间是一个数学空间，其维度由盘点机器人的自由度数量决定，对于一个在三维空间中移动的机器人，配置空间通常包含位置坐标和姿态角。图书位姿数据集提供了每本图书在书架坐标系下的位置和姿态信息，这些信息被量化为配置空间中的一组离散点，每个点代表机器人在盘点该图书时需要达到的一个特定配置。随机采样节点过程在配置空间的安全区域内生成大量随机点，安全区域由书架几何模型和机器人本体模型通过碰撞检测算法确定，确保采样点对应的机器人位姿不会与书架发生干涉。连接可行边操作检查每两个随机采样节点之间是否存在无碰撞的路径段，通过沿连接线进行密集碰撞检测来判断边的可行性，最终构建出一个由节点和可行边组成的网络结构，即概率路线图。概率路线图覆盖了机器人从起点到终点所有可能的安全运动区域。

在具体实施中，使用迪杰斯特拉算法在概率路线图上搜索最短路径，迪杰斯特拉算法是一种经典的单源最短路径算法。为概率路线图中的每个节点分配距离权重，距离权重可以基于节点之间的欧几里得距离、运动时间代价或其他优化指标。设置起点和终点节点，起点节点对应机器人开始盘点的初始位姿，终点节点对应完成盘点任务的最终位姿。迪杰斯特拉算法初始化起点节点的距离为0，其他节点的距离为无穷大，然后迭代扩展邻近节点，每次选择当前距离最小的未访问节点，更新其所有邻居节点通过该节点到达起点的距离估计。这个过程持续直到终点节点被访问，最终构建出从起点到所有节点的最短路径树。回溯路径节点序列从终点节点开始，沿着最短路径树反向追踪到起点节点，将经过的节点序列连接起来生成初始运动轨迹。初始运动轨迹是一系列离散的位姿点序列，描述了机器人运动的预期路径。

在具体实施中，通过激光雷达和惯性测量单元获取实时位姿数据，激光雷达通过发射激光束并接收反射信号来测量周围环境的距离信息，生成点云数据。惯性测量单元包含陀螺仪和加速度计，测量机器人的角速度和线加速度。采用扩展卡尔曼滤波器对初始运动轨迹进行校正，扩展卡尔曼滤波器是一种非线性状态估计器，通过预测和更新两个步骤融合多传感器数据。预测步骤利用惯性测量单元的数据和机器人运动模型预测下一时刻的位姿状态，更新步骤利用激光雷达的实际观测数据与预测值之间的差异来修正状态估计。扩展卡尔曼滤波器通过不断迭代预测和更新过程，输出更精确的机器人实时位姿估计，利用这个估计值对初始运动轨迹进行在线校正，补偿轨迹执行过程中因车轮打滑、地面不平等因素引起的累积误差。

在具体实施中，参阅表1，结合动态障碍物预测结果，动态障碍物预测通过分析连续多帧激光雷达点云数据，使用目标跟踪算法如卡尔曼滤波或多假设跟踪来估计环境中移动物体未来的运动轨迹。应用模型预测控制算法优化轨迹曲率，模型预测控制是一种基于模型的控制策略，通过在有限时间范围内预测系统未来行为，滚动优化控制输入。模型预测控制算法建立机器人的动力学模型，以当前状态为初始条件，预测未来一段时间内机器人在不同控制输入下的运动轨迹，通过优化目标函数计算出最优控制序列，目标函数通常包含轨迹跟踪误差、控制量大小、与障碍物的距离约束以及轨迹平滑度等项。优化后的轨迹具有更平滑的曲率变化，避免了急转弯和剧烈加速度，同时能够主动规避预测到的动态障碍物，最终输出鲁棒盘点路径。鲁棒盘点路径是一系列带有时间戳的位姿点，指导机器人安全、平稳地完成盘点任务。

表1：概率路线图构建与路径搜索过程中的关键参数设置

在一些实施例中，概率路线图的构建可以采用不同的采样策略，例如基于桥测试的采样策略，桥测试采样策略倾向于在狭窄通道区域生成更多采样点，提高路线图在复杂环境中的连通性。在迪杰斯特拉算法搜索最短路径时，可以将距离权重与启发式函数相结合，使用A算法进行搜索，A算法通过引入到终点的估计代价作为启发式信息，能够更快地找到最优路径。可选的，对于传感器数据融合，除了扩展卡尔曼滤波器，还可以使用无迹卡尔曼滤波器或粒子滤波器，无迹卡尔曼滤波器通过无迹变换处理非线性问题，可能在某些强非线性场景下具有更高的估计精度。

可以理解，概率路线图算法通过对连续的高维配置空间进行离散化采样，将复杂的路径规划问题转化为在离散图结构上的搜索问题，大大降低了计算复杂度。迪杰斯特拉算法能够保证在概率路线图上找到从起点到终点的全局最短路径，为机器人运动提供了最优的基准轨迹。扩展卡尔曼滤波器通过融合激光雷达和惯性测量单元的优势，激光雷达提供精确的绝对位置参考但更新频率较低，惯性测量单元提供高频率的相对运动增量但存在漂移误差，实现了鲁棒的位姿跟踪。模型预测控制算法通过在线滚动优化，不仅考虑了当前的跟踪误差，还预测了未来的系统状态和环境变化，使机器人能够主动适应动态环境，生成平滑、安全且可执行的鲁棒盘点路径。

参阅图5，展示了盘点机器人在工作空间中的路径规划与运动轨迹优化结果。图中完整呈现了机器人工作环境的边界范围、障碍物分布以及规划出的最优运动路径。黑色边界线定义了机器人的可移动工作区域，红色多边形区域表示需要避开的障碍物。蓝色散点代表了在配置空间中随机采样的可行节点，这些节点通过概率路线图算法生成，灰色连线显示了节点之间可行的连接关系。绿色粗实线是通过迪杰斯特拉算法搜索得到的最短路径，这条路径从起点到终点避开了所有障碍物，同时保证了运动效率。橙色星形标记标识了路径上的关键转折点，为机器人运动控制提供了精确的导航参考。青色虚线展示了经过模型预测控制算法优化后的平滑轨迹，该轨迹在保证安全性的同时，提供了更加平滑的曲率变化，避免了机器人的急转弯和剧烈加速度变化。这种多层次的路径规划方法确保了机器人在复杂环境中能够安全、高效地完成图书盘点任务。

实施例5在具体实施中，实时捕获盘点场景的立体图像数据通过双目相机系统完成，双目相机系统由两个平行放置的RGB相机组成，以固定帧率同步采集场景的左右视图图像，生成深度图通过立体匹配算法计算视差并转换为距离信息。与识别结果集进行特征匹配过程使用尺度不变特征变换或定向快速旋转brief描述符算法，提取当前立体图像中的关键点特征，并将这些特征与识别结果集中存储的图书特征描述符进行相似度比较，特征匹配采用最近邻搜索策略，设置距离比率阈值来过滤错误匹配，确保只有高置信度的对应点被保留用于状态变化检测。

在具体实施中，应用光流法计算图书运动矢量，光流法基于亮度恒定假设和空间一致性假设，估计连续图像帧之间像素点的运动位移。提取连续图像帧中的角点特征使用Harris角点检测器或FeaturesfromAcceleratedSegmentTest算法，角点特征指图像中在两个垂直方向上都有较大灰度变化的点，这些点对旋转和光照变化具有较好的不变性。使用卢卡斯-卡纳德方法计算特征点运动位移，卢卡斯-卡纳德方法假设在一个小的空间邻域内所有点的运动位移一致，通过最小二乘法求解每个特征点的运动向量。具体地，对于每个角点特征，取其周围一个像素窗口内的所有像素，构建一个线性方程组，通过迭代优化计算该特征点在相邻帧中的位移向量，位移向量包含水平方向和垂直方向的分量。

在具体实施中，比较运动位移与阈值范围，标识异常运动区域，阈值范围基于历史盘点数据统计得出，包括正常图书移动的最大允许位移量。对于每个特征点的运动位移向量，计算其幅值并与预设阈值进行比较，如果位移幅值超过阈值，则将该特征点标记为异常点。异常运动区域通过连接邻近的异常点形成，使用形态学操作如膨胀和腐蚀来填充区域内的空洞，生成连通的异常区域掩码。聚类异常区域生成异常事件列表，聚类算法采用基于密度的空间聚类应用与噪声算法或K均值聚类，将空间位置相近的异常区域合并为一个异常事件，每个异常事件记录其边界框坐标、区域面积和平均运动向量。

在具体实施中，记录异常事件的空间坐标和时间标记，空间坐标从立体图像数据的深度图中提取，通过相机标定参数将图像像素坐标转换到世界坐标系下的三维坐标。时间标记使用系统的高精度时钟，为每个异常事件分配一个时间戳，时间戳格式为国际标准时间，精确到毫秒级。异常事件的相关信息包括事件类型（如图书遗失或误置）、关联的图书标识符、置信度分数和空间位置，这些数据以结构化的形式存储在临时缓存中。集成时序盘点日志中的历史状态变化，时序盘点日志是一个时间序列数据库，记录历次盘点任务的完整结果，包括每次盘点的图书列表、位置信息和时间戳。采用差分算法生成增量盘点报告，差分算法比较当前盘点结果与最近一次历史盘点结果之间的差异，差异包括新增图书、删除图书和位置变更图书。增量盘点报告生成过程首先对齐时间序列上的数据点，通过图书唯一标识符进行匹配，然后计算集合的对称差和位置变化，最终输出一个报告文件，报告文件包含变化摘要、详细变更列表和异常事件分析。

在一些实施例中，立体图像数据的捕获可以使用主动立体视觉系统，主动立体视觉系统结合红外投影仪和红外相机，通过投射结构化光图案来提高立体匹配的精度和鲁棒性。在一些实施例中，特征匹配可以采用基于深度学习的特征描述符，如超级点或局部特征描述符，这些描述符通过神经网络训练获得，对视角变化和遮挡具有更好的适应性。

可选的，光流法计算中可以结合金字塔光流方法，金字塔光流方法通过构建图像金字塔在不同尺度上计算光流，先在大尺度上估计粗略运动，再在小尺度上细化，提高对大位移运动的估计精度。可选的，异常事件聚类时可以引入运动方向一致性约束，只将运动方向相似的异常区域聚类在一起，避免不同运动模式的区域被错误合并。可选的，时序盘点日志的存储可以采用区块链技术，确保日志数据的不可篡改性和可追溯性，增强盘点报告的可信度。异常感知单元通过实时图像分析和历史数据对比，实现了对图书状态变化的连续监控，光流法提供了运动信息的定量测量，使得异常检测不依赖于静态特征匹配，能够捕捉短暂的移动事件。差分算法高效地识别出增量变化，避免了全量对比的计算开销，增量盘点报告为图书馆管理提供了及时的状态更新。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于计算机视觉的图书盘点方法，其特征在于，包括：

通过三维扫描设备捕获图书架的多源感知数据，对所述多源感知数据进行空间对齐和噪声滤波处理，生成标准化点云数据集；

采用多模态融合网络对所述标准化点云数据集中的图书表面特征和标识符信息进行联合提取与解析，输出包含图书唯一标识的识别结果集；

集成书架拓扑模型和所述识别结果集，对图书的朝向角和坐标偏移量进行解算，得到图书位姿数据集；

基于所述图书位姿数据集，应用概率路线图算法生成盘点机器人的运动轨迹，并插入传感器观测数据对轨迹进行在线修正，输出鲁棒盘点路径；

依据所述鲁棒盘点路径，触发异常感知单元对盘点过程中的图书遗失或误置事件进行跟踪，并关联时序盘点日志生成增量盘点报告。

2.根据权利要求1所述的基于计算机视觉的图书盘点方法，其特征在于，所述通过三维扫描设备捕获图书架的多源感知数据，对所述多源感知数据进行空间对齐和噪声滤波处理，生成标准化点云数据集，包括：

采集深度相机和RGB相机的同步数据流，执行时间戳匹配和坐标系变换操作，生成初始融合数据；

对所述初始融合数据应用体素网格下采样算法，降低点云密度，并采用统计离群值移除方法过滤噪声点，生成去噪点云；

通过迭代最近点算法将去噪点云与基准模型进行配准，计算变换矩阵，输出标准化点云数据集。

3.根据权利要求1所述的基于计算机视觉的图书盘点方法，其特征在于，所述采用多模态融合网络对所述标准化点云数据集中的图书表面特征和标识符信息进行联合提取与解析，输出包含图书唯一标识的识别结果集，包括：

构建图卷积网络模型，对点云数据中的节点特征进行聚合，提取图书几何轮廓和纹理特征；

使用注意力机制对几何轮廓和纹理特征进行加权融合，生成增强特征向量；

通过连接主义时序分类解码器对增强特征向量中的序列标签进行预测，识别图书标识符字符流；

合并几何轮廓特征和标识符识别结果，采用特征拼接技术生成图书唯一标识的识别结果集。

4.根据权利要求3所述的基于计算机视觉的图书盘点方法，其特征在于，所述构建图卷积网络模型，对点云数据中的节点特征进行聚合，提取图书几何轮廓和纹理特征，包括：

将点云数据划分为局部区域，为每个区域构建k近邻图结构；

通过图卷积层迭代更新节点特征，聚合邻居节点信息，输出局部特征图；

应用全局最大池化层对局部特征图进行降维，生成图书几何轮廓和纹理特征向量。

5.根据权利要求1所述的基于计算机视觉的图书盘点方法，其特征在于，所述集成书架拓扑模型和所述识别结果集，对图书的朝向角和坐标偏移量进行解算，得到图书位姿数据集，包括：

加载书架的三维网格模型，将识别结果集映射到网格顶点空间；

计算图书重心点与网格顶点的欧氏距离，解算图书相对于基准位置的平移向量；

通过主成分分析算法估计图书点云的主方向，计算朝向角偏移量，输出图书位姿数据集。

6.根据权利要求1所述的基于计算机视觉的图书盘点方法，其特征在于，所述基于所述图书位姿数据集，应用概率路线图算法生成盘点机器人的运动轨迹，并插入传感器观测数据对轨迹进行在线修正，输出鲁棒盘点路径，包括：

将图书位姿数据集离散化为配置空间，随机采样节点并连接可行边，构建概率路线图；

使用迪杰斯特拉算法在概率路线图上搜索最短路径，生成初始运动轨迹；

通过激光雷达和惯性测量单元获取实时位姿数据，采用扩展卡尔曼滤波器对初始运动轨迹进行校正；

结合动态障碍物预测结果，应用模型预测控制算法优化轨迹曲率，输出鲁棒盘点路径。

7.根据权利要求6所述的基于计算机视觉的图书盘点方法，其特征在于，所述使用迪杰斯特拉算法在概率路线图上搜索最短路径，生成初始运动轨迹，包括：

为概率路线图中的每个节点分配距离权重，设置起点和终点节点；

迭代扩展邻近节点，更新最短路径树；

回溯路径节点序列，生成初始运动轨迹。

8.根据权利要求1所述的基于计算机视觉的图书盘点方法，其特征在于，所述依据所述鲁棒盘点路径，触发异常感知单元对盘点过程中的图书遗失或误置事件进行跟踪，并关联时序盘点日志生成增量盘点报告，包括：

实时捕获盘点场景的立体图像数据，与识别结果集进行特征匹配；

应用光流法计算图书运动矢量，检测位置异常事件；

记录异常事件的空间坐标和时间标记；

集成时序盘点日志中的历史状态变化，采用差分算法生成增量盘点报告。

9.根据权利要求8所述的基于计算机视觉的图书盘点方法，其特征在于，所述应用光流法计算图书运动矢量，检测位置异常事件，包括：

提取连续图像帧中的角点特征，使用卢卡斯-卡纳德方法计算特征点运动位移；

比较运动位移与阈值范围，标识异常运动区域；

聚类异常区域生成异常事件列表。

10.一种基于计算机视觉的图书盘点系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时，实现上述权利要求1至9任意一项所述基于计算机视觉的图书盘点方法的步骤。