CN118623865A - 一种基于无结构地图的低成本视觉定位方法和系统 - Google Patents

一种基于无结构地图的低成本视觉定位方法和系统 Download PDF

Info

Publication number
CN118623865A
CN118623865A CN202410719387.XA CN202410719387A CN118623865A CN 118623865 A CN118623865 A CN 118623865A CN 202410719387 A CN202410719387 A CN 202410719387A CN 118623865 A CN118623865 A CN 118623865A
Authority
CN
China
Prior art keywords
map
pose
image
unstructured
absolute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410719387.XA
Other languages
English (en)
Inventor
王成
陈志国
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Zhejiang Shengyi Optical Sensing Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Zhejiang Shengyi Optical Sensing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd, Zhejiang Shengyi Optical Sensing Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202410719387.XA priority Critical patent/CN118623865A/zh
Publication of CN118623865A publication Critical patent/CN118623865A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种基于无结构地图的低成本视觉定位方法、系统、计算机设备和计算机可读存储介质，其基于不包括3D点的无结构地图，无需PNP计算，通过基于深度学习算法的2D图像匹配和相对位姿估计，即可得到视觉定位位姿。由于视觉定位地图中没有3D结构，可以大幅减少服务器的内存占用，且地图的更新和扩展也更加简单高效，同时，由于只需对图像进行加密，而无需对3D点加密，地图数据的隐私保护特更加容易实现。此外，应用本申请体提供的视觉定位方法，在定位效率和成功率方面也有显著提升。

Description

一种基于无结构地图的低成本视觉定位方法和系统
技术领域
本申请涉及视觉定位领域，特别是涉及一种基于无结构地图的低成本视觉定位方法、系统、计算机设备和计算机可读存储介质。
背景技术
SFM(Structure from Motion)是一个关键的技术和方法，它可以从一系列二维图像中恢复出三维场景的结构，在该项技术中，构建视觉地图需要同时恢复3D结构和相机位姿，计算复杂度很高。
常规VPS(Visual Positioning System)技术，通过检索最相似的N张图像，然后匹配最相似的2d像素特征点，并进一步的，需要通过PnP(Project n Points，通过3D-2D的匹配对，计算图像位姿)技术计算6dof(degree of freedom，自由度)位姿，这种常规VPS非常依赖地图的3D结构，导致视觉定位过程的运算复杂度较高，其次，地图的增补和更新需要需要合并3D结构，导致地图运维成本很高.
因此，现有技术暂未解决视觉地图和视觉定位计算成本和运营成本过高的问题。
发明内容
本申请实施例提供了一种基于无结构地图的低成本视觉定位方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中视觉定位计算成本和运营成本过高的问题。
第一方面，本申请实施例提供了一种基于无结构地图的低成本视觉定位方法，其特征在于，所述方法包括：
基于重力对齐的初始建图数据，构建各个图像的位姿对齐至地理坐标系的无结构地图，其中，所述初始建图数据包括多个轨迹，每个轨迹中包括多组元组数据，每个元组数据包括图像以及与图像位姿和GPS定位信息；
接收待定位图像，根据所述待定位图像与所述无结构地图中各个图像帧的相似度，在所述无结构地图中确定候选地图帧；
通过深度学习算法，获取所述待定位图像和各个候选地图帧之间的相对位姿，根据所述相对位姿，以及所述候选地图帧在所述无结构地图中对齐至地理坐标系的位姿，得到与所述待定位图像对应的绝对位姿。
在其中一些实施例中，根据所述待定位图像与所述无结构地图中各个图像帧的相似度，在所述无结构地图中确定候选地图帧包括：
通过深度学习匹配算法，将所述待定位图像与所述无结构地图中的所有地图帧逐个匹配，根据匹配得到的相似度确定所述候选地图帧；
或者，获取所述待定位图像对应的GPS信息，基于所述GPS信息在所述无结构地图中确定目标区域，并选择所述目标区域中的第一候选帧，
通过深度学习匹配算法，获取所述待定位图像与各个所述第一候选帧的相似度，基于所述相似度在所述第一候选帧中确定所述候选地图帧。
在其中一些实施例中，得到与所述待定位图像对应的绝对位姿之后，所述方法还包括：
对每一个绝对位姿，计算其与其他绝对位姿之间的位姿差；
判断每一个绝对位姿对应的各个位姿差是否小于预设误差阈值，若是，根据小于预设误差阈值的位姿差的个数，对该绝对位姿添加投票标记；
将所述投票标记最多的绝对位姿记为最优绝对位姿，并获取与所述最优绝对位姿存在投票关联的关联位姿；
基于所述最优绝对位姿和所述关联位姿构建EM位姿图，通过优化所述EM位姿图，得到优化后的绝对位姿；
基于所述优化后的绝对位姿，返回所述待定位图像对应的视觉定位结果。
在其中一些实施例中，所述方法还包括：
在多个绝对位姿的投票标记相同的情况下，判断所述多个绝对位姿的旋转误差是否不一致，若是，选择旋转误差最小的绝对位姿，作为所述最优绝对位姿，
若否，判断所述多个绝对位姿的平移误差是否不一致，若是，选择平移误差最小的绝对位姿，作为所述最优绝对位姿。
在其中一些实施例中，基于重力对齐的初始建图数据，构建各个图像的位姿对齐至地理坐标系的无结构地图包括：
以所述GPS定位信息为约束信息，对所述初始建图数据进行3dof优化，将各个轨迹的水平方向和航向角对齐，得到相对于地理坐标系的X、Y、pitch、roll和yaw对齐的初始对齐数据；
基于所述初始对齐数据构建海拔图，通过最大生成树优化所述海拔图，将所述初始对齐数据中各个轨迹的海拔值对齐至同一坐标系，得到六自由度均在地理坐标系上对齐的对齐数据，其中，所述对齐数据中的Z轴数据为相对值；
基于所述对齐数据构建所述无结构地图，其中，所述无结构地图包括一系列的图像，以及各个图像对齐在在地理坐标下的六自由度位姿。
在其中一些实施例中，通过最大生成树优化所述海拔图，将所述初始对齐数据中各个轨迹的海拔值对齐，得到对齐数据包括：
对所述海拔图应用最大生成树算法，得到节点间海拔值对应最大生成树模型；
确定所述最大生成树模型的根节点，并基于所述最大生成树模型进行海拔值传播，计算其他节点相对于根节点的海拔差值，其中，所述根节点的海拔值设置为0；
根据各个节点与所述根节点海拔差，对齐所有节点的海拔值，得到六自由度均在地理坐标系上对齐的对齐数据。
在其中一些实施例中，将所述初始对齐数据中各个轨迹的海拔值对齐至同一坐标系，得到对齐数据之后，多条轨迹在X、Y、Z、Pitch、Roll和Yaw六个自由度上对齐到地理坐标系，所述方法还包括：
基于所述视觉回环检测过程中回环成功的图像在不同轨迹下的位姿，确定虚拟参考帧位姿，其中，所述虚拟参考帧位姿的朝向是图像在其经过3dof优化后的原本轨迹下的朝向，所述虚拟参考帧位姿的位置是图像在原本轨迹和所有回环成功的轨迹下的位姿平移量的平均值；
在固定所述虚拟参考帧位姿的前提下，对所述对齐数据进行6dof优化，得到优化后对齐数据；
基于所述优化后对齐数据构建所述无结构地图。
第二方面，本申请实施例提供了一种基于无结构地图的低成本视觉定位系统，所述系统包括：地图构建模块、搜索模块和定位模块，其中：
所述地图构建模块用于，基于重力对齐的初始建图数据，构建各个图像的位姿对齐至地理坐标系的无结构地图，其中，所述初始建图数据包括多个轨迹，每个轨迹中包括图像以及与图像位姿和GPS定位信息；
所述搜索模块用于，接收待定位图像，根据所述待定位图像与所述无结构地图中各个图像帧的相似度，所述无结构地图中确定候选地图帧；
所述定位模块用于，通过深度学习算法，获取所述待定位图像和各个候选地图帧之间的相对位姿，根据所述相对位姿，以及所述候选地图帧在所述无结构地图中对齐至地理坐标系的位姿，得到视觉定位结果。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。
相比于相关技术，本申请实施例提供的一种基于无结构地图的低成本视觉定位方法，基于不包括3D点的无结构地图，无需PNP计算，通过基于深度学习算法的2D图像匹配和相对位姿估计，即可得到视觉定位位姿。由于视觉定位地图中没有3D结构，可以大幅减少服务器的内存占用，且地图的更新和扩展也更加简单高效，同时，由于只需对图像进行加密，而无需对3D点加密，地图数据的隐私保护特更加容易实现；此外，应用本申请体提供的视觉定位方法，在定位效率和成功率方面也有显著提升。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种基于无结构地图的低成本视觉定位方法的流程图；
图2是根据本申请实施例的构建无结构地图的流程图；
图3是根据本申请实施例的一种3dof优化的示意图；
图4是根据本申请实施例中海拔对齐之前的轨迹位姿示意图；
图5是根据本申请实施例的海拔对齐之后的轨迹位姿示意图；
图6是根据本申请实施例的另一种进行6dof优化之后的轨迹位姿的示意图；
图7是根据本申请实施例的一种获取虚拟参考帧的示意图；
图8是根据本申请实施例的在固定虚拟参考帧位姿的前提下进行6dof优化的示意图；
图9是根据本申请实施例的一种基于无结构地图的低成本视觉定位系统的结构框图；
图10是根据本申请实施例的另一种基于无结构地图的低成本视觉定位系统的示意图；
图11是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
视觉定位在AR领域，是常用的定位技术，一般会在某个待体验的大空间(如博物馆，展厅等)，使用手机等设备采集图像，使用SFM(Structure From Motion，运动恢复结构)构建视觉地图后提供VPS(Visual Positioning Service，视觉定位服务)，让用户可以体验此处摆放好的AR内容。
SFM构建视觉地图，需要同时恢复3D结构和相机位姿，计算复杂度很高。常规视觉定位技术，通过在3D地图中检索最相似的N张图像，然后匹配最相似的2d像素特征点，接着做PnP(Project n Points，通过3D-2D的匹配对，计算图像位姿的技术)计算6dof(degreeof freedom，自由度)位姿，因此，常规VPS非常依赖地图的3D结构，但是通过SFM方法构建的3D结构地图，增补和更新比较麻烦，需要合并3D结构，地图运维成本很高；另外，由于每次定位都需要PnP(Project n Points，通过3D-2D的匹配对，导致该类定位方式复杂度较高，定位效率也较差。
有鉴于此，本申请实施例提供了一种基于无结构地图的低成本视觉定位方法，图1是根据本申请实施例的一种基于无结构地图的低成本视觉定位方法的流程图，如图1所示，该流程包括如下步骤：
S101，基于重力对齐的初始建图数据，构建各个图像的位姿对齐至地理坐标系的无结构地图，其中，初始建图数据包括多个轨迹，每个轨迹中包括图像以及与图像位姿和GPS定位信息；
具体的，图2是根据本申请实施例的构建无结构地图的流程图，如图2所示，构建无结构地图包括如下步骤：
S1011，获取通过智能手持移动终端采集的初始建图数据，其中，初始建图数据包括多个轨迹，每个轨迹中包括多个元组数据序列，且各个元组数据序列包括图像对应的重力对齐的位姿和GPS定位信息；
人员使用智能手机，通过部署运行SLAM算法即可低成本且高效便捷的采集上述初始建图数据，具体的，支持运行SLAM算法的程序或应用可以是IOS系统的ARKit，也可以是android系统的ARCore。
进一步的，该初始建图数据包括多个轨迹，每个轨迹中包括多个元组数据序列，且各个元组数据序列包括图像对应的重力对齐的位姿和GPS定位信息；本实施例中，轨迹是由一组连续的图像以及各个图像在局部坐标下的相对位姿组成；
进一步的，由SLAM算法采集到位姿本身即重力对齐，重力对齐是将SLAM世界坐标系下的Z轴转到与重力的方向一致。这意味着物体的翻滚角(Roll)和俯仰角(Pitch)已经相对于重力方向得到了校正，即Pitch(俯仰角)和roll(翻滚角)也已经对齐，但yaw(偏航角或航向角)可能并不对齐。
S1012，以GPS定位信息为约束信息，对初始建图数据进行3dof优化，将各个轨迹的水平方向和航向角对齐，得到相对于地理坐标系下在X、Y、pitch、roll和yaw对齐的初始对齐数据；
可以理解的是，步骤S1011获取的数据分别处于各自的局部坐标系，它们虽然重力对齐(即Pitch和Roll对齐)，但是XY和yaw不对齐，海拔也不对齐；
图3是根据本申请实施例的一种3dof优化的示意图，如图3所示，本步骤中，通过3dof优化模块分别优化多条轨迹的XY平面，使各个轨迹在水平方向对齐到地理坐标系；
具体的，3dof优化过程，可以通过如下公式，将各个轨迹在水平方向上对齐到地理坐标系：
其中，Geo是待优化变量，即对齐到地理坐标系下的图像的Pose，GPS代表GPS定位信息提供的约束，Track是局部坐标系下的位姿，wk是权重系数，用来剔除错误的GPS约束；公式中涉及Pose计算的“-”减号，代表计算两个Pose矩阵之间的差，减号左边的Pose求逆乘以减号右边的Pose；
是XY对齐后的在地理坐标下的位姿与通过SLAM算法采集的轨迹中相对位姿的约束，||GPSk-Geok||2是GPS定位信息与待优化位姿之间的约束，是用来剔除错误的GPS约束，通过Expectation-Maximization算法更新wk。
综合来看，这个优化公式考虑了轨迹之间的相对约束、GPS定位信息和真实地理位姿之间的约束，该公式体现的目标是，在约束条件下，通过最小化误差实现3Dof优化，将不同轨迹在X轴和Y轴以及yaw上对齐。
S1013，基于初始对齐数据构建海拔图，通过最大生成树优化海拔图，将初始对齐数据中各个轨迹的海拔值对齐至同一坐标系，得到六自由度均在地理坐标系上对齐的对齐数据，其中，对齐数据中的Z轴数据为相对值；基于对齐数据，构建无结构地图。
需要说明的是，在该步骤之前，还需执行一些预处理步骤，以便为构建海拔图提供基础信息，具体的，包括如下步骤：
Step1，对初始对齐数据中的各条轨迹，行进行图像的特征点匹配和三角化，得到各条轨迹在XY空间的三维点云信息；
Step2，基于三维点云信息，对各条轨迹进行视觉回环检测，得到每条轨迹相对于，与其在XY空间上存在重叠匹配的其他目标轨迹的相对位姿变换；
Step3，基于相对位姿变换，得到每条轨迹相对于其他目标轨迹之间的海拔差。
进一步的，由于S1011中采集的原始数据本身重力对齐，即Pitch和Roll已经对齐，经过步骤S1012在GPS约束下进行3Dof优化之后，各个轨迹在X和Y方向以及Yaw上对齐；此时，原始数据中各条轨迹已经在X、Y和Pitch、Roll和Yaw五个自由度上对齐，本步骤中，继续通过构建海拔图，将各个轨迹又进一步在Z轴上对齐至同一坐标系；
具体的，构建海拔图包括如下步骤：
Step1，获取回环检测过程中，各个轨迹回环成功的数量；
其中，在回环检测过程中，会识别轨迹之间的重叠和相似性，从而发现回环，若回环成功都意味着两个轨迹之间存在重叠或相似性。而具体的每个轨迹回环成功的数量可能不同，本步骤中，对每个轨迹记录回环成功的数量。
需要说明的是，本领域通用手段中，视觉回环检测本身输出的是6dof的位姿；在本实施例中，因为所有轨迹都是重力对齐的，且本步骤的目的着重解决海拔坐标系对齐，因此，本实施例中回环检测的目标是发现与任意一个轨迹仅在XY空间上存在重叠匹配的其他目标轨迹，而忽略Z的空间匹配；并进一步的从6dof的位姿里面获取z分量，利用Z分量用来计算存在回环的轨迹之间的海拔差。
Step2，以各个轨迹的海拔值为节点，以任一两个存在回环的轨迹之间的海拔差为边，以海拔差对应的回环成功的数量为边的权重，构建海拔图。
本实施例中，海拔图也可以称为Zgraph；具体的，将每个轨迹的海拔值作为节点，对于任意两个存在回环的轨迹，如果轨迹j和轨迹k之间有n次回环成功，则将作为边，其权重设置为n。
进一步的，对海拔图中应用最大生成树算法，得到最大生成树模型；需要说明的是，最大生成树是一个树型结构，本实施例中，其相当于是给定海拔图的子图，其包含了海拔图中的所有轨迹节点，并且所有边的权重之和最大。
得到最大生成树模型之后，可以利用最大生成树模型来实现不同轨迹的海拔值对齐，这个步骤通过将每个节点的海拔值沿着最大生成树的路径进行传播来实现，具体包括：
Step1，选择根节点：首先，选择最大生成树的一个节点作为根节点。在本实施例中，选择度数最高(即与该节点相连的边的数量最多)的节点作为根节点，以便在后续的步骤中更容易传播海拔值，减少对齐过程中的运算量；
Step2，海拔值传播：从根节点开始，沿着最大生成树的边依次传播海拔值；对于每条边，可以计算两个相邻节点之间的海拔差，并将这个海拔差应用于子节点的海拔值上，持续执行该步骤，可以沿着最大生成树的路径逐步传播海拔值，直到到达叶子节点为止。
Step3，对齐轨迹海拔值：利用上述步骤最大生成树进行海拔值传播路径，对于每个轨迹，可以通过查找其对应的节点，并沿着从根节点到该节点的路径，可以累积获取每个节点与根节点的海拔差；最后，根据上述各个节点相对于根节点的海拔差，将各个轨迹在Z轴方向上对齐。
本实施例中，通过构建最大生成树可以找到一个合适的参考轨迹作为根节点，进一步的，可以对其他轨迹以根节点(参考轨迹)为基准进行海拔传播继而实现海拔对齐，将所有轨迹的海拔值对齐到参考轨迹，可以得到一个相对一致的海拔信息。
此外，在选择参考轨迹时，只需要比较存在交集和回环的轨迹之间的特征，而不需要对所有轨迹进行比较，这样可以大大减少比较的次数，从而降低了计算量。
具体的，海拔图优化的过程可以通过如下公式实现：
其中，待优化的变量为M个海拔值Z，N表示这些海拔值Z中一共有N条边，i和j表示一条边由Zi和Zj组成，此外，优化时会固定第一个海拔Z1。
图4是根据本申请实施例中海拔对齐之前的轨迹位姿示意图，图5是根据本申请实施例的海拔对齐之后的轨迹位姿示意图。
在一可选的实施例中，得到六自由度均在地理坐标系上对齐的对齐数据之后，由于因为GPS定位信息的固有绝对误差，以及每条轨迹的累积相对误差，导致同一张图像在不同轨迹之间的位姿存在差异，该种差异仍然会影响建图结果的准确性。
考虑到上述问题，本实施例中通过计算虚拟参考帧，优化不同轨迹之间的误差，具体的，包括如下步骤：
Step1，基于视觉回环检测过程中回环成功的图像在不同轨迹下的位姿，确定虚拟参考帧位姿，其中，虚拟参考帧位姿的朝向(即Pitch、Roll和Yaw上的旋转量)是图像在其经过3dof优化后的原本轨迹下的朝向，虚拟参考帧位姿的位置(即X、Y和Z轴上的平移量)是图像在原本轨迹和所有回环成功的轨迹下的位姿平移量的平均值；
Step2，在固定虚拟参考帧位姿的前提下，对对齐数据进行6dof优化，得到优化后对齐数据；基于优化后对齐数得到无结构地图；图6是根据本申请实施例的另一种进行6dof优化之后的轨迹位姿的示意图。
需要说明的是，本实施例中包括地理坐标系的观测只有GPS定位信息提供的X和Y坐标，以及轨迹局部坐标系本身对齐重力；即相当于Pitch和Roll已知且在原始数据中已经对齐，而yaw角度则是通过GPS约束，经过二次运算生成的数据。
而ZGraph海拔对齐模块，其优化目的是计算多条轨迹之间相对海拔的最小二乘结果；绝对的海拔值在本申请方案中不可观测，本申请中的海拔值是由图像回环检测得到的6dof相对位姿中的相对高度差；
由于计算的是相对海拔值，且优化6dof位姿时，只提供X、Y和Z也可进一步优化位姿的旋转部分；因此，本方案在计算虚拟参考帧位姿时，只考虑X、Y和Z坐标，基于translation进行简单的向量平均即可；无需考虑旋转量yaw，计算过程复杂程度也随之降低。
在上述步骤完成之后，此时参考帧计算的就是x y z，由于仅涉及到位移量而无需考虑旋转角之间的矩阵运算，该种情况下，虚拟参考帧位姿的计算就可以简化为对X、Y和Z三个方向上数值求平均值，同样可以保证参考帧位姿运算结果的正确性及合法性。
经过上述步骤位姿对齐和基于虚拟参考帧的位姿优化之后，已经得到的在六个自由度上对齐且具备一定精度的对齐数据；可以理解，得到的对齐数据中，包括了一些列图像及图像对应的位于地理坐标下的位姿；基于该对齐数据构建的无结构地图中，包括多个图像帧，且每个图像帧均具备一个几何标签，该几何标签即图像对齐在地理坐标下6dof位姿。
图7是根据本申请实施例的一种获取虚拟参考帧的示意图，图8是根据本申请实施例的在固定虚拟参考帧位姿的前提下进行6dof优化的示意图。
通过上述步骤S1011至S1013，利用智能移动终端运行SALM算法采集重力对齐的Pitch和Roll原始建图数据，进一步的，在GPS信息的约束下进行3Dof优化，将原始建图数据进一步在X和Y方向以及Yaw对齐，得到初始对齐数据；最后，基于在X、Y、Pitch、Roll和yaw对齐在地理坐标系的初始对齐数据，通过构建海拔图实现各条轨迹在Z轴方向上的对齐，利用六自由度均对齐在地理坐标系下的的数据，得到无结构地图。该地图无需执行2D点和3D点之间的匹配运算，其计算量较轻，且地图中并不包含3D结构。
S102，接收待定位图像，根据待定位图像与无结构地图中各个图像帧的相似度，在无结构地图中确定候选地图帧；
可以理解，该待定位图像同样应该是上述无结构地图对应的线下场景的图像，进一步的，基于该待定位图像确定候选地图帧包括如下两种情形：
1)在地铁站、展馆等室内空间；
由于室内空间下的GPS信息通常精度较差，或者无法获取GPS信号，因此，可以直接通过深度学习匹配算法，对待定位图像提取图像全局描述子，并将全局描述子与无结构地图中的所有地图帧的全局描述子逐个匹配，根据匹配得到的相似度确定候选地图帧；
2)在景区、公园等室外开阔场景；
由于该类场景下，由于GPS信号具备较好的精度，可选的，可以获取获取待定位图像对应的GPS信息(即拍摄图像时手机采集的定位信息)；
首先，基于GPS信息在无结构地图中确定目标区域，相当于执行了一处粗筛选，以缩小后续图像匹配的范围；进一步的，在该范围内选择第一候选帧用于后续图像相似度匹配，也可以减少运算量和提升运算效率；可选的，可以根据待定位图像的GPS信息，在无结构地图搜索半径12m范围内的所有图像，得到上述第一候选帧；
进一步的，再通过深度学习匹配算法，获取待定位图像与各个第一候选帧的相似度，基于相似度在第一候选帧中确定候选地图帧。
具体的，可以设置一定的阈值，在图像候选帧中搜索最多N个图像候选帧，该图像候选帧，需要满足与待定位图像的相似度得分大于该阈值.如果没有搜索到任何一张图像，返回定位失败。
需要说明的是，该步骤S102中使用的用于提取图像全局描述子并进行相似度匹配的深度学习算法，优选为MixVPR算法，该MixVPR算通过创新的特征混合方法，够更有效地捕获图像中的关键信息；
此外，也可以可以使用HFNet等其他深度学习算法，提取图像全局描述子以及进行相似度匹配。
S103，通过深度学习算法，获取待定位图像和各个候选地图帧之间的相对位姿，根据相对位姿以及候选地图帧在无结构地图中对齐至地理坐标系的位姿，得到与待定位图像对应的绝对位姿。
本实施例中，该步骤可以通过基于GRelPose(Generalizable End-to-EndRelative Camera Pose Regression)深度学习框架的算法，估计上述相队位姿；
在一示例性实施例中，获取相对位姿包括如下步骤：
Step1，输入图像：系统接受一幅定位图像I和N个候选帧{F1，F2，...，FN}；
Step2，特征提取：使用深度卷积网络对每一张图像I和Fi提取高维特征向量vI和vFi；
Step3，特征匹配与融合：将定位图像和候选帧的特征进行匹配和融合，生成融合特征vI，Fi；
Step4，位姿回归：输入融合特征vI，Fi到回归网络，预测出相对位姿pi，其中，pi＝(Ri，ti)，R_iRi为旋转矩阵，t_iti为平移向量；
Step5，输出结果：最终输出定位图像与每个候选帧之间的N个相对位姿{p1，p2，...，pN}。
可以理解，通过上述步骤，利用GrelPose的深度学习方法，能够提供高精度的相对位姿估计，位姿估计流程，从特征提取到位姿回归都是端到端训练，减少了误差累积，且算法具有良好的泛化能力，能够适应不同场景和数据集。
需要说明的是，基于GrelPose框架深度学习框架的算法仅为本申请中估计相对位姿的一种可选方式，此外，还可使用如下方式估计相对位姿：
1)Map-free Visual Relocalization：Metric Pose Relative to a SingleImage、
2)Visual Camera Re-LocalizationUsing Graph Neural Networks andRelative Pose Supervision
3)Insights on Evaluation of Camera Re-localizationUsing Relative PoseRegression
进一步的，得到待定位图像与各个候选地图帧之间的相对位姿T_loc_to_camera_n之后，利用该相对位姿，结合各个候选地图帧在无结构地图中的对齐至地理坐标下下的绝对位姿T_camera_n_to_world，即可计算定位图像到定位地图之间的绝对位姿，即T_loc(n)_to_world＝T_loc_to_camera_n*T_camera_n_to_world；
进一步的，考虑到基于相似度匹配得到的候选地图帧中可能存在错误帧，若直接上述步骤得到的绝对位姿可能精度并不会太高；本实施例中，在上述步骤之后，进一步通过构建EM位姿图对该绝对位姿进行优化，将优化后的位姿返回至发送定位需求的终端设备，具体的，包括如下步骤：
S1031，从多个位姿中过滤异常位姿；
其中，基于多个候选地图帧，经过上述步骤运算得到多组绝对位姿；本实施例中，可以通过设置一定的阈值和投票机制，过滤其中明显存在异常的位姿，具体的，包括如下步骤：
Step1，对每一个绝对位姿，计算其与其他绝对位姿之间的位姿差，判断每一个绝对位姿对应的各个位姿差是否小于预设误差阈值，若是，根据小于预设误差阈值的位姿差的个数，对该绝对位姿添加投票标记；
Step2，将投票标记最多的绝对位姿记为最优绝对位姿，并获取与最优绝对位姿存在投票关联的关联位姿；
其中，如果有多个得票一样的绝对位姿，选择旋转误差最小的位姿为最优绝对位姿；进一步的，如果有多个得票一样的绝对位姿，且旋转误差一样，选择平移误差最小的位姿作为最优绝对位姿；
该过程的具体示例可以描述为：
1，计算位姿差并投票：
1.1，对于每一个绝对位姿Tloc(n)_to_world(其中n从1到NN)，计算Tloc(n)_to_world与其他所有Tloc(i)_to_world(其中i≠n)之间的位姿差。
步骤1.2，对于每一对绝对位姿Tloc(n)_to_world和Tloc(i)_to_world，计算平移误差和旋转误差，其中：
平移误差：计算两个位姿的平移部分(即位置部分)之间的欧氏距离。如果该距离小于平移阈值\text{translation\_threshold}translation_threshold(例如2米)，则认为平移误差在可接受范围内。
旋转误差：计算两个位姿的旋转部分(即方向部分)之间的角度差。如果该角度差小于旋转阈值\text{rotation\_threshold}rotation_threshold(例如5度)，则认为旋转误差在可接受范围内。
1.3，如果Tloc(n)_to_world与Tloc(i)_to_world的平移误差和旋转误差均在可接受范围内，则为Tloc(n)_to_world投一票；
2，选择得票最多的绝对位姿以及与该绝对位姿存在投票关联的位姿：
2.1，统计每一个Tloc(n)_to_world的得票数，即它与其他位姿变换相比符合平移和旋转误差要求的次数；
2.2，选择得票最多的Tloc_to_world作为该模块的输出位姿，即上述最优绝对位姿；
2.3，将为这个最终输出的最优绝对位姿投票的所有Tloc_to_world作为内点(即符合条件的位姿变换)；
通过上述过程，能够过滤掉异常的位姿，选择出最符合整体一致性的位姿变换作为最优绝对位姿，以及与该最优绝对位姿存在投票关联的相关位姿，该最优绝对位姿可以作为位姿图优化的初始值，从而使优化过程更快收敛。
S1032，基于最优绝对位姿以及与该最优绝对位姿存在投票关联的位姿，构建EM位姿图，利用该EM位姿图优化该绝对位姿，具体的，包括如下步骤：
Step1，以各个绝对位姿为节点，以绝对位姿之间的相对关系为边，构建EM位姿图；
Step2，初始化参数，使用上述步骤S1031过滤输出的位姿，作为Opted的初始化位姿；并初始化去噪参数，可选的，初始化去噪的权重参数w_k＝1.0；
Step3，期望步骤：根据当前位姿图的估计结果，评估每个边的匹配质量，确定其对整体优化的贡献度；基于计算的后验概率，对每个位姿和边的噪声进行建模，更新去噪参数；
Step4，定义优化目标并执行优化，目标是最小化整个图中所有边的误差，即最小化所有相对位姿约束的残差和，残差可以表示为实际观测的相对位姿和图中节点估计位姿之间的差异；
Step5，迭代优化：重复期望步骤和最大化步骤之间的迭代，逐步优化位姿图。在每次迭代中，重新计算后验概率和目标函数，逐步逼近全局最优解。当满足收敛条件时，停止迭代，该状态下的位姿即为最终优化后的位姿。
具体的，在本实施例中，优化过程可以通过如下公式实现：
其中，Loc_m是第m帧的视觉定位输出的位姿，Opted是根据M帧视觉定位的约束进行优化输出的定位位姿，opted-1*Locm*Identity表示视觉定位输出的位姿和优优化后输出的定位位姿之间的约束，wk表示各个位姿组成的边提供约束的权重。
通过上述步骤S1031和S1032，在得到绝对位姿之后，考虑存在错误帧导致位姿可能并不准确的问题，进一步通过构建EM位姿图对该绝对位姿进行优化，相比较于传统优化方法，可以去除位姿中的噪声，进一步提升定位结果的准确性。
通过上述步骤S101至S103提供的视觉定位流程，基于不包括3D点对齐在地理坐标系下的无结构地图，无需PNP计算，通过基于深度学习算法的2D图像匹配和相对位姿估计，即可得到视觉定位位姿。由于视觉定位地图中没有3D结构，可以大幅减少服务器的内存占用，且地图的更新和扩展也更加简单高效，同时，由于只需对图像进行加密，而无需对3D点加密，地图数据的隐私保护特更加容易实现。此外，应用本申请体提供的视觉定位方法，在定位效率和成功率方面也有显著提升。
本实施例还提供了一种基于基于无结构地图的低成本视觉定位系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本申请实施例的一种基于无结构地图的低成本视觉定位系统的结构框图，该系统包括：地图构建模块90、搜索模块91和定位模块92，其中：
地图构建模块90用于，基于重力对齐的初始建图数据，构建各个图像的位姿对齐至地理坐标系的无结构地图，其中，初始建图数据包括多个轨迹，每个轨迹中包括图像以及与图像位姿和GPS定位信息；
搜索模块91用于，接收待定位图像，根据待定位图像与无结构地图中各个图像帧的相似度，无结构地图中确定候选地图帧；
定位模块92用于，通过深度学习算法，获取待定位图像和各个候选地图帧之间的相对位姿，根据相对位姿，以及候选地图帧在无结构地图中对齐至地理坐标系的位姿，得到视觉定位结果。
通过上述系统，基于不包括3D点对齐在地理坐标系下的无结构地图，无需PNP计算，通过基于深度学习算法的2D图像匹配和相对位姿估计，即可得到视觉定位位姿。由于视觉定位地图中没有3D结构，可以大幅减少服务器的内存占用，且地图的更新和扩展也更加简单高效，同时，由于只需对图像进行加密，而无需对3D点加密，地图数据的隐私保护特更加容易实现。此外，应用本申请体提供的视觉定位方法，在定位效率和成功率方面也有显著提升。
此外，图10是根据本申请实施例的另一种基于无结构地图的低成本视觉定位系统的示意图。
在一个实施例中，图11是根据本申请实施例的电子设备的内部结构示意图，如图11所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图11所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于无结构地图的低成本视觉定位方法，数据库用于存储数据。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于无结构地图的低成本视觉定位方法，其特征在于，所述方法包括：
基于重力对齐的初始建图数据，构建各个图像的位姿对齐至地理坐标系的无结构地图，其中，所述初始建图数据包括多个轨迹，每个轨迹中包括多组元组数据，每个元组数据包括图像以及与图像位姿和GPS定位信息；
接收待定位图像，根据所述待定位图像与所述无结构地图中各个图像帧的相似度，在所述无结构地图中确定候选地图帧；
通过深度学习算法，获取所述待定位图像和各个候选地图帧之间的相对位姿，根据所述相对位姿，以及所述候选地图帧在所述无结构地图中对齐至地理坐标系的位姿，得到与所述待定位图像对应的绝对位姿。
2.根据权利要求1所述的方法，其特征在于，根据所述待定位图像与所述无结构地图中各个图像帧的相似度，在所述无结构地图中确定候选地图帧包括：
通过深度学习匹配算法，将所述待定位图像与所述无结构地图中的所有地图帧逐个匹配，根据匹配得到的相似度确定所述候选地图帧；
或者，获取所述待定位图像对应的GPS信息，基于所述GPS信息在所述无结构地图中确定目标区域，并选择所述目标区域中的第一候选帧，
通过深度学习匹配算法，获取所述待定位图像与各个所述第一候选帧的相似度，基于所述相似度在所述第一候选帧中确定所述候选地图帧。
3.根据权利要求1所述的方法，其特征在于，得到与所述待定位图像对应的绝对位姿之后，所述方法还包括：
对每一个绝对位姿，计算其与其他绝对位姿之间的位姿差；
判断每一个绝对位姿对应的各个位姿差是否小于预设误差阈值，若是，根据小于预设误差阈值的位姿差的个数，对该绝对位姿添加投票标记；
将所述投票标记最多的绝对位姿记为最优绝对位姿，并获取与所述最优绝对位姿存在投票关联的关联位姿；
基于所述最优绝对位姿和所述关联位姿构建EM位姿图，通过优化所述EM位姿图，得到优化后的绝对位姿；
基于所述优化后的绝对位姿，返回所述待定位图像对应的视觉定位结果。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在多个绝对位姿的投票标记相同的情况下，判断所述多个绝对位姿的旋转误差是否不一致，若是，选择旋转误差最小的绝对位姿，作为所述最优绝对位姿，
若否，判断所述多个绝对位姿的平移误差是否不一致，若是，选择平移误差最小的绝对位姿，作为所述最优绝对位姿。
5.根据权利要求1所述的方法，其特征在于，基于重力对齐的初始建图数据，构建各个图像的位姿对齐至地理坐标系的无结构地图包括：
以所述GPS定位信息为约束信息，对所述初始建图数据进行3dof优化，将各个轨迹的水平方向和航向角对齐，得到相对于地理坐标系的X、Y、pitch、roll和yaw对齐的初始对齐数据；
基于所述初始对齐数据构建海拔图，通过最大生成树优化所述海拔图，将所述初始对齐数据中各个轨迹的海拔值对齐至同一坐标系，得到六自由度均在地理坐标系上对齐的对齐数据，其中，所述对齐数据中的Z轴数据为相对值；
基于所述对齐数据构建所述无结构地图，其中，所述无结构地图包括一系列的图像，以及各个图像对齐在在地理坐标下的六自由度位姿。
6.根据权利要求5所述的方法，其特征在于，通过最大生成树优化所述海拔图，将所述初始对齐数据中各个轨迹的海拔值对齐，得到对齐数据包括：
对所述海拔图应用最大生成树算法，得到节点间海拔值对应最大生成树模型；
确定所述最大生成树模型的根节点，并基于所述最大生成树模型进行海拔值传播，计算其他节点相对于根节点的海拔差值，其中，所述根节点的海拔值设置为0；
根据各个节点与所述根节点海拔差，对齐所有节点的海拔值，得到六自由度均在地理坐标系上对齐的对齐数据。
7.根据权利要求6所述的方法，其特征在于，将所述初始对齐数据中各个轨迹的海拔值对齐至同一坐标系，得到对齐数据之后，多条轨迹在X、Y、Z、Pitch、Roll和Yaw六个自由度上对齐到地理坐标系，所述方法还包括：
基于所述视觉回环检测过程中回环成功的图像在不同轨迹下的位姿，确定虚拟参考帧位姿，其中，所述虚拟参考帧位姿的朝向是图像在其经过3dof优化后的原本轨迹下的朝向，所述虚拟参考帧位姿的位置是图像在原本轨迹和所有回环成功的轨迹下的位姿平移量的平均值；
在固定所述虚拟参考帧位姿的前提下，对所述对齐数据进行6dof优化，得到优化后对齐数据；
基于所述优化后对齐数据构建所述无结构地图。
8.一种基于无结构地图的低成本视觉定位系统，其特征在于，所述系统包括：地图构建模块、搜索模块和定位模块，其中：
所述地图构建模块用于，基于重力对齐的初始建图数据，构建各个图像的位姿对齐至地理坐标系的无结构地图，其中，所述初始建图数据包括多个轨迹，每个轨迹中包括图像以及与图像位姿和GPS定位信息；
所述搜索模块用于，接收待定位图像，根据所述待定位图像与所述无结构地图中各个图像帧的相似度，所述无结构地图中确定候选地图帧；
所述定位模块用于，通过深度学习算法，获取所述待定位图像和各个候选地图帧之间的相对位姿，根据所述相对位姿，以及所述候选地图帧在所述无结构地图中对齐至地理坐标系的位姿，得到视觉定位结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202410719387.XA 2024-06-04 2024-06-04 一种基于无结构地图的低成本视觉定位方法和系统 Pending CN118623865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410719387.XA CN118623865A (zh) 2024-06-04 2024-06-04 一种基于无结构地图的低成本视觉定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410719387.XA CN118623865A (zh) 2024-06-04 2024-06-04 一种基于无结构地图的低成本视觉定位方法和系统

Publications (1)

Publication Number Publication Date
CN118623865A true CN118623865A (zh) 2024-09-10

Family

ID=92597205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410719387.XA Pending CN118623865A (zh) 2024-06-04 2024-06-04 一种基于无结构地图的低成本视觉定位方法和系统

Country Status (1)

Country Link
CN (1) CN118623865A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法
CN113963188A (zh) * 2021-09-16 2022-01-21 杭州易现先进科技有限公司 一种结合地图信息视觉定位的方法、系统、装置和介质
WO2022083038A1 (zh) * 2020-10-23 2022-04-28 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备和计算机可读存储介质
CN114898084A (zh) * 2022-04-18 2022-08-12 荣耀终端有限公司 视觉定位方法、设备和存储介质
WO2023083256A1 (zh) * 2021-11-15 2023-05-19 杭州海康威视数字技术股份有限公司 位姿显示方法、装置及系统、服务器以及存储介质
CN116228862A (zh) * 2023-02-14 2023-06-06 杭州易现先进科技有限公司 结合大空间视觉定位的ar眼镜协同系统
CN116242374A (zh) * 2023-04-27 2023-06-09 厦门大学 一种基于直接法的多传感器融合的slam定位方法
WO2024037299A1 (zh) * 2022-08-17 2024-02-22 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法
WO2022083038A1 (zh) * 2020-10-23 2022-04-28 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备和计算机可读存储介质
CN113963188A (zh) * 2021-09-16 2022-01-21 杭州易现先进科技有限公司 一种结合地图信息视觉定位的方法、系统、装置和介质
WO2023083256A1 (zh) * 2021-11-15 2023-05-19 杭州海康威视数字技术股份有限公司 位姿显示方法、装置及系统、服务器以及存储介质
CN114898084A (zh) * 2022-04-18 2022-08-12 荣耀终端有限公司 视觉定位方法、设备和存储介质
WO2024037299A1 (zh) * 2022-08-17 2024-02-22 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN116228862A (zh) * 2023-02-14 2023-06-06 杭州易现先进科技有限公司 结合大空间视觉定位的ar眼镜协同系统
CN116242374A (zh) * 2023-04-27 2023-06-09 厦门大学 一种基于直接法的多传感器融合的slam定位方法

Similar Documents

Publication Publication Date Title
Lentsch et al. Slicematch: Geometry-guided aggregation for cross-view pose estimation
Naseer et al. Deep regression for monocular camera-based 6-dof global localization in outdoor environments
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
US11313684B2 (en) Collaborative navigation and mapping
CN111126304A (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
CN107967457A (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
US11631195B2 (en) Indoor positioning system and indoor positioning method
EP3274964B1 (en) Automatic connection of images using visual features
CN110969648A (zh) 一种基于点云序列数据的3d目标跟踪方法及系统
CN103858148A (zh) 用于移动设备的平面映射和跟踪
Zhao et al. RTSfM: real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
CN112150358A (zh) 一种抗大几何畸变的影像特征匹配方法
Bao et al. Robust tightly-coupled visual-inertial odometry with pre-built maps in high latency situations
Civera et al. Structure from motion using the extended Kalman filter
CN114943766A (zh) 重定位方法、装置、电子设备及计算机可读存储介质
CN112700546B (zh) 一种室外大规模三维地图的构建系统与方法
CN118570379A (zh) 设施三维重建的方法、装置、设备、介质及产品
CN119860766B (zh) 一种视觉融合定位导航方法及装置
CN116433845A (zh) 一种基于多无人机协同的陌生环境快速建模方法及系统
CN119810443B (zh) 一种基于边缘优化的建筑物实例分割与规则化方法和系统
CN115439534B (zh) 图像的特征点匹配方法、设备、介质及程序产品
CN118623865A (zh) 一种基于无结构地图的低成本视觉定位方法和系统
CN118823255B (zh) 基于智能手持移动终端的低成本三维建图方法和系统
CN117057086A (zh) 基于目标识别与模型匹配的三维重建方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination