CN115249347A - 映射车辆环境 - Google Patents

映射车辆环境 Download PDF

Info

Publication number
CN115249347A
CN115249347A CN202210317122.8A CN202210317122A CN115249347A CN 115249347 A CN115249347 A CN 115249347A CN 202210317122 A CN202210317122 A CN 202210317122A CN 115249347 A CN115249347 A CN 115249347A
Authority
CN
China
Prior art keywords
information
occupancy
grid
semantic
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210317122.8A
Other languages
English (en)
Inventor
K·科格特
J·波尔贝斯基
M·罗泽维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN115249347A publication Critical patent/CN115249347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及映射车辆环境。公开了映射车辆的车辆环境的计算机实现方法和装置。该方法包括：确定表示车辆环境的占据栅格，该占据栅格包括第一组对象检测结果的占据概率信息，其中，占据概率信息是根据从第一传感器系统获得的第一定位信息确定的，第一定位信息指示第一组对象检测结果相对于车辆的一个或更多个位置；从一个或更多个语义信息源获得语义信息以及与语义信息相关联的第二定位信息，语义信息包括第二组对象检测结果的对象分类信息，第二定位系统指示第二组对象检测结果相对于车辆的一个或更多个位置；以及将第二组对象检测结果的对象分类信息与占据栅格的占据概率信息进行组合，以生成分类占据栅格。

Description

映射车辆环境
技术领域
本公开涉及映射车辆的车辆环境。
背景技术
随着目前完全自主和/或配备ADAS(高级驾驶员辅助系统)的机动车辆的发展，已经开发了基于来自车辆的一个或更多个传感器的大量数据来可靠估计车辆环境的许多技术。一种广泛使用的方法包括使用一个或更多个传感器检测车辆环境中的对象或障碍物，然后将来自传感器的原始数据转换为包含与相应占据概率相关联的单元的占据栅格。使用合适的传感器模型(例如逆传感器模型)计算各个单元的占据概率，该模型将与检测到的对象和附加信息有关的数据转换为占据概率。
还可以获得与车辆环境中的对象分类有关的语义信息。例如，摄像头可以获得车辆前方区域的图像。如此获得的图像然后可以经历分割分析以确定摄像头系统的视场中的一个或更多个对象的类别。也可以结合从映射应用接收的信息以提供进一步的语义信息。然而，此类分类对象相对于车辆的定位可能具有高度的不确定性。
发明内容
本公开的第一方面提供了一种映射车辆的车辆环境的计算机实现方法，该方法包括以下步骤：确定表示所述车辆环境的占据栅格，所述占据栅格包括第一组对象检测结果的占据概率信息，其中，所述占据概率信息是根据从第一传感器系统获得的第一定位信息确定的，所述第一定位信息指示所述第一组对象检测结果相对于所述车辆的一个或更多个位置；从一个或更多个语义信息源获得语义信息以及与所述语义信息相关联的第二定位信息，所述语义信息包括第二组对象检测结果的对象分类信息，所述第二定位系统指示所述第二组对象检测结果相对于所述车辆的一个或更多个位置；以及将所述第二组对象检测结果的所述对象分类信息与所述占据栅格的所述占据概率信息进行组合，以生成分类占据栅格。
该方法还可以包括以下步骤：使用所述语义信息和所述第二定位信息来确定表示车辆环境的语义栅格，所述语义栅格包括一个或更多个对象分类类型的证据值的栅格。
确定语义栅格的步骤可以包括：将所述第二组对象检测结果中的对象检测结果投影到表示所述车辆环境的栅格上；基于所述第二组对象检测结果中的所述对象检测结果的所述第二定位信息的不确定度值确定所述对象检测结果的对象空间区域；以及基于所述对象空间区域，将一个或更多个分类栅格的单元指派为被所述第二组对象检测结果中的所述对象检测结果占据，各个分类与不同的分类类型有关。
该方法还可以包括以下步骤：通过对语义栅格的一个或更多个单元的证据值应用pignistic变换来计算该单元的置信度值；以及将所述语义栅格的一个或更多个单元的置信度值与所述占据栅格的一个或更多个对应单元的占据概率值进行组合。
将所述语义栅格的一个或更多个单元的置信度值与所述占据栅格的一个或更多个对应单元的占据概率值进行组合的步骤可以包括：将所述语义栅格的所述一个或更多个单元的置信度值与所述占据栅格的一个或更多个对应单元的占据概率值相乘。
将所述占据概率信息与所述语义证据信息进行组合的步骤可以包括以下步骤：选择所述第二组对象检测结果中具有对象分类的对象检测结果；使用所述第二定位信息来识别所述第二组对象检测结果中的所述对象检测结果的临时位置；将与所述第一组对象检测结果中的对象检测结果相对应的占据栅格的占据区域识别为接近于所述第二组对象检测结果中的所述对象检测结果的所述临时位置；以及将所述第二组对象检测结果中的所述对象检测结果的对象分类指派给与所述第一组对象检测结果中的所述对象检测结果相对应的占据栅格的所述占据区域。
识别占据栅格的占据区域的步骤可以包括以下步骤：将所述第二组对象检测结果中的所述对象检测结果的所述临时位置与所述占据栅格的所述占据区域之间的距离与阈值距离进行比较；以及如果所述距离小于或等于所述阈值距离，则将所述对象分类指派给所述占据栅格的所述占据区域的单元。
确定语义栅格的步骤可以包括：使用利用Dempster-Shafer框架的算法，在所述语义栅格的各个单元中累积语义证据值。
所述第一传感器系统可以包括主动定位传感器系统，并且所述一个或更多个语义信息源可以包括被动定位传感器系统。
所述第一传感器系统可以是雷达系统、激光雷达系统和/或超声系统。
所述一个或更多个语义信息源可以包括摄像头系统，所述摄像头系统被配置为拍摄所述车辆环境的一个或更多个图像并从所拍摄的一个或更多个图像中提取所述语义信息和所述第二定位信息。
本公开的第二方面提供了一种存储计算机可读指令的计算机可读介质，所述计算机可读指令在由处理器执行时使所述计算机执行第一方面的方法。
本公开的第三方面提供了一种计算装置，所述计算装置包括存储器和控制器，所述控制器被配置为：确定表示车辆环境的占据栅格，所述占据栅格包括第一组对象检测结果的占据概率信息，其中，所述占据概率信息是根据从第一传感器系统获得的第一定位信息确定的，所述第一定位信息指示所述第一组对象检测结果相对于所述车辆的一个或更多个位置；从一个或更多个语义信息源获得语义信息以及与所述语义信息相关联的第二定位信息，所述语义信息包括第二组对象检测结果的对象分类信息，所述第二定位信息从第二传感器系统获得，所述第二定位系统指示所述第二组对象检测结果相对于所述车辆的一个或更多个位置；以及将所述第二组对象检测结果的所述对象分类信息与所述占据栅格的所述占据概率信息进行组合，以生成分类占据栅格。
附图说明
为了可以充分理解本公开，将参照附图描述示例方面，其中：
图1是车辆的平面图表示；
图2是根据本公开实施方式的计算装置的示意性框图；
图3是例示根据本公开实施方式的计算装置的组件的工作流程的示意性框图；
图4A是占据栅格的例示图；
图4B是语义栅格的例示图；
图4C是分类占据栅格的例示图；
图5是例示根据本公开实施方式的由计算装置执行的操作的流程图；以及
图6是例示根据本公开实施方式的由计算装置执行的操作的流程图。
具体实施方式
本文描述的本公开的方面提供了这样的方法和装置：其中从一个或更多个语义信息源获得的语义信息可以与占据栅格组合以获得分类占据栅格。这样的分类占据栅格指示已被适当分类的一个或更多个对象所占据的区域。这样，可以使用从一个或更多个语义信息源获得的语义信息来增强由占据栅格信息提供的车辆环境中对象的高准确度定位。
用于获得用于形成占据栅格的信息的传感器可以是激光雷达系统、雷达系统和/或超声系统的一部分。这些系统中的各个系统被配置为提供高度的定位准确度。可以使用适当的传感器融合模型来组合来自这些系统中的各个系统的数据。然而，这些系统本身并不提供检测到的对象的分类。示例对象分类包括交通标志、护栏、其他车辆、路灯等等。
在本文描述的示例中，语义信息是从语义传感器系统获得的。语义信息包括对象分类信息，换言之，描述由语义传感器系统检测到的对象的分类的信息。
在各种实施方式中，语义传感器系统可以包括可操作以拍摄车辆环境的图像的摄像头系统。所拍摄的图像可以经历分割分析以将对象分类指派给在所拍摄的图像中检测到的对象。机器学习技术提供了允许以高置信度水平来识别对象。
摄像头系统还可以用于确定检测到的对象相对于车辆的定位信息。当用于估计定位信息时，摄像头系统可以称为被动定位系统。这与诸如雷达、激光雷达和/或超声系统之类的主动定位系统形成对比，这些主动定位系统依靠发射信号并测量散射或反射的回波信号的原理。被动定位系统的缺点是在诸如黑暗、大雾、大雨等恶劣环境条件下准确度容易下降。
本文描述的实施方式提供了由语义传感器系统(例如摄像头系统)确定的对象分类与主动定位系统(例如雷达、激光雷达和/或超声系统)的高准确度和可靠性的组合。
图1示出了根据本公开的一个或更多个实施方式的配备有装置20的车辆10，该装置20用于映射车辆10的环境。装置20可以具有安装在车辆10上不同位置处的各种组件，但是为了简单起见，装置20被描绘为安装在车辆上的单个组件。装置20包括用于感测车辆10的周围环境中的对象和/或自由空间的一个或更多个传感器。例如，装置20包括用于检测车辆10的周围环境中的对象的一个或更多个雷达传感器、激光雷达传感器、超声传感器和/或成像传感器(例如立体摄像头系统或RGB摄像头)。装置20是被配置为执行诸如对象跟踪和自由空间估计之类的功能的环境感知系统。这种环境感知系统可以被配置为根据本文公开的方法映射车辆10的环境。
在装置20中，传感器安装在车辆10上，使得这些传感器能够感测车辆周围环境的视场F内的对象，特别是感测视场中从车辆10到多个方向上的对象的距离。例如，传感器可以安装在车辆10的前角处。视场被描绘为在车辆10的前向方向上延伸，但是视场可以在车辆的任何方向上延伸。此外，视场可以是车辆10的周围环境的局部视图，或者它可以是周围环境的整个全景视图。应当理解，可以选择装置20的传感器的数量、位置和取向以实现期望的视场。
图2是例示在本公开的示例实施方式中使用的计算装置200的功能组件的示意性框图。计算装置200是用于生成如本文所述的分类占据栅格的电子装置。计算装置200可以是负责控制全自动化或部分自动化车辆的自动化车辆控制系统205的一部分或与之通信。
计算装置200包括传感器系统210，传感器系统210可以包括雷达系统、激光雷达系统和/或超声系统中的一种或更多种。
传感器系统210可以是包括一个或更多个雷达天线的雷达传感器系统，该雷达天线被配置为发射雷达信号，例如经调制的雷达信号(例如啁啾信号)。信号可以在一个或更多个天线处被获取或检测，并且通常被称为回波信号。回波信号可能由所发射的雷达信号在障碍物上的反射产生。所述一个或更多个天线可以单独提供或作为天线阵列提供，其中，所述一个或更多个天线中的至少一个天线发射雷达信号，并且所述一个或更多个天线中的至少一个天线检测回波信号。所检测或获取的回波信号表示电磁场的幅度/能量随时间的变化。
另选地或附加地，传感器系统210可以包括一个或更多个激光雷达或超声传感器，它们被类似地配置为向车辆的周围环境发射信号并检测来自车辆周围环境的反射信号并因此检测周围环境中的对象。由于传感器系统210用于确定占据栅格，因此传感器系统210可以被称为占据传感器系统。
计算装置包括摄像头系统215。摄像头系统215可以包括被配置为拍摄车辆周围环境的图像的RGB摄像头。例如，摄像头可以安装在车辆上并面向前方以拍摄道路的图像以及道路上和附近的对象(例如其他车辆、道路标志、防撞护栏、路灯等等)的图像。摄像头系统215可以用于使用分割算法从所拍摄的图像中提取语义信息。
摄像头系统215可以包括立体摄像头系统，从该立体摄像头系统到该立体摄像头的视场内的对象的距离可以经由立体算法来确定。从立体摄像头系统获得的距离信息可以与从传感器系统210获得的检测数据结合使用以确定占据栅格。
如本文所使用的，语义信息是指描述车辆环境中的对象的信息，例如对象分类。示例对象分类可以包括其他车辆、道路标志、防撞护栏、路灯等等。语义信息可以通过分析由摄像头系统215拍摄的图像来获得，例如使用分割算法。此外，可以通过将车辆位置与地图数据进行比较来获得语义信息。
摄像头系统215可以包括交通标志识别(TSR)模块220。TSR模块220被配置为提供关于由车辆的摄像头系统215的摄像头观察到的任何检测到的交通标志的信息。来自交通标志的信息可以包括速度限制、车道信息、地名和交通标志上显示的任何其他信息。TSR模块220可以使用本领域已知的任何类型的图像识别软件，并且可以结合机器学习技术的各种方面，例如神经网络的使用。这样，TSR模块从交通标志中提取的信息非常准确。另外，TSR模块220可以通过分析由摄像头系统215获得的图像来估计交通标志的位置。然而，使用TSR模块220与摄像头系统215结合的标志位置估计的准确度可能不如使用雷达、激光雷达或超声系统的对象定位准确。
计算装置200包括高清(HD)映射模块225。HD映射模块225获得映射车辆环境的HD地图数据。HD地图数据可以从云服务器或本地存储的缓存中获得。HD地图数据包括关于特定区域中的对象的语义信息。例如，诸如道路标志、十字路口、服务站等已分类对象的位置可以包括在HD地图数据中。HD地图数据可以本地存储在地图数据库中。然而，HD映射模块225可以经由计算装置200的网络接口230访问HD地图数据以访问存储在远程服务器201中的HD地图数据。
计算装置200包括车辆定位(VP)模块235。车辆定位系统235可以使用全球导航卫星系统(GNSS)，例如全球定位系统(GPS)、Galileo、Glonass等等。车辆定位模块235可以将从GNSS接收的信息与从惯性导航系统(INS)获得的信息组合。这样，车辆定位模块235被配置为提供车辆位置的实时指示。HD映射模块225可以使用车辆的位置来在HD地图上显示车辆的位置。
虽然HD地图数据具有高准确度，但车辆定位模块235引入了一定程度的不确定性，使得难以估计已分类对象相对于车辆的位置。例如，全球定位系统的非军事用途往往具有10米量级的不确定度。高楼、隧道和多云天气也会降低定位准确度。本公开的实施方式允许将源自诸如HD地图的语义源的语义信息与源自高定位准确度激光雷达、雷达和/或超声系统的占据信息进行组合，可以帮助解决定位问题。
计算装置200可以包括用户接口240。用户接口240可以包括用于向用户显示信息的显示器。例如，显示器可以向用户显示实时定位信息。用户接口可以包括输入装置，例如小键盘。输入和输出手段可以经由触摸屏接口提供。此外，可以经由一个或更多个麦克风和扬声器提供音频输入/输出。
计算装置200包括存储器245。存储器245可以包括易失性和非易失性存储装置。存储器245可以具有安装在其中的操作系统246。存储器245可以具有存储在其中的计算机可读代码，该代码的执行可以提供本文描述的本公开的方面的功能。除了存储器245之外，应当理解，计算装置200的其他组件中的一个或更多个可以包括专用存储器资源。
计算装置200包括控制器250。控制器250包括用于执行计算机可读代码247的一个或更多个处理元件。控制器250包括占据栅格确定器251、语义栅格确定器252和分类占据栅格确定器253。将说明，本公开的实施方式通过占据栅格确定器251提供占据数据的累积、通过语义栅格确定器252提供语义数据的累积以及通过分类占据栅格确定器253提供占据栅格数据与语义数据的组合。
图3是更详细地例示计算装置200的功能组件的示意性框图。
占据栅格确定器251包括占据传感器建模模块260，该模块被配置为从占据传感器265获取检测数据261(例如，距离和距离变化率数据)并根据检测数据261计算车辆周围环境中的一个或更多个对象的位置。占据传感器265可以对应于传感器系统210的一个或更多个传感器。可以为映射系统支持的各个传感器系统210提供占据传感器建模模块260。例如，可以为雷达系统提供占据传感器建模模块260，可以为激光雷达系统提供占据传感器建模模块260，以及可以为超声系统提供占据传感器建模模块260，从而可以处理来自相应传感器系统的检测数据。
对于包括雷达、激光雷达或超声传感器的实施方式，相应的占据传感器建模模块260可以获取回波信号(例如在一个或更多个天线处检测到的)并且可以对其应用模数(A/D)转换。占据传感器建模模块260可以将发射信号与检测到回波信号之间的延迟转换为指示对象与车辆之间的距离的距离数据，并且还根据回波信号计算该对象的方向(例如，通过比较来自不同天线的多个信号)。可以通过将回波信号与所发射的雷达信号相关来获取延迟，从而获取距离数据。
基于从相应占据传感器265(例如，从激光雷达、雷达或超声系统中的一者或更多者)获得的检测数据261，占据传感器建模模块260使用检测数据261来生成占据证据262。根据特定传感器系统210，占据证据262可以采用具有概率值的栅格的占据栅格的形式，这些概率值示出了在车辆环境中被一个或更多个对象占据的区域。更具体地，占据传感器建模模块260包括传感器模型，该传感器模型将从占据传感器265获得的所获取的检测数据261作为输入并从该数据生成占据栅格(应当理解，可以使用任何传感器模型——例如任何物理模型、确定性模型或逆传感器模型)。例如，占据传感器建模模块260可以接收来自传感器系统210的占据传感器265的多个检测结果，各个检测结果包括距离值和方位角(指示所检测到的对象或自由空间的相对于车辆的距离和方向)。然后可以将检测结果转换为占据栅格中的单元的一组占据概率。可以针对各个传感器系统210获得占据栅格，例如基于雷达的占据栅格、基于激光雷达的占据栅格和基于超声的占据栅格。
然后可以将各个传感器系统210的占据证据262提供给占据证据累积器263。占据证据累积器263基于从各种支持的传感器系统210的占据传感器265获得的占据证据262来计算地球参考系中的占据栅格。可以将累积算法应用于基于雷达的占据栅格、基于激光雷达的占据栅格和基于超声的占据栅格。此外，占据证据262可以与历史占据数据一起累积。示例累积算法包括基于Dempster-Shafer证据理论、递归贝叶斯估计、中心极限定理的算法或本领域已知的任何其他累积算法。
图4A中示出了示例性占据栅格400。占据栅格400包括单元的栅格。使用占据栅格坐标系来定义单元位置。坐标系可以是右手坐标系，原点例如附在栅格的一角处。右下角单元的坐标为(0,0)，各个相邻单元的坐标沿从第一单元起的移动方向增加1。可以在地球参考系、车辆参考系或另一参考系中定义占据栅格。例如，占据栅格可以在车辆参考系中生成，这样，占据栅格的坐标各自对应于车辆参考系中的固定坐标。各个单元可以采用指示该位置是否被对象占据的占据值。例如，在所示示例中，黑色单元指示该单元被对象占据(并且对应于传感器检测到对象的位置)。另一方面，白色单元指示该单元没有被对象占据。最后，灰色单元可以指示不知道该单元的占据情况，例如，因为另一对象位于该单元与传感器之间，使得没有信号到达与该单元对应的位置。根据从各个传感器系统210的占据传感器265获得的检测数据261来计算各个单元的占据值。例如，基于检测结果的距离、方位角和不确定度，计算各个单元的占据证据，该占据证据描述了各个单元是检测结果的起源(即，包含检测结果的位置)的概率。占据栅格可以是贝叶斯占据栅格，其中单元占据的概率是根据从对象和/或自由空间检测结果获得的证据值计算的，但是在不背离本公开的情况下可以使用任何类型的占据栅格。例如，单元的占据概率可以由p(occ)＝0.5+0.5·p(c|d)给出，其中p(c|d)是给定对象检测结果d的情况下单元c的占据证据值。同样，自由空间概率可由p(free)＝0.5+0.5·p(c|f)给出，其中p(c|f)是给定自由空间检测结果f的情况下单元c的自由空间证据值。在一些实施方式中，占据栅格可以包括基于P(occ)值和/或P(free)值的、各个单元被占据的概率的栅格。然后可以基于对象和/或自由空间检测结果为各个单元指派该单元被占据的概率值。占据栅格可以基于概率值被渲染为例如灰度图像或类似图像(0为白色/黑色，1为黑色/白色)。替代地，如果占据概率高于上限阈值，则可以将各个单元指派为“已占据”，或者如果占据概率低于下限阈值，则可以将各个单元指派为“空”。在一些实施方式中，各个栅格单元可以仅被指派“空”或“已占据”。在其他实施方式中，当阈值不同时，如果占据概率在上限阈值与下限阈值之间，则还可以将单元指派为“未知”。应当理解，可以使用其他方法根据检测数据261生成占据栅格。
一旦占据栅格确定器251生成了占据栅格400，占据栅格400就被输出到分类占据栅格确定器253，使得从其中获得的占据数据可以与从语义栅格确定器252获得的语义证据进行组合。
图5是例示为确定一个或更多个语义栅格并将语义信息与占据栅格400组合而执行的操作的流程图。
在步骤5.1，一个或更多个语义传感器源270将检测数据271提供给语义栅格确定器252的语义信息建模模块273。语义源270可以包括摄像头系统215，其可以包括TSR模块220。
可以通过分析从摄像头系统215获得的图像数据来获得检测数据271。可以进一步分析与在摄像头图像中观察到的对象有关的检测数据271以提供一个或更多个对象检测结果的定位信息。然后可以将深度信息与摄像头的方位角信息组合以确定对象检测结果相对于车辆的定位信息。可以通过使用深度学习技术推断深度信息来获得定位信息。然而，这样的方法往往计算代价高昂和/或提供稀疏的深度图。此外，这种被动系统在诸如黑暗、大雾、大雨等恶劣环境条件下会产生不可靠的信息。
在步骤5.2，可以将检测数据271投影到提供车辆环境的平面图表示的栅格上。这种栅格405在图4B中示出。在该示例中，检测到的平面对象406被投影到栅格405上。
在将检测到的对象406投影到栅格405上之后，在步骤5.3，可以根据适当的不确定度模型将不确定度范围应用于定位信息。不确定度水平可以取决于诸如摄像头分辨率或检测到的对象406距摄像头的估计距离之类的因素。不确定度水平可以随距摄像头的距离呈线性或指数变化。另选地，可以应用统一的不确定度范围。不确定度范围可以表示为对象空间区域，例如图4B中所示的框407。
除了根据检测数据271确定的定位信息之外，可以确定特定对象检测结果属于特定对象分类的瞬时证据值。示例分类可以包括护栏、路标、交通锥、另一车辆或道路上常见的任何其他对象。
在步骤5.4，栅格405的单元408可以被指派为被特定对象分类的对象占据并且被指派了该分类的瞬时证据值。可以通过对框407进行栅格化来选择单元。然后可以将临时证据值指派给栅格405的单元408。例如，可以将统一的证据值应用于各个单元408。另选地，临时证据值可以取决于距传感器270的距离。
可以为各个分类提供单独的栅格405。这样的栅格可以称为分类栅格。分类栅格可以被认为是特定分类类型的语义栅格。例如，可以为路标分类提供分类栅格，其中各个单元408可以被指派介于零和1之间的该单元包含路标的临时证据值。可以为护栏提供单独的分类栅格，其中各个单元可以被指派该单元包含护栏的临时证据值。可以为不同的对象分类提供另外的分类栅格，例如另一车辆、路灯、行人等等。这种临时语义证据272由语义信息建模模块273获得。
一旦生成了一个或更多个分类栅格，就可以将临时证据值输出到语义证据累积器275。然后在步骤5.5处进行语义证据累积。来自不同传感器的语义证据可以使用基于Dempster-Shafer证据模型的融合算法进行融合。这里，不同的传感器可以是不同的摄像头传感器。
Dempster-Shafer证据模型允许各个分类栅格对不同的假设进行建模。根据Dempster-Shafer证据模型，特定分类的语义分类空间被表示为代表信任程度的一组独立的质量(mass)，它被构建成辨别框架：
Ω＝{set of classes}
使用Dempster-Shafer融合规则
Figure BDA0003570152450000101
可以将传入的新证据融合到现有的单元表示中：
Figure BDA0003570152450000111
Figure BDA0003570152450000112
Figure BDA0003570152450000113
在该示例中，不同的类A、B、C可以是不同的分类类型，例如交通标志、其他车辆、护栏、路灯等等。质量的索引1、2可以是来自不同语义传感器源270的质量值。附加地或另选地，不同的索引可以指示随时间变化的质量值。这样，Dempster-Shafer框架允许累积语义证据值。
分类栅格的各个单元具有多个质量，一个质量针对该分类栅格的分类类型，另一个质量针对与各个其他可能的分类类型结合考虑的该分类。通过使用来自其他分类类型的组合质量，可以解决单元中的潜在冲突。可以应用各种证据融合规则来解决冲突。来自不同分类类型的信息可以源自同一传感器源270或源自不同的传感器源。
如此获得的栅格是累积分类栅格，其为分类栅格的各个单元产生指示该单元被特定分类类型的对象占据的信任水平的信任值。可以为各个感兴趣的分类类型确定分类栅格。
也可以执行随着时间的推移累积证据。可以使用基于Dempster-Shafer组合规则的时间过滤算法来实现时间累积。随着时间的推移累积语义证据允许将指示对象检测结果属于特定对象分类的临时语义证据与该分类的历史语义证据一起累积。
由此可以为各个分类类型生成结果分类栅格。
在步骤5.6，各个累积分类栅格的证据值可以使用pignistic变换进行变换，以获得各个分类类型的分类栅格的各个语义证据值的置信度水平。pignistic变换的方程如下：
Figure BDA0003570152450000114
在步骤5.7，然后可以选择具有最高置信度水平的累积分类栅格。例如，可以选择具有用于交通标志分类的累积语义证据值的分类栅格。然后可以将选定的变换后的分类栅格输出到分类占据栅格确定器253。选定的变换后的分类栅格也可以称为语义栅格，因为它是被选择来提供要与占据栅格400组合的语义信息的栅格。
在步骤5.8，分类占据栅格确定器253将包含在占据栅格中的信息与包含在变换后的语义栅格中的信息组合。可以使用联合概率规则来执行将来自占据栅格的信息与来自变换后的语义栅格的信息合并的步骤。
对于任何给定的单元，可以将从变换后的语义栅格的该单元获得的语义置信度值和从占据栅格的该单元获得的占据概率相乘。该乘法的结果是单元被占据并分类在特定类别中的概率值。
p(A|occupancy)＝p(occupancy)·pig(A)
因而确定了包括分类占据概率值的阵列的分类占据栅格。
来自其他来源的语义信息也可以并入分类占据栅格中。例如，包括语义数据的HD地图数据可以与分类占据栅格进行组合。这可以通过将HD地图覆盖在分类占据栅格上方并将分类占据栅格的已分类对象与HD地图中的已分类对象拟合来实现。
图4C示出了根据本公开的另一示例的分类占据栅格410。在该示例中，语义传感器源270中的一者或更多者报告车辆环境中对象411的存在。可以确定和比较对象属于各种可能分类的似然性。可以选择具有最高似然性的对象分类。例如，使用机器学习的摄像头确定存在交通标志，并且TSR模块从标志中提取信息。
在该示例中，使用雷达、激光雷达和/或超声系统生成的占据栅格是以上述方式生成的。然后可以使用诸如聚类算法、基于密度的噪声应用空间聚类(DBSCAN)、K均值、使用高斯混合模型(GMM)的期望最大化或本领域已知的任何其他合适的算法之类的分割算法将由此获得的占据栅格转换为对象列表。占据栅格中的对象可以被列为轮廓、集群或边界框。
所报告的语义对象(在该示例中为交通标志411)然后可以与对应的占据对象412相关联。可以通过测量语义对象与占据对象之间的距离并将测量的距离与阈值进行比较来执行所报告的语义对象与占据对象的关联。如果测量的距离小于或等于阈值距离，则所报告的对象可以与占据对象相关联。附加地或另选地，占据对象的形状度量可以被测量并且例如使用机器学习算法与所报告的对象的形状进行比较。例如，由于交通标志的形状基本上是平面的，因此可以确定与具有细长形状的占据对象的匹配。然后可以将所报告的对象的语义信息指派给占据对象412。
图6是例示由计算装置200执行的示例操作的流程图。虽然图5中所示的步骤以示例性顺序次序示出，但是应当理解，这些步骤中的一个或更多个可以由单独的处理器核并行执行。
在步骤6.1，确定表示车辆环境的占据栅格。占据栅格包括根据一组对象检测结果确定的占据概率值。占据信息是根据从诸如雷达、激光雷达和/或超声系统的第一传感器系统获得的定位信息确定的。定位信息指示第一组对象检测结果相对于车辆的一个或更多个位置。
在步骤6.2，从一个或更多个语义信息源获得语义信息。语义信息源可以是诸如摄像头系统之类的一个或更多个传感器系统。语义信息包括一组对象检测结果的对象分类信息以及指示该组对象检测结果相对于车辆的一个或更多个位置的定位信息。从语义信息源获得的定位信息的准确度通常低于由用于生成占据栅格的传感器获得的定位信息。
在步骤6.3，将第二组对象检测结果的对象分类信息与占据栅格的占据概率信息进行组合，以生成分类占据栅格。这可以通过基于从语义信息源获得的定位信息生成包括语义证据值的语义栅格来执行。语义栅格可以通过累积来自多个语义传感器源的语义信息来形成。可以生成不止一个语义栅格，各个语义栅格专注于特定的分类类型。特定分类类型的语义栅格可以包括使用其他分类类型的证据值生成的证据值的栅格，以解决潜在冲突。
因此，与单独的语义栅格相比，所得到的组合占据栅格具有对象检测结果的改善的定位准确度。此外，通过添加从一个或更多个传感器源获得的对象分类来改善占据栅格。
应该理解，本文描述的方法提供了对现有对象分类系统的若干改进。提供了分类占据栅格，它组合了源自其他语义源的信息。获得语义栅格的步骤以及将语义栅格与占据栅格组合的步骤可以很大程度上独立于占据栅格处理算法。这样，可以很容易地将语义层应用在具有不同传感器组的不同占据栅格之上。
在前面的描述中，参照若干示例实施方式描述了示例方面。因此，本说明书应被视为说明性的而非限制性的。类似地，强调示例实施方式的功能和优点的附图中所示的图仅出于示例目的而呈现。示例实施方式的架构是足够灵活和可配置的，使得可以以除了附图中所示的方式之外的方式利用该架构。
在一个示例实施方式中，本文呈现的示例的软件实施方式可以作为计算机程序或软件提供，例如具有指令或指令序列的一个或更多个程序，其被包括或存储在诸如机器可访问或机器可读介质、指令存储部或计算机可读存储装置之类的制造品中，其每一个可以是非暂时性的。非暂时性机器可访问介质、机器可读介质、指令存储部或计算机可读存储装置上的程序或指令可以用于对计算机系统或其他电子装置进行编程。机器或计算机可读介质、指令存储部和存储装置可以包括但不限于软盘、光盘以及磁光盘或适于存储或传输电子指令的其他类型的介质/机器可读介质/指令存储部/存储装置。本文描述的技术不限于任何特定的软件配置。它们可能适用于任何计算或处理环境。本文使用的术语“计算机可读”、“机器可访问介质”、“机器可读介质”、“指令存储部”和“计算机可读存储装置”应包括能够存储、编码或传输指令或指令序列以供机器、计算机或计算机处理器执行并且使机器/计算机/计算机处理器执行本文所述的任何一种方法的任何介质。此外，本领域中通常以一种形式或另一种形式(例如，程序、过程、进程、应用、模块、单元、逻辑等)将软件称为采取动作或导致结果。这样的表达只是陈述处理系统执行软件导致处理器执行动作以产生结果的简写方式。
一些实施方式还可以通过制备专用集成电路、现场可编程门阵列或通过将常规组件电路的适当网络互连来实现。
一些实施方式包括计算机程序产品。计算机程序产品可以是存储介质、指令存储部或存储装置，其上或其中存储有可以用于控制或导致计算机或计算机处理器执行本文描述的示例实施方式的任何过程的指令。存储介质/指令存储部/存储装置可以包括，例如但不限于，光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存、闪存卡、磁卡、光卡、纳米系统、分子存储器集成电路、RAID、远程数据存储/存档/仓储和/或适于存储指令和/或数据的任何其他类型的装置。
存储在计算机可读介质、指令存储部或存储装置中的任一者上的一些实现方式包括用于控制系统的硬件和用于使系统或微处理器能够利用本文所述的示例实施方式的结果与人类用户或其他机制交互的软件。这种软件可以包括但不限于装置驱动程序，操作系统和用户应用。最终，这种计算机可读介质或存储装置还包括用于执行如上所述的本公开示例方面的软件。
包括在系统的编程和/或软件中的是用于实现本文描述的过程的软件模块。在本文的一些示例实施方式中，模块包括软件，但是在本文的其他示例实施方式中模块包括硬件或者硬件和软件的组合。
虽然上面已经描述了本公开的各种示例实施方式，但是应当理解，它们是作为示例而非限制来呈现的。对于相关领域的技术人员明显的是，可以在其中进行形式和细节上的各种改变。因此，本公开不应受任何上述示例实施方式的限制，而应仅根据所附权利要求及其等同物来限定。
此外，摘要的目的是使专利局和公众，尤其是不熟悉专利或法律术语或措辞的本领域的科学家、工程师和从业者能够从粗略的检查中快速地确定本申请的技术公开的实质和本质。摘要不旨在以任何方式限制本文所呈现的示例实施方式的范围。还应当理解，在权利要求中叙述的任何过程不需要以所呈现的顺序执行。
虽然本说明书包含了许多特定实施方式细节，但不应将这些解释为对可能要求保护的内容的范围的限制，而是作为对本文所述的特定实施方式的特定特征的描述。在本说明书中在单独实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实现。相反，在单个实施方式的上下文中描述的各种特征也可以在多个实施方式中单独地或以任何合适的子组合来实现。此外，虽然特征可能在上文中被描述为在某些组合中起作用并且甚至最初被如此要求保护，但是来自所要求保护的组合的一个或更多个特征在某些情况下可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种组件的分离不应被理解为在所有实施方式中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或封装到多个软件产品中。
现在已经描述了一些说明性实施方式和实施方式，很明显，已经通过示例的方式呈现的上述内容是说明性的而非限制性的。尤其是，虽然本文呈现的许多示例涉及设备或软件要素的特定组合，但是这些要素可以以其他方式组合以实现相同的目的。仅结合一个实施方式讨论的动作、元件和特征不旨在被排除在其他实施方式中的类似角色之外。
在不脱离其特性的情况下，本文描述的设备可以以其他具体形式实施。上述实施方式是说明性的而不是对所描述的系统和方法的限制。因此，本文描述的设备的范围由所附权利要求而不是前面的描述来指示，并且落入权利要求的等同物的含义和范围内的改变被包含在其中。

Claims (13)

1.一种映射车辆的车辆环境的计算机实现方法，所述计算机实现方法包括以下步骤：
确定表示所述车辆环境的占据栅格，所述占据栅格包括第一组对象检测结果的占据概率信息，其中，所述占据概率信息是根据从第一传感器系统获得的第一定位信息确定的，所述第一定位信息指示所述第一组对象检测结果相对于所述车辆的一个或更多个位置；
从一个或更多个语义信息源获得语义信息以及与所述语义信息相关联的第二定位信息，所述语义信息包括第二组对象检测结果的对象分类信息，所述第二定位信息指示所述第二组对象检测结果相对于所述车辆的一个或更多个位置；以及
将所述第二组对象检测结果的所述对象分类信息与所述占据栅格的所述占据概率信息进行组合，以生成分类占据栅格。
2.根据权利要求1所述的计算机实现方法，所述计算机实现方法还包括以下步骤：使用所述语义信息和所述第二定位信息来确定表示车辆环境的语义栅格，所述语义栅格包括一个或更多个对象分类类型的证据值的栅格。
3.根据权利要求2所述的计算机实现方法，其中，确定语义栅格的步骤包括以下步骤：
将所述第二组对象检测结果中的对象检测结果投影到表示所述车辆环境的栅格上；
基于所述第二组对象检测结果中的所述对象检测结果的所述第二定位信息的不确定度值，确定所述第二组对象检测结果中的所述对象检测结果的对象空间区域；以及
基于所述对象空间区域，将一个或更多个分类栅格的单元指派为被所述第二组对象检测结果中的所述对象检测结果占据，各个分类与不同的分类类型有关。
4.根据权利要求2或3所述的计算机实现方法，所述计算机实现方法还包括以下步骤：
通过对所述语义栅格的一个或更多个单元的证据值应用pignistic变换来计算该单元的置信度值；以及
将所述语义栅格的一个或更多个单元的置信度值与所述占据栅格的一个或更多个对应单元的占据概率值进行组合。
5.根据权利要求4所述的计算机实现方法，其中，将所述语义栅格的一个或更多个单元的置信度值与所述占据栅格的一个或更多个对应单元的占据概率值进行组合的步骤包括：将所述语义栅格的所述一个或更多个单元的置信度值与所述占据栅格的一个或更多个对应单元的占据概率值相乘。
6.根据权利要求1所述的计算机实现方法，其中，将所述占据概率信息与语义证据信息进行组合包括以下步骤：
选择所述第二组对象检测结果中具有对象分类的对象检测结果；
使用所述第二定位信息来识别所述第二组对象检测结果中的所述对象检测结果的临时位置；
将与所述第一组对象检测结果中的对象检测结果相对应的占据栅格的占据区域识别为接近于所述第二组对象检测结果中的对象检测结果的所述临时位置；以及
将所述第二组对象检测结果中的对象检测结果的对象分类指派给与所述第一组对象检测结果中的对象检测结果相对应的占据栅格的所述占据区域。
7.根据权利要求6所述的计算机实现方法，其中，识别占据栅格的占据区域的步骤包括以下步骤：
将所述第二组对象检测结果中的对象检测结果的所述临时位置与所述占据栅格的所述占据区域之间的距离与阈值距离进行比较；以及
如果所述距离小于或等于所述阈值距离，则将所述对象分类指派给所述占据栅格的所述占据区域的单元。
8.根据权利要求1至7中任一项所述的计算机实现方法，其中，确定语义栅格的步骤包括：使用利用Dempster-Shafer框架的算法，在所述语义栅格的各个单元中累积语义证据值。
9.根据权利要求1至8中任一项所述的计算机实现方法，其中，所述第一传感器系统包括主动定位传感器系统，并且所述一个或更多个语义信息源包括被动定位传感器系统。
10.根据权利要求1至9中任一项所述的计算机实现方法，其中，所述第一传感器系统是雷达系统、激光雷达系统和/或超声系统。
11.根据权利要求1至10中任一项所述的计算机实现方法，其中，所述一个或更多个语义信息源包括摄像头系统，所述摄像头系统被配置为拍摄所述车辆环境的一个或更多个图像并从所拍摄的一个或更多个图像中提取所述语义信息和所述第二定位信息。
12.一种存储计算机可读指令的计算机可读介质，所述计算机可读指令在由处理器执行时使所述计算机执行根据权利要求1至11中任一项所述的计算机实现方法。
13.一种计算装置，所述计算装置包括存储器和控制器，所述控制器被配置为：
确定表示车辆环境的占据栅格，所述占据栅格包括第一组对象检测结果的占据概率信息，其中，所述占据概率信息是根据从第一传感器系统获得的第一定位信息确定的，所述第一定位信息指示所述第一组对象检测结果相对于所述车辆的一个或更多个位置；
从一个或更多个语义信息源获得语义信息以及与所述语义信息相关联的第二定位信息，所述语义信息包括第二组对象检测结果的对象分类信息，所述第二定位信息指示所述第二组对象检测结果相对于所述车辆的一个或更多个位置；以及
将所述第二组对象检测结果的所述对象分类信息与所述占据栅格的所述占据概率信息进行组合，以生成分类占据栅格。
CN202210317122.8A 2021-04-01 2022-03-29 映射车辆环境 Pending CN115249347A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2104760.0 2021-04-01
GB2104760.0A GB2605587A (en) 2021-04-01 2021-04-01 Mapping a vehicle environment

Publications (1)

Publication Number Publication Date
CN115249347A true CN115249347A (zh) 2022-10-28

Family

ID=75883543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210317122.8A Pending CN115249347A (zh) 2021-04-01 2022-03-29 映射车辆环境

Country Status (4)

Country Link
US (1) US12333820B2 (zh)
EP (1) EP4067930B1 (zh)
CN (1) CN115249347A (zh)
GB (1) GB2605587A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220363286A1 (en) * 2021-05-14 2022-11-17 Toyota Research Institute, Inc. Verifying an object recognition determination produced by a perception system from data received from a ranging sensor system
US12613309B2 (en) * 2021-07-23 2026-04-28 Zoox, Inc. Radar and doppler analysis and concealed object detection
TWI819613B (zh) * 2022-05-19 2023-10-21 緯創資通股份有限公司 物件的雙感測方法及用於物件感測的運算裝置
GB2625733B (en) * 2022-12-22 2025-06-11 Jaguar Land Rover Ltd Apparatus and method for determining a representation of an environment
EP4468257A1 (en) * 2023-05-24 2024-11-27 Zenseact AB A method and device for determining free-space
EP4524604A1 (en) * 2023-09-13 2025-03-19 GM Cruise Holdings LLC Radar detector with tracking feedback
US20250136143A1 (en) * 2023-10-30 2025-05-01 Robert Bosch Gmbh Handling uncertainty associated with a sensor measurement using a previously determined combined occupancy grid
KR20250147468A (ko) * 2024-04-04 2025-10-13 현대모비스 주식회사 이동 장치용 센서퓨전 장치 및 방법
US20250336088A1 (en) * 2024-04-26 2025-10-30 Nxp B.V. Occupancy grid mapping system and method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231650A1 (en) * 2017-02-16 2018-08-16 Commissariat A L'energie Atomique et Aux Energies Alternatives. Method and system for contextualized perception of physical bodies
US20190050653A1 (en) * 2018-09-28 2019-02-14 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
CN110068348A (zh) * 2018-01-22 2019-07-30 大陆汽车有限责任公司 用于在物体的周围环境中探测界限的方法和装置
US20190387216A1 (en) * 2018-06-13 2019-12-19 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
WO2020053611A1 (en) * 2018-09-12 2020-03-19 Toyota Motor Europe Electronic device, system and method for determining a semantic grid of an environment of a vehicle
CN111461245A (zh) * 2020-04-09 2020-07-28 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及系统
CN111665842A (zh) * 2020-06-09 2020-09-15 山东大学 一种基于语义信息融合的室内slam建图方法及系统
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN112313477A (zh) * 2018-06-22 2021-02-02 马瑞利欧洲公司 一种车辆环境映射的方法以及相应的系统、车辆和计算机程序产品
US20210097638A1 (en) * 2019-09-26 2021-04-01 Robert Bosch Gmbh Method for Managing Tracklets in a Particle Filter Estimation Framework

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10859395B2 (en) 2016-12-30 2020-12-08 DeepMap Inc. Lane line creation for high definition maps for autonomous vehicles
CN111307166B (zh) * 2018-12-11 2023-10-03 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
US11620478B2 (en) 2019-02-06 2023-04-04 Texas Instruments Incorporated Semantic occupancy grid management in ADAS/autonomous driving
US11878419B2 (en) 2020-06-26 2024-01-23 Intel Corporation Affordance-aware, multi-resolution, free-form object manipulation planning

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231650A1 (en) * 2017-02-16 2018-08-16 Commissariat A L'energie Atomique et Aux Energies Alternatives. Method and system for contextualized perception of physical bodies
CN110068348A (zh) * 2018-01-22 2019-07-30 大陆汽车有限责任公司 用于在物体的周围环境中探测界限的方法和装置
US20190387216A1 (en) * 2018-06-13 2019-12-19 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
CN112313477A (zh) * 2018-06-22 2021-02-02 马瑞利欧洲公司 一种车辆环境映射的方法以及相应的系统、车辆和计算机程序产品
WO2020053611A1 (en) * 2018-09-12 2020-03-19 Toyota Motor Europe Electronic device, system and method for determining a semantic grid of an environment of a vehicle
US20190050653A1 (en) * 2018-09-28 2019-02-14 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
US20210097638A1 (en) * 2019-09-26 2021-04-01 Robert Bosch Gmbh Method for Managing Tracklets in a Particle Filter Estimation Framework
CN111461245A (zh) * 2020-04-09 2020-07-28 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及系统
CN111665842A (zh) * 2020-06-09 2020-09-15 山东大学 一种基于语义信息融合的室内slam建图方法及系统
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张文;刘勇;张超凡;张龙;夏营威;: "基于语义建图的室内机器人实时场景分类", 传感器与微系统, no. 08, 20 August 2017 (2017-08-20) *
秦玉鑫;张高峰;王裕清;: "针对复杂环境的模块化栅格地图构建算法", 控制工程, no. 10, 20 October 2016 (2016-10-20) *

Also Published As

Publication number Publication date
EP4067930B1 (en) 2026-01-28
EP4067930A1 (en) 2022-10-05
US20220319188A1 (en) 2022-10-06
US12333820B2 (en) 2025-06-17
GB2605587A (en) 2022-10-12
GB202104760D0 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
US12333820B2 (en) Mapping a vehicle environment
CN109425855B (zh) 使用模拟传感器数据扩增现实传感器记录
CN109427214B (zh) 使用模拟传感器数据扩增现实传感器记录
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
US12158518B2 (en) Resolution of elevation ambiguity in one-dimensional radar processing
Guan et al. Automated road information extraction from mobile laser scanning data
Yu et al. Automated detection of urban road manhole covers using mobile laser scanning data
WO2022067647A1 (zh) 一种路面要素确定方法及装置
CN108627175A (zh) 用于识别车辆位置的系统和方法
US20150336575A1 (en) Collision avoidance with static targets in narrow spaces
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN108271408A (zh) 使用被动和主动测量生成场景的三维地图
JP6322564B2 (ja) 点群解析処理装置、方法、及びプログラム
KR102167835B1 (ko) 영상 처리 방법 및 장치
US20230008457A1 (en) Occupancy Grid Calibration
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN116263324B (zh) 用于确定车辆环境的三维数据的设备、车辆和方法
US11821752B2 (en) Method for localizing and enhancing a digital map by a motor vehicle; localization device
KR102531281B1 (ko) 센싱부를 활용한 통행객체 정보 생성 방법 및 시스템
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
US8369572B2 (en) System and method for passive automatic target recognition (ATR)
CN120558234A (zh) 基于三维激光雷达的机器人动态环境自适应感知与导航系统
US11810459B1 (en) Vehicle localization based on radar detections in garages
CN113874681B (zh) 点云地图质量的评估方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240229

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right