CN112584133B - 用于处理图像的系统和方法 - Google Patents

用于处理图像的系统和方法 Download PDF

Info

Publication number
CN112584133B
CN112584133B CN202010986202.3A CN202010986202A CN112584133B CN 112584133 B CN112584133 B CN 112584133B CN 202010986202 A CN202010986202 A CN 202010986202A CN 112584133 B CN112584133 B CN 112584133B
Authority
CN
China
Prior art keywords
camera
cover glass
diffraction pattern
camera sensor
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010986202.3A
Other languages
English (en)
Other versions
CN112584133A (zh
Inventor
T·古普塔
A·M·莫夫肖维奇
A·Y·张
R·L·张
F·R·罗斯科普夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/021,943 external-priority patent/US11709372B2/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112584133A publication Critical patent/CN112584133A/zh
Application granted granted Critical
Publication of CN112584133B publication Critical patent/CN112584133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G02B27/36—Fiducial marks and measuring scales within the optical system adjustable
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G02B27/4227—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant in image scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及对象定位系统。在相机传感器处产生2D巴克码状衍射图案的基准图案被蚀刻或以其他方式提供在相机前方的覆盖玻璃上。当与由所述相机在图像中捕获的衍射图案互相关时，2D巴克码内核提供尖锐的互相关峰。可以通过检测所检测的峰的位置相对于校准位置的移位来导出所述覆盖玻璃相对于所述相机的未对准。还描述了包括在覆盖玻璃后面的多个相机的设备，其中在每个相机前面的所述覆盖玻璃上具有一个或多个基准。可分析由各个相机处的所述基准引起的所述衍射图案，以检测所述覆盖玻璃在多个自由度上的移动或畸变。

Description

用于处理图像的系统和方法
优先权信息
本专利申请要求2019年9月27日提交的标题为“OBJECT LOCALIZATION SYSTEM”的美国临时专利申请序列号62/907,414的优先权，该美国临时专利申请的内容以引用的方式全文并入本文。
背景技术
巴克码表现出独特的自相关特性，即当接收序列和参考序列对准时的尖峰，以及对于所有其他移位的接近零值。这种具有最大旁波瓣减小的脉冲状自相关波形对于定位是理想的。一维(1D)巴克码例如用于雷达系统中，用于以最大精度导出目标范围。
发明内容
描述了用于对象定位的方法和装置的各种实施方案。描述了一种使用二维(2D)巴克码导出对象位置的方法。描述了2D巴克码，其表现出与它们的对应1D巴克码类似的自相关特性，即当图案对准时的尖峰，以及对于所有其他移位的接近零值。使用2D巴克码，可以在一个像素分辨率内定位放置得极其靠近相机镜头(对于具有60cm超本地距离的相机为相距1cm)的模糊对象。另外，描述了正弦调制的2D巴克码，并且描述了用于正弦调制的2D巴克码的解调方法。正弦调制可提高对背景图像特征的灵敏度和抗扰度。还描述了用于进一步改善信噪比(SNR)的平均化技术。
描述了系统的实施方案，其中在相机传感器处产生2D巴克码状衍射图案的基准图案被蚀刻或以其他方式提供在相机前方的覆盖玻璃(CG)上。基准图案本身不是2D巴克码，而是被构造成影响穿过覆盖玻璃的光，以在相机传感器处引起2D巴克码状衍射图案。本文所述的对象定位方法中的“对象”可以是由相机在图像中捕获的衍射图案。当与由所述相机在图像中捕获的衍射图案互相关时，2D巴克码内核提供尖锐的互相关峰。可通过检测所检测的峰的位置相对于校准位置的移位导出在t0(例如，在系统组装期间或之后在时间0执行的校准)之后覆盖玻璃相对于相机的未对准。还描述了包括在覆盖玻璃后面的多个相机的系统的实施方案，其中在每个相机前面的覆盖玻璃上具有一个或多个基准。在这些实施方案中，可分析由各个相机处的基准引起的衍射图案，以检测覆盖玻璃在多个自由度上的移动或畸变。
附图说明
图1A示出了根据一些实施方案的系统，其中覆盖玻璃包括在相机传感器上引起衍射图案的基准图案。
图1B示出了根据一些实施方案的系统，其中覆盖玻璃包括在相机传感器上引起衍射图案的多个基准图案。
图1C示出了根据一些实施方案的具有多个相机的系统，其中覆盖玻璃包括在相机传感器上引起衍射图案的多个基准图案。
图2A示出了根据一些实施方案的示例性2D巴克码图案。
图2B示出了根据一些实施方案的在相机传感器上引起2D巴克码状衍射图案的示例性基准图案。
图2C示出了根据一些实施方案的相机传感器上的示例性2D巴克码状衍射图案。
图3示出了根据一些实施方案的将相关内核应用于包含2D巴克码状衍射图案的捕获图像以定位具有明确限定的形心的互相关图案。
图4A是根据一些实施方案的用于检查系统的覆盖玻璃中的移位的方法的流程图。
图4B是根据一些实施方案的用于从由覆盖玻璃上的基准引起的衍射图案导出覆盖玻璃偏移的方法的流程图。
图5至图11示出了可在实施方案中使用的若干示例性2D巴克码及其相应的自相关图案。
图12和图13示出了可在实施方案中使用的示例性随机码及其相应的自相关图案。
图14示出了可在实施方案中使用的示例性正弦调制的2D巴克码及其相应的自相关图案。
图15A至图15C示出了可在实施方案中使用的示例性正弦调制的2D巴克码及其相应的自相关图案。
图16示出了可在实施方案中使用的示例性圆形2D巴克码。
图17A至图17D示出了根据一些实施方案的包括具有50％衰减的2D巴克码衍射图案的图像的处理。
图18A至图18D示出了根据一些实施方案的包括具有10％衰减的2D巴克码衍射图案的图像的处理。
图19A至图19C示出了根据一些实施方案的包括具有1％衰减的正弦调制的2D巴克码衍射图案的图像的处理。
图20示出了可以在其中实现实施方案的示例性设备。
图21A至图21D示出了可在实施方案中使用的示例性非巴克码图案。
图22A至图22D示出了可在实施方案中使用的示例性低通非巴克码图案。
图23A至图23C示出了可在实施方案中使用的示例性7位2D巴克码图案。
图24A至图24C示出了可在实施方案中使用的另一个示例性7位2D巴克码图案。
图25A至图25D示出了可在实施方案中使用的示例性非二进制梯度图案。
图26A至图26D示出了可在实施方案中使用的示例性“翻转”非二进制梯度图案。
图27A和图27B比较了根据一些实施方案的覆盖玻璃上的示例性完整图案和稀疏图案。
图27C示出了根据一些实施方案的覆盖玻璃上的示例性完整图案。
图27D和图27E示出了根据一些实施方案的覆盖玻璃上的示例性稀疏图案。
图27F和图27G比较了根据一些实施方案的覆盖玻璃上的示例性完整图案和稀疏图案的传感器上的衍射图案。
本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。
“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。
具体实施方式
描述了用于对象定位的方法和装置的各种实施方案。描述了一种使用二维(2D)巴克码导出对象位置的方法。描述了2D巴克码，其表现出与它们的对应1D巴克码类似的自相关特性，即当图案对准时的尖峰，以及对于所有其他移位的接近零值。使用2D巴克码，可以在一个像素分辨率内定位放置得极其靠近相机镜头(对于具有60cm超本地距离的相机为相距1cm)的模糊对象。另外，描述了正弦调制的2D巴克码，并且描述了用于正弦调制的2D巴克码的解调方法。正弦调制可提高对背景图像特征的灵敏度和抗扰度。还描述了用于进一步改善信噪比(SNR)的平均化技术。
描述了系统的实施方案，其中在相机传感器处产生2D巴克码状衍射图案的基准图案被蚀刻或以其他方式提供在相机前方的覆盖玻璃(CG)上。基准图案本身不是2D巴克码，而是被构造成影响穿过覆盖玻璃的光，以在相机传感器处引起2D巴克码状衍射图案。当与由所述相机在图像中捕获的衍射图案互相关时，2D巴克码内核提供尖锐的互相关峰。可通过检测互相关峰的位置相对于校准位置的移位导出在t0(例如，在系统组装期间或之后在时间0执行的校准)之后覆盖玻片相对于相机的未对准。
本文所述的基准图案和2D巴克码可用于任何对象定位系统中，特别是在相机范围内(例如，0.05mm至5000mm)的系统中。实施方案可例如用于具有多于一个相机的任何产品的立体(或多于2个)相机校准。本文描述的基准图案和2D巴克码的示例性应用是在计算机生成现实(CGR)(例如，虚拟或混合现实)系统中，该系统包括诸如由用户佩戴的头戴式耳机、头盔、护目镜或眼镜之类的设备，其在本文中可被称为头戴式设备(HMD)。图20示出了可以在其中实现实施方案的示例性设备。设备2000可以包括位于平坦或弯曲的覆盖玻璃2010后面的一个或多个相机2020。相机2020中的一个或多个相机可通过覆盖玻璃2010捕获用户环境的图像；相机2020可包括RGB相机、红外(IR)相机或其他类型的相机或成像系统中的一者或多者。由相机2020捕获的图像可以由在软件和硬件2050(例如，处理器(片上系统(SOC)、CPU、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/解码器(编解码器)等)、存储器等)中实现的算法处理，以生成并渲染包括由设备2000(例如，在显示屏2030上)显示以供用户查看的虚拟内容的帧。图像处理软件和硬件2050可在设备2000上、在经由有线和/或无线连接与设备2000通信的基站上、或在设备2000和基站的组合上实现。图像处理算法可对所捕获的图像中的任何畸变(包括由覆盖玻璃2010引入的畸变)敏感。覆盖玻璃2010相对于相机2020的对准可在初始时间t0校准，并且该覆盖玻璃对准信息可被提供给图像处理算法以考虑由覆盖玻璃2010引起的任何畸变。然而，在使用期间，例如通过碰撞或掉落设备2000，覆盖玻璃2010可能会移位或变得与相机2020未对准。
在实施方案中，在相机传感器处引起2D巴克码状衍射图案的基准图案可以被蚀刻或以其他方式施加到设备的相机前面的覆盖玻璃。根据需要(例如，每次打开设备时，或者在检测到设备突然摇摆或震动时)，可以使用在互相关过程或技术中应用于图像的对应2D巴克码内核来分析由相机捕获的一个或多个图像，以检测图像中的互相关峰(衍射图案的形心)。然后可将这些形心的位置与覆盖玻璃的校准对准信息进行比较，以确定覆盖玻璃相对于相机在一个或多个自由度上的移位。
可以在每个相机的覆盖玻璃上提供一个或多个基准图案。使用相机的多个(例如，至少三个)基准可允许以更多自由度确定覆盖玻璃相对于相机的移位。
对于给定相机，如果将多于一个的基准图案用于相机(即蚀刻在相机前方的覆盖玻璃上)，则基准图案可被构造成在相机传感器上有效地引起相同的2D巴克码衍射图案，或者可被构造成在相机传感器上引起不同的2D巴克码衍射图案。如果将两个或更多个不同的2D巴克码衍射图案用于相机，则针对每个衍射图案将相应的2D巴克码内核应用于由相机捕获的图像，以检测对应于衍射图案的互相关峰。此外，相同或不同的2D巴克码衍射图案可用于设备相机中的不同相机。
覆盖玻璃的曲率和厚度可能要求在给定相机的不同位置处引起相同2D巴克码衍射图案所需的基准图案至少略有不同。此外，针对两个不同相机引起相同2D巴克码衍射图案所需的基准图案可取决于一个或多个因素而不同，所述一个或多个因素包括但不限于相机处的覆盖玻璃的曲率和厚度、相机镜头距覆盖玻璃的距离、相机的光学特性(例如，焦距比数、焦距、散焦距离等)以及相机的类型(例如，可见光相机对IR相机)。需注意，如果给定相机具有一个或多个可变设置(例如，是能够变焦的相机和/或具有可调节的孔径光阑)，则该方法可能需要将相机置于默认设置，以捕获包括由覆盖玻璃上的基准引起的可用2D巴克码状衍射图案的图像。
覆盖玻璃上的基准有效地在相机传感器上投射阴影，该阴影出现在相机捕获的图像中。如果基准较大和/或具有高衰减(例如，输入光的50％衰减)，则阴影将易于在由相机捕获的图像中可见，并且可影响图像处理算法。因此，提供了具有非常低衰减(例如，输入光的1％衰减)的基准的实施方案。这些低衰减基准(例如，对应于如本文所述的正弦调制的2D巴克码的基准)投射肉眼几乎不可见的阴影(2D巴克码状衍射图案)。然而，使用本文所述的2D巴克码内核的互相关方法和技术仍可从这些图案检测相关峰。
在一些实施方案中，信号处理技术可用于提取变化背景场景的相关峰。约束是背景图像不能被容易地控制。理想的背景将是完全白色的、均匀的背景；然而，在实施过程中，背景场景可能不是完全白色或均匀的。因此，可以使用信号处理技术(例如，滤波和平均化技术)来考虑非理想背景的可能性。在一些实施方案中，可使用应用空间频率滤波器以去除背景场景噪声的算法。在一些实施方案中，可使用平均化来减小信噪比(SNR)并减小散粒或泊松噪声的影响。在一些实施方案中，不能被有效滤波的帧不用于平均化。
在一些实施方案中，可跨多个图像收集互相关信息并进行平均以减小信噪比(SNR)并提供更准确的对准信息。跨多个图像进行平均还可促进使用具有低衰减(例如，1％衰减)的基准。此外，分析一个图像提供像素分辨率下的对准信息，而跨多个图像进行平均提供子像素分辨率下的对准信息。
在一些实施方案中，来自由设备的两个或更多个相机捕获的图像的互相关峰可被一起收集和分析以确定覆盖玻璃的总体对准信息。例如，如果覆盖玻璃在一个方向上移位并且相机全部是静止的，则应跨所有相机检测到相同的移位。如果跨相机的移位存在差异，则可检测到覆盖玻璃的弯曲或其他畸变。
虽然参考用于检测覆盖玻璃与系统的相机的未对准的应用来描述蚀刻在系统的覆盖玻璃上以在相机传感器处引起2D巴克码状衍射图案的基准的实施方案，但在相机传感器处引起2D巴克码状衍射图案的基准的实施方案可用于其他应用中。例如，基准可用于引起编码信息的图案。作为编码信息的示例，可以提供在系统(例如，HMD)的覆盖玻璃上的镜头附接件，以便为具有视觉问题(近视、散光等)的用户提供光学校正。这些镜头附接引起由系统的相机捕获的图像中的畸变，并且如上所述，系统的图像处理算法对畸变敏感。可将一个或多个基准蚀刻到镜头附接件中，当使用相应相关内核分析时，所述一个或多个基准提供识别相应镜头附接件的信息。然后可将该信息提供给图像处理算法，使得它们可考虑由相应透镜附接件引起的特定畸变。
虽然总体上描述了产生2D巴克码状衍射图案的基准的实施方案，但也描述了产生其他衍射图案(例如，“随机”图案)的基准。当与由相机在图像中捕获的衍射图案互相关时，对应的相关内核提供互相关峰。可以通过检测相关峰相对于校准位置的移位来导出覆盖玻璃相对于相机的未对准。此外，虽然大体描述的一些实施方案涉及将相应内核应用于由基准图案引起的衍射图案的互相关技术，其他相关技术也可用于其他实施方案。
图1A示出了根据一些实施方案的系统，其中覆盖玻璃包括在相机传感器上引起衍射图案的基准图案。该系统可以包括相机，该相机包括位于系统的覆盖玻璃110(例如，头戴式设备(HMD)的覆盖玻璃110)后面的相机镜头100和相机传感器102。覆盖玻璃110可以是弯曲的，但不是必须的。基准120可被蚀刻或以其他方式施加到或集成在相机镜头100前方的覆盖玻璃110中。基准120被构造成影响来自相机前方的物场的输入光，以在对应于相机传感器102的表面的图像平面处引起2D巴克码状衍射图案122。由相机传感器102捕获的图像包含对应于由基准120引起的2D巴克码状衍射图案122的“阴影”。
该系统还可包括控制器150。控制器150可在HMD中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到HMD的外部设备(例如，计算系统)来实现。控制器150可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。虽然未示出，但系统还可包括耦接到控制器150的存储器。控制器150可以例如实现至少部分地基于从HMD上的一个或多个相机和其他传感器获得的输入来渲染包括虚拟内容的帧的算法，并且可以将帧提供给HMD的投影系统以用于显示。控制器150还可实现系统的其他功能例如眼睛跟踪算法。
由控制器150实现的图像处理算法可对由相机捕获的图像中的任何畸变(包括由覆盖玻璃110引入的畸变)敏感。覆盖玻璃110相对于相机的对准可在初始时间t0校准，并且该对准信息可被提供给图像处理算法以考虑由覆盖玻璃110引起的任何畸变。然而，在使用期间，例如通过碰撞或掉落HMD，覆盖玻璃110可能会移位或变得与相机未对准。
控制器150还可以基于由覆盖玻璃110上的基准120引起的2D巴克码状衍射图案122以及基于对应的2D巴克码内核124，实现用于检测覆盖玻璃110在t0后的移位的方法。这些算法可以例如在每次打开HMD时执行，或者在检测到HMD的突然摇摆或震动时执行。可以通过在互相关过程中将2D巴克码内核124应用于图像以检测图像中的互相关峰(衍射图案122的形心)，通过控制器150分析由相机捕获的一个或多个图像。然后可将所检测的形心的位置与覆盖玻璃110的校准位置进行比较，以确定覆盖玻璃110相对于相机在一个或多个自由度上的移位。然后，可将从移位确定的校准位置的覆盖玻璃偏移提供给图像处理算法，以考虑由相机捕获的图像中由移位的覆盖玻璃110引起的任何畸变。
在一些实施方案中，可跨多个图像收集互相关信息并进行平均以减小信噪比(SNR)并提供更准确的对准信息。跨多个图像进行平均还可促进使用具有低衰减(例如，1％衰减)的基准120。此外，分析一个图像提供像素分辨率下的对准信息，而跨多个图像进行平均提供子像素分辨率下的对准信息。
虽然总体上描述了产生2D巴克码状衍射图案122的基准120的实施方案，但也描述了产生其他衍射图案122(例如，“随机”图案)的基准120。当与由相机在图像中捕获的衍射图案122互相关时，对应的相关内核124提供可用于检测覆盖玻璃110中的移位的互相关峰。
图1B示出了根据一些实施方案的系统，其中覆盖玻璃包括在相机传感器上引起衍射图案的多个基准图案。该系统可以包括相机，该相机包括位于系统的覆盖玻璃110(例如，头戴式设备(HMD)的覆盖玻璃110)后面的相机镜头100和相机传感器102。覆盖玻璃110可以是弯曲的，但不是必须的。多个基准120A至120n可被蚀刻或以其他方式施加到或集成在相机镜头100前方的覆盖玻璃110中。基准120被构造成影响来自相机前方的物场的输入光，以在对应于相机传感器102的表面的图像平面处引起2D巴克码状衍射图案122A至122n。由相机传感器102捕获的图像包含对应于由基准120A至120n引起的2D巴克码状衍射图案122A至122n的“阴影”。
可以通过在互相关过程中将2D巴克码内核124应用于图像以检测图像中的衍射图案122A至122n的形心，通过控制器150分析由相机捕获的一个或多个图像。然后可将所检测的形心的位置与覆盖玻璃110的校准位置进行比较，以确定覆盖玻璃110相对于相机在多个自由度上的移位。然后，可将从移位确定的覆盖玻璃偏移提供给图像处理算法，以考虑由相机捕获的图像中由移位的覆盖玻璃110引起的任何畸变。
与仅使用一个基准120相比，使用相机的多个基准120A至120n可允许以更多自由度确定覆盖玻璃相对于相机的移位。
基准120A至120n可被构造成在相机传感器102上有效地引起相同的2D巴克码衍射图案122，或者可被构造成在相机传感器102上引起不同的2D巴克码衍射图案122。如果将两个或更多个不同的2D巴克码衍射图案122用于相机，则针对每个衍射图案122将相应的2D巴克码内核124应用于由相机捕获的图像，以检测对应于衍射图案122的互相关峰。
覆盖玻璃110的曲率和厚度可能要求在相机的不同位置处引起相同2D巴克码衍射图案122所需的基准图案120至少略有不同。
图1C示出了根据一些实施方案的具有多个相机的系统，其中覆盖玻璃包括在相应的相机传感器上引起衍射图案的多个基准图案。该系统可包括两个或更多个相机(在该示例中为三个)，每个相机包括位于系统的覆盖玻璃110(例如，头戴式设备(HMD)的覆盖玻璃110)后面的相机镜头(100A至100C)和相机传感器(102A至102C)。覆盖玻璃110可以是弯曲的，但不是必须的。基准120A至120C可被蚀刻或以其他方式施加到或集成在相应相机镜头100A至100C前方的覆盖玻璃110中。给定相机的基准120被构造成影响来自相机前方的物场的输入光，以在对应于相应相机传感器102的表面的图像平面处引起2D巴克码状衍射图案122。由相机传感器102捕获的图像包含对应于由相应基准120引起的2D巴克码状衍射图案122的“阴影”。
针对两个不同相机引起相同2D巴克码衍射图案所需的基准图案120可取决于一个或多个因素而不同，所述一个或多个因素包括但不限于相机处的覆盖玻璃110的曲率和厚度、相机镜头100距覆盖玻璃110的距离、相机的光学特性(例如，焦距比数、焦距、散焦距离等)以及相机的类型(例如，可见光相机对IR相机)。
可以通过在互相关过程中将2D巴克码内核124应用于图像以检测图像中的衍射图案122的形心，通过控制器150分析由相机捕获的一个或多个图像。然后可将所检测的形心的位置与覆盖玻璃110的校准位置进行比较，以确定覆盖玻璃110相对于相机在多个自由度上的移位。然后，可将从移位确定的覆盖玻璃偏移提供给图像处理算法，以考虑由相机捕获的图像中由移位的覆盖玻璃110引起的任何畸变。
在一些实施方案中，来自由系统中的相机的两个或更多个相机捕获的图像的互相关峰可以由控制器150一起收集和分析，以确定覆盖玻璃110的总体对准信息。例如，如果覆盖玻璃110在一个方向上移位并且相机全部是静止的，则应跨所有相机110检测到相同的移位。如果跨相机的移位存在差异，则可检测到覆盖玻璃110的弯曲或其他畸变。
图2A至图2C示出了根据一些实施方案的在相机传感器处获得2D巴克码状衍射图案。图2A示出了期望在相机传感器处作为衍射图案获得的示例性2D巴克码图案。图2B示出了示例性基准图案，该基准图案可以被蚀刻或以其他方式施加到覆盖玻璃以影响穿过覆盖玻璃的光，以便在相机传感器处获得期望的2D巴克码状衍射图案。需注意，基准图案本身不是2D巴克码。图2C示出了可以使用图2B中所示的示例性基准图案在相机传感器处获得的示例性2D巴克码状衍射图案。
图3示出了根据一些实施方案的将相关内核应用于包含2D巴克码状衍射图案的捕获图像以定位具有明确限定的形心的互相关图案。使用图2A至图2C作为示例，对应于图2A所示的2D巴克码的相关内核300可以在自相关过程中应用于包含图2B所示的衍射图案312的图像310，以精确定位衍射图案的形心324。自相关过程可生成相关矩阵320，该相关矩阵包括对应于衍射图案312的2D自相关322。然后，2D自相关322中的峰可以被识别为衍射图案形心324。
图4A是根据一些实施方案的使用覆盖玻璃上的基准检测设备的覆盖玻璃中的移位的方法的流程图，该基准在由设备的相机捕获的图像中引起衍射图案。例如，图4A和图4B的方法可以在图1A至图1C所示的系统中实现。
图4A是根据一些实施方案的用于检查设备的覆盖玻璃相对于设备的相机的移位的方法的流程图。如在400处所指示的，指示相对于相机镜头的覆盖玻璃位置的信息可例如在制造期间或之后执行的设备的校准期间被初始化。如在410处所指示的，在使用期间，算法(例如，图像处理算法)可在处理由相机捕获的图像时使用覆盖玻璃信息。在420处，设备可检测可能影响覆盖玻璃相对于相机镜头的对准并且因此可能需要检查以确定覆盖玻璃是否已经移位的事件。例如，设备可检测例如由于掉落或碰撞设备而引起的突然震动。又如，每当设备通电时，可执行检查。如果检测到需要检查的事件，则在430处，可捕获并处理至少一个图像以确定覆盖玻璃相对于相机镜头的偏移。
图4B是根据一些实施方案的用于从由覆盖玻璃上的基准引起的2D巴克码状衍射图案导出覆盖玻璃偏移的方法的流程图。例如，图4A的方法可以在图4A的元件430处实现。如在431处所指示的，穿过相机前面的覆盖玻璃的光受到覆盖玻璃上的一个或多个基准图案的影响。如在433处所指示的，光被相机镜头折射，以在相机传感器上的图像平面处形成图像；覆盖玻璃上的基准图案在传感器处引起类似2-D巴克码的衍射图案。如在435处所指示的，由相机捕获一个或多个图像。如在437处所指示的，将对应于2D巴克码的一个或多个相关内核应用于所述一个或多个图像以定位衍射图案形心。如果正使用正弦调制的巴克码，则可在应用相关内核之前使用解调方法来解调所捕获的图像。如在437处所指示的，覆盖玻璃相对于相机镜头的偏移从所定位的形心导出。在一些实施方案中，可将所检测的形心的位置与覆盖玻璃的校准位置进行比较，以确定覆盖玻璃相对于相机在多个自由度上的移位。所确定的覆盖玻璃偏移可被提供给一个或多个图像处理算法，以考虑由相机所捕获的图像中由移位的覆盖玻璃引起的任何畸变。
图5至图11示出了可在实施方案中使用的若干示例性2D巴克码，以及当应用于由相应基准引起的相应2D巴克码状衍射图案时它们相应的2D自相关图案。未示出相应的基准图案。需注意，引起相同2D巴克码状衍射图案所需的基准图案可取决于一个或多个因素而不同，所述一个或多个因素包括但不限于覆盖玻璃的曲率和厚度、相机镜头距覆盖玻璃的距离、相机的光学特性(例如，焦距比数、焦距、散焦距离等)以及相机的类型(例如，可见光相机对IR相机)。图5示出了2×2 2D巴克码及其相应的2D自相关图案。图6示出了3×3 2D巴克码及其相应的2D自相关图案。图7示出了4×4 2D巴克码及其相应的2D自相关图案。图8示出了5×5 2D巴克码及其相应的2D自相关图案。图9示出了7×7 2D巴克码及其相应的2D自相关图案。图10示出了13×13 2D巴克码及其相应的2D自相关图案。
图11示出了循环2D巴克码及其相应的2D自相关图案。如图11所示的循环移位的2D巴克码可生成多个峰。
图12和图13示出了可以在实施方案中使用的示例性随机(非巴克)码及其相应的2D自相关图案。图12示出了7×7 2D随机码及其相应的2D自相关图案。图13示出了13×132D随机码及其相应的2D自相关图案。
图14示出了可以在实施方案中使用的示例性正弦调制的2D巴克码及其相应的自相关图案。当处理包含对应于由相应基准图案(未示出)引起的正弦调制的2D巴克码的衍射图案的图像时，正弦调制的2D巴克码可改善信噪比(SNR)。使用正弦调制的2D巴克码还可以减少由相应基准图案引起的对背景图像内容的影响。正弦调制的2D巴克码也可以很好地执行，同时提供由相应基准图案引起的低衰减(例如，1％衰减)。
图15A至图15C示出了可以在实施方案中使用的示例性正弦调制的2D巴克码及其相应的自相关图案。图15A示出了示例性的正弦调制的2D巴克码。解调过程可应用于包含正弦调制的2D巴克码状衍射图案的图像，以生成解调的2D巴克码，如图15B所示。图15C示出了通过将相应的2D巴克码内核应用于解调图像，从图15B中所示的解调的2D巴克码获得的自相关图案。
图16示出了可在实施方案中使用的示例性圆形2D巴克码及其相应的自相关图案。图16(A)示出了基本圆形巴克码及其相应的自相关图案。图16(B)示出半径校正的圆形巴克码及其相应的自相关图案。图16(C)示出了“翻转”圆形巴克码及其相应的自相关图案。虽然图16示出了示例性圆形2D巴克码，但也可使用圆形随机(非巴克)码。
图17A至图17D示出了根据一些实施方案的包括具有50％衰减的2D巴克码衍射图案的图像的处理。图17A示出了由相机捕获的真实图像，该真实图像包括由相机前面的覆盖玻璃上的基准图案引起的具有50％衰减的2D巴克码衍射图案。白色虚线正方形指示图像内包括2D巴克码衍射图案的区域。图17B示出了在自相关过程中应用于图17A的图像以定位图像中的衍射图案的2D巴克码相关内核。图17C示出了由自相关过程生成的相关矩阵。白色虚线正方形指示包括自相关图案的区域。区域中心的较亮点是自相关图案的互相关峰或形心。图17D示出了图17C所示的白线处的自相关图案的1D横截面。
图18A至图18D示出了根据一些实施方案的包括具有10％衰减的2D巴克码衍射图案的图像的处理。图18A示出了由相机捕获的真实图像，该真实图像包括由相机前面的覆盖玻璃上的基准图案引起的具有10％衰减的2D巴克码衍射图案。白色虚线正方形指示图像内包括2D巴克码衍射图案的区域。需注意，该衍射图案比图17A的衍射图案更不可见。图18B示出了在自相关过程中应用于图18A的图像以定位图像中的衍射图案的2D巴克码相关内核。图18C示出了由自相关过程生成的相关矩阵。白色虚线正方形指示包括自相关图案的区域。区域中心的较亮点是自相关图案的互相关峰或形心。图18D示出了图18C所示的白线处的自相关图案的1D横截面。
图19A至图19C示出了根据一些实施方案的包括具有1％衰减的正弦调制的2D巴克码衍射图案的图像的处理。图19A示出了示例性的正弦调制的2D巴克码。图19B示出了由相机捕获的真实图像，该真实图像包括由相机前面的覆盖玻璃上的基准图案引起的具有1％衰减的正弦调制的2D巴克码衍射图案。白色虚线正方形指示图像内包括正弦调制的2D巴克码衍射图案的区域。需注意，该衍射图案比图17A和图18A的衍射图案更不可见。图19C示出了在自相关过程中应用于图像以定位图像中的衍射图案的正弦调制的2D巴克码相关内核。图19C还示出了由自相关过程生成的互相关矩阵。白色虚线正方形指示包括自相关图案的区域。区域中心的点是自相关图案的互相关峰或形心。图19C还示出了在图19C所示的互相关矩阵的白线处的自相关图案的1D横截面。
另外的基准图案示例
图21A至图21D示出了可在实施方案中使用的示例性非巴克码图案。图21A示出了期望在相机传感器处作为衍射图案获得的示例性非巴克码图案。图21B示出了示例性基准图案，该基准图案可以被蚀刻或以其他方式提供在覆盖玻璃上以影响穿过覆盖玻璃的光，以便在相机传感器处获得期望的非巴克码状衍射图案。需注意，基准图案本身不是非巴克码。图21C示出了可以使用图21B中所示的示例性基准图案在相机传感器处获得的示例性非巴克码状衍射图案。图21D示出了通过将相应的非巴克码内核应用于图像从图21C所示的衍射图案获得的自相关图案。中心的较亮点是对应于衍射图案的互相关峰。
图22A至图22D示出了可在实施方案中使用的示例性低通非巴克码图案。图22A示出了期望在相机传感器处作为衍射图案获得的示例性低通非巴克码图案。图22B示出了示例性基准图案，该基准图案可以被蚀刻或以其他方式提供在覆盖玻璃上以影响穿过覆盖玻璃的光，以便在相机传感器处获得期望的低通非巴克码状衍射图案。需注意，基准图案本身不是低通非巴克码。图22C示出了可以使用图22B中所示的示例性基准图案在相机传感器处获得的示例性低通非巴克码状衍射图案。图22D示出了通过将相应的低通非巴克码内核应用于图像从图22C所示的衍射图案获得的自相关图案。中心的较亮点是对应于衍射图案的互相关峰。
图23A至图23C示出了可在实施方案中使用的示例性7位2D巴克码图案。图23A示出了期望在相机传感器处作为衍射图案获得的示例性7位2D巴克码图案。图23B示出了示例性基准图案，该基准图案可以被蚀刻或以其他方式提供在覆盖玻璃上以影响穿过覆盖玻璃的光，以便在相机传感器处获得期望的7位2D巴克码图案。需注意，基准图案本身不是7位2D巴克码图案。图23C示出了可以使用图23B中所示的示例性基准图案在相机传感器处获得的示例性7位2D巴克码图案。
图24A至图24C示出了可在实施方案中使用的另一个示例性7位2D巴克码图案。图24A示出了期望在相机传感器处作为衍射图案获得的示例性7位2D巴克码图案。图24B示出了示例性基准图案，该基准图案可以被蚀刻或以其他方式提供在覆盖玻璃上以影响穿过覆盖玻璃的光，以便在相机传感器处获得期望的7位2D巴克码图案。需注意，基准图案本身不是7位2D巴克码图案。图24C示出了可以使用图24B中所示的示例性基准图案在相机传感器处获得的示例性7位2D巴克码图案。
非二进制梯度基准图案
先前描述的示例性基准图案是“二进制”图案，其在图案中包括黑色(完全阻光)和透光(非阻光)区域。然而，在一些实施方案中，可以使用包括仅部分阻挡光的区域的非二进制梯度基准图案。需注意，这些非二进制梯度基准图案也可但不是必须包括黑色和/或透光区域，并且部分阻光区域可以在它们阻挡的光的量上变化。图25A至图25D和图26A至图26D示出了非二进制梯度图案的非限制性示例。
图25A至图25D示出了可在实施方案中使用的示例性非二进制梯度图案。图25A示出了期望在相机传感器处作为衍射图案获得的示例性衍射图案。图25B示出了示例性非二进制梯度基准图案，该非二进制梯度基准图案可以被蚀刻或以其他方式提供在覆盖玻璃上以影响穿过覆盖玻璃的光，以便在相机传感器处获得期望的衍射图案。图25C示出了可以使用图25B中所示的示例性基准图案在相机传感器处获得的示例性衍射图案。图25D示出了通过将相应的内核应用于图像从图25C所示的衍射图案获得的自相关图案。中心的较亮点是对应于衍射图案的互相关峰。
图26A至图26D示出了可在实施方案中使用的示例性“翻转”非二进制梯度图案。图26A示出了期望在相机传感器处作为衍射图案获得的示例性“翻转”衍射图案(在该示例中，图26A的衍射图案是倒置的)。图26B示出了示例性非二进制梯度基准图案，该非二进制梯度基准图案可以被蚀刻或以其他方式提供在覆盖玻璃上以影响穿过覆盖玻璃的光，以便在相机传感器处获得期望的衍射图案。图26C示出了可以使用图26B中所示的示例性基准图案在相机传感器处获得的示例性衍射图案。图26D示出了通过将相应的内核应用于图像从图26C所示的衍射图案获得的自相关图案。中心的较亮点是对应于衍射图案的互相关峰。
用于降低衰减的图案离散化
在一些实施方案中，可在覆盖玻璃上使用稀疏的基准图案。使用稀疏图案而不是完整基准图案可以(例如)降低衰减并降低由图案引起的图像质量的劣化。图27A和图27B比较了根据一些实施方案的覆盖玻璃上的示例性完整基准图案和稀疏基准图案。图27A示出了蚀刻或以其他方式提供在覆盖玻璃上的示例性完整基准图案。完整图案可具有较大衰减并且可降低图像的质量。图27B示出了对应于蚀刻或以其他方式提供在覆盖玻璃上的图27A的完整图案的示例性稀疏基准图案。稀疏图案具有比完整图案更小的衰减，并且当与完整图案相比时产生图像质量的降低的劣化。
图27C示出了根据一些实施方案的覆盖玻璃上的示例性完整图案。图27D和图27E示出了根据一些实施方案的对应于覆盖玻璃上的图27C的完整图案的示例性稀疏图案。图27D示出了整个稀疏图案。图27E示出了图27D的图案的区域的放大。在该示例中，稀疏图案由间隔开33μm的10μm正方形构成。需注意，可使用稀疏图案中的元素的其他形状、尺寸和间距。
图27F和图27G比较了根据一些实施方案的覆盖玻璃上的示例性完整图案和稀疏图案的传感器上的衍射图案。图27F示出了通过图27C的完整图案实现的衍射图案。图27G示出了通过图27D的稀疏图案实现的衍射图案。如图27F和图27G所示，利用覆盖玻璃上的稀疏图案，衰减被降低(在该示例中从20降低到1.2)，并且传感器上的衍射图案的形状被保留。
在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种用于处理图像的系统，包括：
相机，所述相机包括相机镜头和相机传感器；
覆盖玻璃，所述覆盖玻璃在所述相机镜头的物侧，所述覆盖玻璃包括基准图案，所述基准图案被构造成影响从物场接收的光，以在由所述相机镜头在所述相机传感器的表面处形成的图像中引起衍射图案；和
一个或多个处理器，所述一个或多个处理器被配置为：
将相关技术应用于由所述相机捕获的至少一个图像，以定位所述相机传感器上的所述衍射图案的形心；
确定所述覆盖玻璃相对于所述相机镜头从所定位的形心的偏移；以及
将所确定的偏移应用于由所述相机捕获的一个或多个图像以考虑在处理一个或多个图像期间覆盖玻璃相对于相机镜头的相应移位引起的一个或多个图像的畸变。
2.根据权利要求1所述的系统，其中为了确定所述覆盖玻璃相对于所述相机镜头从所定位的形心的偏移，所述一个或多个处理器被配置为将所述形心在所述相机传感器上的位置与在校准过程期间确定的所述相机传感器上的已知位置进行比较。
3.根据权利要求1所述的系统，其中，将相关技术应用于由所述相机捕获的至少一个图像以定位所述相机传感器上的所述衍射图案的形心，所述一个或多个处理器被配置为将对应于所述衍射图案的相关内核应用于由所述相机传感器捕获的至少一个图像，以定位所述相机传感器上的所述衍射图案的形心。
4.根据权利要求3所述的系统，其中所述相关内核是二维(2D)巴克码。
5.根据权利要求3所述的系统，其中所述相关内核是正弦调制的二维(2D)巴克码。
6.根据权利要求3所述的系统，其中所述衍射图案是正弦调制的二维(2D)巴克码衍射图案，其中所述相关内核是2D巴克码，并且其中所述一个或多个处理器被配置为在将所述相关内核应用于所述一个或多个图像之前，将解调方法应用于所述一个或多个图像以解调所述正弦调制的巴克码衍射图案。
7.根据权利要求3所述的系统，其中所述相关内核是圆形二维(2D)巴克码。
8.根据权利要求3所述的系统，其中所述相关内核是二维(2D)随机码。
9.根据权利要求1所述的系统，其中为了将相关技术应用于由所述相机捕获的至少一个图像以定位所述相机传感器上的所述衍射图案的形心，所述一个或多个处理器被配置为：
将所述相关技术应用于由所述相机捕获的多个图像，以定位所述相机传感器上的所述衍射图案；
跨所述多个图像对所述衍射图案进行平均；以及
从所平均的衍射图案定位所述相机传感器上的所述衍射图案的形心。
10.根据权利要求1所述的系统，其中所述相机和所述覆盖玻璃是头戴式设备(HMD)的部件。
11.根据权利要求1所述的系统，
其中所述覆盖玻璃包括两个或更多个基准图案，所述两个或更多个基准图案被构造成影响从所述物场接收的光以在由所述相机镜头在所述相机传感器的所述表面处形成的图像中引起两个或更多个衍射图案；以及
其中，将相关技术应用于由所述相机捕获的至少一个图像，以定位所述相机传感器上的所述衍射图案的形心，
所述一个或多个处理器被配置为：
将对应于所述衍射图案的相应相关内核应用于由所述相机捕获的至少一个图像，以定位所述相机传感器上的所述衍射图案的形心；并且
确定所述覆盖玻璃相对于所述相机镜头从所定位的形心的偏移。
12.根据权利要求1所述的系统，
其中所述系统包括位于所述覆盖玻璃后面的两个或更多个相机，每个相机包括相机镜头和相机传感器；
其中对于所述两个或更多个相机中的每个相机，所述覆盖玻璃包括一个或多个基准图案，所述一个或多个基准图案被构造成影响从所述物场接收的光，以在由相应相机镜头在相应相机传感器的表面处形成的图像中引起相应的一个或多个衍射图案；
其中，将相关技术应用于由所述相机捕获的至少一个图像，以定位所述相机传感器上的所述衍射图案的形心，
所述一个或多个处理器被配置为：
将对应于所述衍射图案的相应相关内核应用于由所述两个或更多个相机捕获的图像，以定位所述相机传感器上的所述衍射图案的形心；以及
确定所述覆盖玻璃相对于所述相机镜头从所定位的形心的畸变或移位。
13.一种用于处理图像的方法，包括：
在相机镜头的物侧上的覆盖玻璃处接收来自物场的光，所述覆盖玻璃包括基准图案；
由所述相机镜头折射通过所述覆盖玻璃接收的所述光以在相机传感器的表面处形成图像，其中所述基准图案影响所述光以在所述图像中引起衍射图案；
由所述相机传感器捕获一个或多个图像；
由一个或多个处理器将对应于所述衍射图案的相关内核应用于由所述相机传感器捕获的至少一个图像，以定位所述相机传感器上的所述衍射图案的形心；
由所述一个或多个处理器确定所述覆盖玻璃相对于所述相机镜头从所定位的形心的移位，以及
调整对由所述相机捕获的一个或多个图像的处理以考虑所述覆盖玻璃相对于所述相机镜头的所确定的移位。
14.根据权利要求13所述的方法，其中确定所述覆盖玻璃相对于所述相机镜头从所定位的形心的所述移位包括将所述形心在所述相机传感器上的位置与在校准过程期间确定的所述相机传感器上的已知位置进行比较。
15.根据权利要求13所述的方法，其中所述相关内核是二维(2D)巴克码或正弦调制的二维(2D)巴克码中的一者。
16.根据权利要求13所述的方法，其中所述衍射图案是正弦调制的二维(2D)巴克码衍射图案，其中所述相关内核是2D巴克码，并且其中所述方法还包括在将所述相关内核应用于所述一个或多个图像之前，将解调方法应用于所述一个或多个图像以解调所述正弦调制的巴克码衍射图案。
17.根据权利要求13所述的方法，其中所述相关内核是圆形二维(2D)巴克码或二维(2D)随机码中的一者。
18.根据权利要求13所述的方法，其中将对应于所述衍射图案的相关内核应用于由所述相机捕获的至少一个图像以定位所述相机传感器上的所述衍射图案的形心包括：
将所述相关内核应用于由所述相机捕获的多个图像，以定位所述相机传感器上的所述衍射图案；
跨所述多个图像对所述衍射图案进行平均；以及
从所平均的衍射图案定位所述相机传感器上的所述衍射图案的形心。
19.根据权利要求13所述的方法，其中所述覆盖玻璃包括两个或更多个基准图案，所述两个或更多个基准图案影响从所述物场接收的光以在由所述相机镜头在所述相机传感器的所述表面处形成的图像中引起两个或更多个衍射图案，所述方法还包括：
将对应于所述衍射图案的相应相关内核应用于由所述相机捕获的至少一个图像，以定位所述相机传感器上的所述衍射图案的形心；以及
确定所述覆盖玻璃相对于所述相机镜头从所定位的形心的移位。
20.根据权利要求13所述的方法，其中存在位于所述覆盖玻璃后面的两个或更多个相机，每个相机包括相机镜头和相机传感器，其中对于所述两个或更多个相机中的每个相机，所述覆盖玻璃包括一个或多个基准图案，所述一个或多个基准图案被构造成影响从所述物场接收的光以在由相应相机镜头在相应相机传感器的表面处形成的图像中引起相应的一个或多个衍射图案，所述方法还包括：
将对应于所述衍射图案的相应相关内核应用于由所述两个或更多个相机捕获的图像，以定位所述相机传感器上的所述衍射图案的形心；以及
确定所述覆盖玻璃相对于所述相机镜头从所定位的形心的畸变或移位。
CN202010986202.3A 2019-09-27 2020-09-18 用于处理图像的系统和方法 Active CN112584133B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962907414P 2019-09-27 2019-09-27
US62/907,414 2019-09-27
US17/021,943 US11709372B2 (en) 2019-09-27 2020-09-15 Object localization system
US17/021,943 2020-09-15

Publications (2)

Publication Number Publication Date
CN112584133A CN112584133A (zh) 2021-03-30
CN112584133B true CN112584133B (zh) 2024-08-02

Family

ID=75119597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010986202.3A Active CN112584133B (zh) 2019-09-27 2020-09-18 用于处理图像的系统和方法

Country Status (2)

Country Link
US (2) US12174396B2 (zh)
CN (1) CN112584133B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022271689A1 (en) * 2021-06-25 2022-12-29 Illumina, Inc. Fiducials for use in registration of a patterned surface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452116A (zh) * 2007-12-03 2009-06-10 三星电机株式会社 光调制器、光调制器模块以及包括其的扫描显示装置
JP2013257187A (ja) * 2012-06-11 2013-12-26 Ricoh Co Ltd 移動情報検出装置および多色画像形成装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341213A (en) * 1992-07-21 1994-08-23 Avco Corporation Alignment of radiation receptor with lens by Fourier optics
US7231063B2 (en) * 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
US7671321B2 (en) * 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US7777872B2 (en) * 2007-07-31 2010-08-17 Alcon Research, Ltd. Method of measuring diffractive lenses
GB201105902D0 (en) * 2011-04-07 2011-05-18 Sonitor Technologies As Location system
US20140022373A1 (en) * 2012-07-20 2014-01-23 University Of Utah Research Foundation Correlative drift correction
US11380008B2 (en) * 2016-05-06 2022-07-05 Innovega Inc. Gaze tracking system with contact lens fiducial
DE102017207304A1 (de) * 2016-05-25 2017-11-30 Heidelberger Druckmaschinen Ag Verfahren zur Erkennung von Druckdüsenfehlern in einer Inkjetdruckmaschine
JP7154230B2 (ja) * 2017-05-15 2022-10-17 アウスター インコーポレイテッド 輝度を増強した光学撮像送信器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452116A (zh) * 2007-12-03 2009-06-10 三星电机株式会社 光调制器、光调制器模块以及包括其的扫描显示装置
JP2013257187A (ja) * 2012-06-11 2013-12-26 Ricoh Co Ltd 移動情報検出装置および多色画像形成装置

Also Published As

Publication number Publication date
US20250076672A1 (en) 2025-03-06
US20230314828A1 (en) 2023-10-05
US12174396B2 (en) 2024-12-24
CN112584133A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
US11709372B2 (en) Object localization system
CN107181918B (zh) 一种光学动捕摄像机的拍摄控制方法及系统
CN108012147A (zh) Ar成像系统虚像距测试方法及装置
WO2017112041A1 (en) Morphological and edge filters for depth edge enhancement in digital images
WO2011119267A2 (en) Blur function modeling for depth of field rendering
RU2017139576A (ru) Устройство, система и способ определения одного или более оптических параметров линзы
US9363427B2 (en) Device and method for calibrating a temporal contrast sensor with a frame-based camera sensor
CN108267299A (zh) Ar眼镜瞳距测试方法及装置
JP6984071B6 (ja) 器具なしレンズメータシステム
JP7061883B2 (ja) 画像表示装置および画像表示方法
JP2018528631A (ja) ステレオオートフォーカス
KR20150019393A (ko) 홍채 영상 촬영 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 홍채 영상 촬영 장치
CN112255239B (zh) 污染位置检测方法、装置、设备及计算机可读存储介质
WO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Nagase et al. Dynamic defocus and occlusion compensation of projected imagery by model-based optimal projector selection in multi-projection environment
CN111694158A (zh) 近眼显示装置的校准方法、校准设备及校准系统
US20260012714A1 (en) High dynamic range for dual pixel sensors
CN111010554B (zh) 投影处理方法、装置、投影仪及可读存介质
US20250076672A1 (en) Object Localization System
JPWO2015128908A1 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
KR100960269B1 (ko) 눈동자 시선 추정 장치 및 추정 방법
JP6075624B2 (ja) 位置情報取得装置及び画像表示システム
CN111127537A (zh) 用于检测头戴式装置中的阴影的方法和装置
Perezyabov et al. Application for determining the modulation transfer function of the smartphone built-in camera
CN106101542A (zh) 一种图像处理方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant