CN116964686A - 用于光学检查的处理装置和检查设备以及对应的方法 - Google Patents

用于光学检查的处理装置和检查设备以及对应的方法 Download PDF

Info

Publication number
CN116964686A
CN116964686A CN202180095109.6A CN202180095109A CN116964686A CN 116964686 A CN116964686 A CN 116964686A CN 202180095109 A CN202180095109 A CN 202180095109A CN 116964686 A CN116964686 A CN 116964686A
Authority
CN
China
Prior art keywords
sample
inspection
data
instructions
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095109.6A
Other languages
English (en)
Inventor
焦琳淇
杨春鑫
张飞
周元平
李民权
赵伟
冯圣威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystem Technology Suzhou Co ltd
Original Assignee
Leica Microsystem Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystem Technology Suzhou Co ltd filed Critical Leica Microsystem Technology Suzhou Co ltd
Publication of CN116964686A publication Critical patent/CN116964686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181—Memory or computer-assisted visual determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/126—Microprocessor processing
    • G01N2201/1266—Interface card
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

一种检查系统和对应的方法。检查系统包括一种在用于样本(160)光学检查的检查设备(100)中使用的处理装置(130)，该处理装置(130)配置成：联接到光学检查手段(110)的摄像机(116)，联接到包括显示手段(122)的用户接口手段(120)，从用户接口手段(120)和/或摄像机(116)接收输入数据，向用户接口手段(120)提供输出数据，并且联接到存储手段(180)并且访问存储手段(180)以存储和提取数据；其中，处理装置(130)配置成通过访问存储在存储手段(180)处的指令数据(190)，经由用户接口手段(120)提供用于将由用户(150)执行的样本(160)光学质量检查的指令(192)，使得指令(192)作为输出数据提供到用户接口手段(120)，其中指令(192)包括针对用户(150)的关于要对哪个样本(160)执行哪种光学质量检查的预定义指令，其中处理装置(130)配置成经由用户接口手段(120)从光学质量检查接收质量报告数据(196)和/或接收由摄像机(116)获取的图像的图像数据作为输入数据，并且将质量报告数据(196)和/或图像数据存储在存储手段(180)中。

Description

用于光学检查的处理装置和检查设备以及对应的方法
技术领域
本发明本质上涉及一种在用于样本光学检查的检查设备中使用的处理装置、这种检查设备以及用于执行样本的光学质量检查、用于设定检查设备以及用于操作这种处理装置的方法。
背景技术
在不同的技术领域中需要对对象或样本进行光学检查。例如，在医疗技术中，像支架这样的部件在最终使用前必须经过特定质量要求的核查。这种质量检查可以通过肉眼或使用像显微镜的放大仪器来进行。任何检查结果，如“合格”或“不合格”，可以用手或例如在简单的数字表格记录下来。
发明内容
根据本发明，提出了具有独立权利要求的特征的处理装置、检查设备、用于执行光学质量检查的方法、用于设定检查设备的方法和用于操作这种处理装置的方法以及对应的计算机程序。有利的进一步发展形成了从属权利要求和后续描述的主题。
本发明涉及用于样本的光学检查(特别是光学质量检查)的检查设备、与这种设备一起使用或在这种设备中使用的处理装置，并且还涉及用于执行样本的光学质量检查、设定这种检查设备以及操作这种处理装置的方法。特别地，这种样本可以包括医疗部件或零件，如支架、医用螺钉等。然而，当然也可以检查不同种类的样本。这种检查设备包括光学检查手段(或光学检查装置)、用户接口手段或装置以及处理装置。光学检查手段包括摄像机(即图像采集手段)，并且优选地，还包括用户可以用来详细检查和放大样本的显微镜。用户接口手段包括显示手段，如监视器(显示器)，并且优选地，还包括用户输入手段或装置，如键盘和/或计算机鼠标。此外，用户接口手段可以包括触摸显示器，该触摸显示器然后形成显示手段和用户输入手段的组合。
摄像机可以与显微镜结合，也可以与用户接口手段或其至少一部分结合。例如，摄像机可以附接到显微镜，以允许经由显微镜对样本(实时)成像。此外，显示手段可以集成到显微镜中(即，作为用户接口手段的一部分的显示手段也是光学检查手段的一部分)，使得显示手段上显现的内容耦合到显微镜的光路中。
处理装置是通信地联接到用户接口手段(包括显示手段)以及还到摄像机的计算单元。这允许从用户接口手段和从摄像机接收输入数据，并向用户接口手段、特别是显示手段提供输出数据。这样，操作可以由处理装置控制。注意，处理装置可以包括用于连接相应部件的每一个的单独的通信接口；然而，也可以将多个部件连接到处理装置的公共接口。例如，可以为摄像机、键盘和计算机鼠标提供单独的USB接口(当然，键盘和计算机鼠标也可以连接到公共USB接口)。可以为显示器提供HDMI接口。
优选地，提供存储手段，在该存储手段上可以存储数据，例如用于用户要执行的光学质量检查的指令。此外，在这种光学质量检查期间获得的数据(质量报告数据)可以存储在其上。这种存储手段也可以例如经由接口连接或通信地联接到处理装置。通常，可以使用不同种类的存储手段，如基于文件夹的数据存储器和/或数据库服务器。
因此，该处理装置配置成通信地联接(连接)到光学检查手段的摄像机，通信地联接到包括显示手段的用户接口手段，从用户接口手段和/或从摄像机接收输入数据，向用户接口手段提供输出数据，以及通信地联接到存储手段并访问存储手段以存储和提取数据.
为了便于样本的光学检查并确保样本的足够质量，可以为用户提供特定的指令，特别是包括具有对样本执行不同检查步骤的一种工作流程。为了实现这一点，本发明提出将指令数据(指令数据包括用于由用户执行的样本的光学质量检查的指令)存储在存储手段上或在存储手段处。然后处理装置访问这些指令数据，并经由用户接口手段提供用于待执行的样本的光学质量检查的指令，使得指令作为输出数据提供到用户接口手段。这些指令包括针对用户的关于对哪个样本执行哪种光学质量检查的预定义指令。如上所述，工作流程中可能有不同的步骤和不同的指令。关于这种指令的更多细节，参见附图和对应的描述。
对样本执行光学质量检查的用户然后必须(特别是根据指令)获取关于样本的不同数据，如测量值、缺陷，并且还可能需要获取样本的图像，特别是借助于光学检查手段的摄像机。因此，用户必须建立一种质量报告。参考这种质量报告的数据(在下文中也称为质量报告数据)随后由用户使用用户接口手段创建，并发送到处理装置，以便存储在存储手段中。因此，处理装置经由用户接口从光学质量检查接收质量报告数据。此外，处理装置可以接收由摄像机获取的图像的图像数据作为输入数据。处理装置然后将质量报告数据和/或图像数据存储在存储手段中。
这允许用户对样本的光学质量检查严格按照预定义指令，这些指令存储在，例如中央存储手段中。稍后将更详细地解释这些指令的定义。此外，所有质量报告或质量报告数据将存储在相同位置，因此，允许集中访问所有质量报告。具体而言，这些检查设备(或相应的处理装置)中的多个可以连接到相同的存储手段，并且因此全部提供有相同的指令，并且允许在相同位置存储所有的质量报告。
优选地，指令还包括至少一个由显示手段显示的预定义覆盖图，使得覆盖图虚拟地覆盖当前由光学检查手段和/或经由显示手段观察的样本(例如，直接通过显微镜的目镜，且覆盖图耦合到光路中，或者间接由摄像机捕获并显示在监视器上，作为样本的实时图像，覆盖图也呈现在监视器上)。用户将使用该覆盖图对样本进行特定的光学质量检查。这种覆盖图可以包括，例如，样本必须具有的形状或样本形状必须在其中的区域。特别地，摄像机由处理装置控制以获取当前观察的样本的实时图像；控制显示手段显示实时图像和覆盖图，使得覆盖图虚拟地覆盖到实时图像。
优选地，当前观看的样本的实时图像和覆盖图是匹配的。这尤其允许基于覆盖图和样本的实时图像之间对应几何尺寸测量的差异来确定质量特性。然后，质量报告可以特别地包括基于质量特性确定的合格或不合格记录。这种覆盖图的使用允许对样本进行快速和有效的光学质量检查，因为执行检查的用户或操作者由样本必须满足的(自动地)显示的要求(特定的测量、形状等)支持。虽然覆盖图和样本的匹配可以由用户执行(例如，通过相对于覆盖图定位样本)，但是这种匹配也可以通过处理装置自动地执行。这可以包括，例如，对样本的实时图像的图像分析，其具有在实时图像中检测样本的边缘，并相应地定向覆盖图。
如上所述，本发明还涉及一种用于设定这种检查设备的方法。除了将处理装置联接或连接到相应的部件和手段并相应地配置处理装置之外，如前所述，这种设定还包括创建指令数据，该指令数据包括用于由用户执行的样本的光学质量检查的指令，并将指令数据存储在存储手段中。这种创建包括定义针对用户关于要对哪个样本执行哪种质量检查、关于要制作哪个质量报告以及关于要从样本获取哪个图像的指令。
优选地，指令数据和其中包含的指令不是由用户或操作者定义以执行光学质量检查，而是由另一个人，如(质量)管理员定义，该管理员知道在这种质量检查期间必须从特定样本或特定种类的样本获得的所有数据。此外，多个样本的质量报告也可以由例如(质量)管理员，从存储手段获得并被核查和/或批准；然后可能会创建批量报告。这种光学质量检查过程的进一步概述在附图中示出。
此外，要注意的是，处理装置中的每一个可以配置成使得其允许执行由文献WO2020/182088A1中公开的摄像机(一种智能或智慧摄像机)的集成处理手段提供的一些或所有任务，该文献涉及数字显微镜摄像机和具有允许对样本成像的这种摄像机的显微镜。与这种智能摄像机相比，本发明中提出的处理装置是与摄像机分开提供的装置，因此可以根据用户或顾客的需要与不同的摄像机结合使用。
本发明的其他优点和实施例将从说明书和附图中变得显而易见。
应当注意，在不脱离本发明的范围的情况下，前面提到的特征和下面将进一步描述的特征不仅可用于分别指出的组合中，而且可用于进一步的组合或单独使用。
附图说明
图1示出了根据本发明优选实施例中的检查设备的示意图。
图2示出了作为图1检查设备的一部分的处理装置的详细视图。
图3示意性地示出了描述根据本发明优选实施例的方法的流程图。
图4示意性地示出了根据本发明优选实施例的光学质量检查中的步骤。
图5示意性地示出了根据本发明另一优选实施例中的光学质量检查中的步骤。
具体实施方式
图1示出了根据本发明优选实施例中的检查设备100的示意图。检查设备100包括光学检查手段110、用户接口手段120和处理装置130。光学检查手段110包括具有物镜112和目镜114的显微镜112，以及摄像机116。举例来说，摄像机116联接到显微镜112，并与目镜114分离，使得用户或操作者150可以经由目镜114观察或光学检查样本160，同时，摄像机116可以获取样本160的实时图像。摄像机116通信地联接到处理装置130。如果需要，处理装置130可以通过安装支架安装到显微镜。
用户接口手段120包括呈监视器或显示器形式的显示手段122，以及作为输入手段的键盘124和计算机鼠标126。这些部件手段122、键盘124和计算机鼠标126中的每一个都连接(通信地联接)到处理装置130。因此，用户也可以经由显示手段观察或光学检查样本。此外，单独的目镜可以省略。
此外，存储手段180例如经由以太网或互联网连接到处理装置130。存储手段可以如前所述，提供基于文件夹的数据存储，用于存储指令数据190、质量报告数据196和图像，并且将在下面进一步详细描述。当然，也可以使用其他或附加的存储手段，如运行数据库的服务器，并连接到处理装置130。举例来说，指令192和质量报告194显示在显示手段122上。
图2示出了图1的处理装置130的更详细视图，特别是后视图。处理装置130包括处理器(CPU)231和多个(通信)接口或端口。举例来说，这些接口包括以太网接口232、四个USB接口233(这些可以是不同种类的，例如USB 3.0和/或USB 2.0)和HDMI接口234。此外，提供了电源插座235。以太网接口232可用于将处理装置130连接到网络，USB接口232可用于将处理装置130连接到摄像机116、键盘124和计算机鼠标126。HDMI接口234可以用于将处理装置130连接到显示手段122。此外，示出了WIFI电子狗236，其可以连接到USB接口233中的一个，以便提供另一个网络连接。如果需要，可以连接另外的部件，如条形码扫描仪和/或脚踏开关(可以认为是用户接口手段)。此外，还可以连接另外的(移动)存储装置。请注意，这些接口及其用于连接仅用于说明目的。
经由网络，处理装置130可以连接到存储手段(也参见上面的说明)和/或到其他检查设备的其他处理装置。
图3示出了光学质量检查过程，如本发明中的方法提出的，光学质量检查过程包括设定检查设备，特别聚焦在指令和质量报告上。步骤300至320涉及设定检查设备，即用于样本检查的装备。这些步骤包括(步骤300)将处理装置通信地联接到用户接口手段和摄像机，(步骤305)将处理装置通信地联接到存储手段，(步骤310)将处理装置配置成访问存储手段以存储和提取数据，(步骤315)将处理装置配置成根据请求向用户提供指令，以及(步骤320)将处理装置配置成在提供指令期间根据请求存储质量报告数据和图像数据。
这些步骤基本上是在开始任何质量检查前要执行的准备步骤。注意，步骤的顺序不一定必须是示出和描述的顺序。如上所述，具有指令的指令数据必须在检查前创建并存储在存储手段上。这种创建可以在参照步骤330至360描述的以下过程中发生。
在步骤330中，创建对特定样本或特定种类的样本(如特定支架等)要执行的指令。这些指令可以是或包括用户或操作者在这种样本的光学质量检查期间必须执行的一种工作流程或步骤序列。例如，这些指令由负责整个过程的管理员来定义。
在步骤335中，这些指令由管理员提交给例如负责总体质量控制的质量管理员。在步骤340中，质量管理器核查用于例如质量相关方面的指令。如果指令满足要求，质量管理员批准指令。否则，可以修改指令，即再次执行步骤330。批准的指令以指令数据的形式或包含在指令数据中存储在存储手段上。注意，同样在步骤330中，指令可以存储在存储手段上，并且质量管理器在步骤340中访问指令数据以核查和/或批准它们。例如，只有批准的指令才允许用户访问。为了创建和/或核查/批准指令，可以使用检查设备。然而，也可以使用连接到存储手段(例如，经由网络)的另一台计算机。
在步骤345中，用户或操作者使用检查设备，对一个或更多个样本执行根据先前定义的指令的光学质量检查。在该步骤中，如上所述，经由显示手段向用户提供指令。关于这些指令看起来如何的进一步细节将在下面给出。在步骤350中，用户提交质量检查报告，该报告然后以质量报告数据的形式存储在存储手段上。注意，关于如何创建这样的质量报告或数据，可能有不同的方式。例如，用户可以在根据工作流程的每个检查步骤后，经由用户接口提交相应检查步骤的结果，并且在完成特定样本的工作流程后，将报告标记为完成。这意味着质量报告数据会在工作流程期间反复更新。对要检查的每个样本重复步骤345和350。
注意，利用为多个用户提供的多个检查设备，可以创建进一步的质量报告并将其存储在存储手段上。但是，每个用户都可以访问相同的指令数据，前提是所有用户都检查相同种类的样本。当然，可以为不同的样本提供不同的指令或工作流程(例如，具有不同的名称)。
在步骤355中，质量报告可以由例如管理员核查和批准。在步骤360中，管理人员还可以从多个质量报告创建批量报告。
注意，可以在处理装置上提供不同的软件应用程序(apps),例如，供管理员(和质量管理员)定义不同的工作流程并核查质量报告等的管理员app，以及供用户执行光学质量检查(用于上述步骤345、350)的操作者app。此外，可以设定用户账户，使得只有拥有账户的用户才能执行光学质量检查。此外，不同的用户帐户可能被赋予不同的权限或只能访问特定样本的特定指令。
图4示意性地示出了根据本发明优选实施例中的光学质量检查中的步骤。总的来说，图4示出了在样本的光学质量检查期间，如上所述的检查设备的显示器或监视器的内容。在该示例中，样本是支架，其(实时)图像400(摄像机视图)呈现在显示器处。如上所述，检查设备的摄像机可用于获取这种实时图像。
在显示器的右手侧上，呈现了包括特定指令文本和/或(软件)按钮410至415的菜单栏。这种文本/按钮可以包括：(后退)按钮，用于离开工作流程并返回到工作流程选择屏幕；检查结果列表，打开检查结果的详细视图；摄像机设定；用户设定；步骤数；(下一步)按钮，以继续下一个工作流程步骤；(上一步)按钮，以返回到上一个工作流程步骤；当前工作流程步骤中任务的详细描述。注意，附图标记410至415和相应的框仅用于说明目的，并不涉及这些文本/按钮的实际内容、数字或排列。
此外，摄像机按钮420显示在摄像机视图内。点击该按钮420可能导致显示更多选项或摄像机选项，如：在摄像机图像中标记缺陷；执行长度测量；执行角度测量；执行半径测量；给图像添加记录。根据动作或选项的种类，用户可能能够通过计算机鼠标在图像/视图中设定一些标记，并且自动执行对应的测量。举例来说，执行长度(或直径)测量在图4中用虚线430和相应的标记(在虚线的相应末端用十字表示)来表示。完成测量后，用户可以保存测量结果，从而创建质量报告数据(该数据是总体质量报告的一部分，包括另外的测量结果等)。
另一个功能可以是拍摄样本的当前视图的图像，例如包括图4所示的测量标记和线，使得稍后可以核查正确的测量。此外，样本的缺陷可以通过这种方式记录，例如，拍摄图像并添加文本记录。此外，如果需要，可以通过使用相应的按钮来调整摄像机设定。
这种使用摄像机和实时图像的测量通常需要校准摄像机或其设定。这可以作为工作流程的初始步骤来执行，也可以在任何需要的时候执行。这种校准可能需要采用像卷尺这样的已知测量作为样本，如上所述执行这种已知测量的长度测量，并在校准菜单中设定该长度。
图5示意性地示出了在根据本发明的另一优选实施例中光学质量检查中的步骤。总的来说，图4示出了类似于图4的检查设备的显示器或监视器的内容，具有样本的实时图像500。然而，本例中的样本不是支架，而是带螺纹的螺钉。
在显示器的右手侧上，呈现了包括特定指令文本和/或(软件)按钮510至515的菜单栏。这种文本/按钮可以类似于图4中所示的具有附图标记410至415的文本/按钮。此外，按钮520可以对应于图4的按钮420，或者对应于在点击摄像机按钮后的保存按钮(参见上面的解释，三个框指示另外的选项或如上所述的摄像机选项)，用于保存测量等。
在这种情况下，覆盖图530覆盖当前观察的样本(或其实时图像)。如上所述，可以在创建整个指令或工作流程期间创建这种覆盖图。在这个例子中，覆盖图530是一种网或栅格，包括在顶部和底部的两条平行线和从顶部到底部稍微指向右侧的几条另外的平行线。这种覆盖图可以由用户或自动地与实时图像500匹配。
在本例中，顶线和底线表示样本外边缘可以或必须具有的形状。此外，任何额外的边距可能包括在内。几乎竖直的线表示样本的线必须或应该具有的方向或路线。根据覆盖图与样本的实际测量或几何形状之间的差异，样本可能会在质量报告中标记为合格或不合格。
如在此使用的，术语“和/或”包括一个或更多个相关列出项目的任何和所有组合，并且可以缩写为“/”。
尽管已经在装设备的上下文中描述了一些方面，但是清楚的是，这些方面也表示对应方法的描述，其中块或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对应设备的对应块或项目或特征的描述。
一些实施例涉及包括结合图1至图5中的一个或更多个描述的系统的显微镜。可选地，显微镜可以是结合图1至图5中的一个或更多个描述的系统的一部分或连接到该系统。图1示出了配置成执行本文所述方法的检查设备100(系统)的示意图。检查设备100包括显微镜112和计算机系统130(处理装置)。显微镜112或检查手段110配置成拍摄图像并连接到计算机系统130。计算机系统130配置成执行这里描述的方法的至少一部分。计算机系统130可以配置成执行机器学习算法。计算机系统130和显微镜112可以是独立的实体，但是也可以一起集成在一个公共壳体中。计算机系统130可以是显微镜112的中央处理系统的一部分，和/或计算机系统130可以是显微镜112的子部件的一部分，例如显微镜112的传感器、动作器、摄像机或照明单元等。
计算机系统130可以是具有一个或更多个处理器和一个或更多个存储装置的本地计算机装置(例如，个人计算机、笔记本计算机、平板计算机或移动电话)，或者可以是分布式计算机系统(例如，具有分布在各个位置的一个或更多个处理器和一个或更多个存储装置的云计算系统，例如，分布在本地客户端和/或一个或更多个远程服务器群和/或数据中心)。计算机系统130可以包括任何电路或电路的组合。在一个实施例中，计算机系统130可以包括可以是任何类型的一个或更多个处理器。如这里所使用的，处理器可以指任何类型的计算电路，例如但不限于如显微镜或显微镜部件(如摄像机)的微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、现场可编程门阵列(FPGA)、或任何其他类型的处理器或处理电路。计算机系统130中可以包括的其他类型的电路可以是定制电路、专用集成电路(ASlC)等，例如，用于移动电话、平板计算机、笔记本计算机、双向无线电设备和类似电子系统的无线装置中的一个或更多个电路(例如通信电路)。计算机系统130可以包括一个或更多个存储装置，该存储装置可以包括适合于特定应用的一个或更多个存储器元件，例如随机存取存储器(RAM)形式的主存储器、一个或更多个硬盘驱动器、和/或处理可移除介质的一个或更多个驱动器，其中可移除介质例如是光盘(CD)、闪存卡、数字视频盘(DVD)等。计算机系统130还可以包括显示装置、一个或更多个扬声器以及键盘和/或控制器，其可以包括鼠标、轨迹球、触摸屏、语音识别装置或允许系统用户向计算机系统130输入信息和从计算机系统130接收信息的任何其他装置。
一些或所有方法步骤可以通过(或使用)硬件设备来执行，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，一些一个或更多个最重要的方法步骤可以由这样的设备执行。
取决于某些实现要求，本发明的实施例可以用硬件或软件来实现。该实现可以使用非暂时性存储介质来执行，例如数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或闪存，其上存储有电子可读控制信号，其与可编程计算机系统协作(或能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该数据载体能够与可编程计算机系统协作，从而执行这里描述的方法之一。
通常，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。例如，程序代码可以存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的、用于执行这里描述的方法之一的计算机程序。
换句话说，因此本发明的实施例是一种计算机程序，该计算机程序具有当该计算机程序在计算机上运行时用于执行这里描述的方法之一的程序代码。
因此，本发明的另一个实施例是一种存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，当该计算机程序由处理器执行时，用于执行这里描述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。本发明的另一个实施例是这里描述的包括处理器和存储介质的设备。
因此，本发明的另一个实施例是代表用于执行这里描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如配置成经由数据通信连接(例如，经由互联网)来传输。
另一实施例包括处理手段，例如计算机或可编程逻辑装置，其配置成或适于执行这里描述的方法之一。
另一个实施例包括计算机，其上安装有用于执行这里描述的方法之一的计算机程序。
根据本发明的另一个实施例包括一种装置或系统，其配置成将用于执行这里描述的方法之一的计算机程序传送(例如，电子地或光学地)到接收器。接收器可以是，例如计算机、移动装置、存储器装置等。该设备或系统可以包括例如用于将计算机程序传送到接收器的文件服务器。
在一些实施例中，可编程逻辑器装置(例如，现场可编程门阵列)可以用于执行这里描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行这里描述的方法之一。通常，这些方法优选地由任何硬件设备来执行。

Claims (16)

1.在用于样本(160)的光学检查的检查设备(100)中使用的处理装置(130)，处理装置(130)配置成：
-通信地联接到光学检查手段(110)的摄像机(116)，
-通信地联接到包括显示手段(122)的用户接口手段(120)，
-从用户接口手段(120)和/或从摄像机(116)接收输入数据，
-向用户接口手段(120)提供输出数据，以及
-通信地联接到存储手段(180)并访问存储手段(180)以存储和提取数据，
其中处理装置(130)还配置成，通过访问存储在存储手段(180)处的指令数据(190)，经由用户接口手段(120)，提供用于由用户(150)执行的样本(160)的光学质量检查的指令(192)，使得指令(192)作为输出数据提供到用户接口手段(120)，
其中指令(192)包括针对用户(150)的关于要对哪个样本(160)执行哪种光学质量检查的预定义指令，
其中处理装置(130)还配置成，经由用户接口手段(120)从光学质量检查接收质量报告数据(196)，和/或接收由摄像机(116)采集的图像的图像数据作为输入数据，并且将质量报告数据(196)和/或图像数据存储在存储手段(180)中。
2.根据权利要求1所述的处理装置(130)，其中指令(192)还包括将由显示手段(122)显示的至少一个预定义覆盖图(530)，使得覆盖图(530)虚拟地覆盖当前由光学检查手段(110)和/或经由显示手段(122)观察的样本(160)，并且覆盖图(530)将由用户(150)用来对样本(160)执行特定的光学质量检查。
3.根据权利要求2所述的处理装置(130)，还配置成控制摄像机(116)以获取当前观看的样本的实时图像(500，600)，控制显示手段(122)以显示实时图像(500)和覆盖图(530)，使得覆盖图(530)虚拟地覆盖到实时图像(500)。
4.根据权利要求3所述的处理装置(130)，还配置成将当前观察的样本的实时图像(500)与覆盖图(530)进行匹配，并且特别地，基于覆盖图(530)和样本的实时图像(500)的对应几何测量之间的差异来确定质量特性。
5.用于样本(160)的光学检查的检查设备(100)，包括：包括摄像机(116)的光学检查手段(110)，包括显示手段(122)的用户接口手段(120)，以及前述权利要求中任一项所述的处理装置(130)，处理装置通信地联接到用户接口手段(120)和摄像机(116)。
6.一种用于执行样本(160)的光学质量检查的方法，使用权利要求5所述的检查设备(100)，包括：
通过光学检查手段(110)观察样本(160)，
根据显示在显示手段(122)处的指令(192)执行样本(160)的光学质量检查，
创建关于执行的光学质量检查的质量报告(194)并存储质量报告(194)和/或通过摄像机获取图像并将图像存储在存储手段(180)中。
7.根据权利要求6所述的方法，包括通过摄像机(116)和显示手段(122)观察样本(160)，其中根据指令(192)执行样本(160)的光学质量检查包括：将显示在显示手段(122)上的覆盖图(530)与观察的样本匹配，并基于覆盖图(530)和样本或样本的实时图像(500)的对应几何测量之间的差异确定质量特性。
8.根据权利要求7所述的方法，其中质量报告(194)包括基于质量特性确定的合格或不合格记录。
9.一种用于设定用于样本(160)的光学检查的检查设备(100)的方法，提供包括摄像机(116)的光学检查手段(110)、包括显示手段(122)的用户接口手段(120)、处理装置(130)和存储手段(180)，该方法包括：
将处理装置(130)通信地联接(300)到用户接口手段(120)和摄像机(116)，
将处理装置(130)通信地联接(305)到存储手段(180)，
将处理装置(130)配置(310)成访问存储手段(180)以存储和提取数据，
创建(330)指令数据(190)，指令数据包括要由用户(150)执行的样本(160)的光学质量检查的指令(192)，并将指令数据(190)存储在存储手段(180)中，
其中创建(330)指令数据(190)包括为定义指令(192)，指令针对用户关于要对哪个样本(160)执行哪种质量检查、关于要制作哪个质量报告、以及关于要从样本(160)采集哪个图像，
将处理装置(130)配置(315)成根据请求向用户(180)提供指令(192)，以及
将处理装置(130)配置(320)成在提供指令(192)期间根据请求存储质量报告数据(196)和图像数据。
10.根据权利要求9所述的方法，其中创建指令数据还包括：定义将由显示手段(122)显示的至少一个覆盖图(530)，使得覆盖图(530)虚拟地覆盖当前由光学检查手段(110)检查和/或经由显示手段(122)观察的样本(160)，并且覆盖图(530)将由用户(150)用来对样本(160)执行特定的质量检查。
11.根据权利要求9或10所述的方法，其中光学检查手段(110)还包括显微镜(112)，和/或其中用户接口手段(120)还包括触摸显示器，作为显示手段和/或与显示手段(122)分开提供的输入手段(124，126)。
12.根据权利要求9至11中任一项所述的方法，其中存储手段(180)包括基于文件夹的数据存储器和/或数据库服务器。
13.根据权利要求9至12中任一项所述的方法，其中将权利要求1至4中任一项所述的处理装置(130)用作处理装置。
14.一种用于操作处理装置(130)的方法，该处理装置(130)将在用于样本(160)的光学检查的检查设备(100)中使用、特别是权利要求1至4中任一项所述的处理装置(130)，处理装置(130)配置成
-通信地联接到光学检查手段(110)的摄像机(116)，
-通信地联接到包括显示手段(122)的用户接口手段(120)，
-从用户接口手段(120)和/或从摄像机(116)接收输入数据，
-向用户接口手段(120)提供输出数据，以及
-通信地联接到存储手段(180)并访问存储手段(180)以存储和提取数据，
该方法包括：
通过由处理装置(130)访问存储在存储手段(180)处的指令数据(190)，经由用户接口手段(120)，提供将由用户(150)执行的样本(160)的光学质量检查的指令，将指令(192)作为输出数据提供到用户接口手段(122)，
其中指令(192)包括针对用户(150)的关于要对哪个样本(160)执行哪种质量检查的预定义指令，
由处理装置(130)经由用户接口手段(120)，从光学质量检查接收质量报告数据(196)和/或接收由摄像机(116)获取到图像的图像数据作为输入数据，并且将质量报告数据(196)和/或图像数据存储在存储手段(180)中。
15.根据权利要求14所述的方法，其中指令还包括将由显示手段(122)显示的至少一个预定义覆盖图(530)，使得覆盖图(530)虚拟地覆盖当前由光学检查手段(110)和/或经由显示手段(122)观察的样本(160)，并且覆盖图(530)将由用户(150)用来对样本(160)执行特定质量检查，方法还包括：
由处理装置(130)控制摄像机(116)以获取当前观察的样本(160)的实时图像，以及
控制显示手段(122)显示实时图像(500)和覆盖图(530)，使得覆盖图(530)虚拟地覆盖到实时图像(500)。
16.具有程序代码的计算机程序，当该计算机程序在处理装置(130)上运行时，特别是在权利要求1至4中任一项所述的处理装置上运行时，用于执行权利要求14或15所述的方法。
CN202180095109.6A 2021-03-01 2021-03-01 用于光学检查的处理装置和检查设备以及对应的方法 Pending CN116964686A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/078530 WO2022183340A1 (en) 2021-03-01 2021-03-01 Processing device and inspection apparatus for optical inspection and corresponding methods

Publications (1)

Publication Number Publication Date
CN116964686A true CN116964686A (zh) 2023-10-27

Family

ID=83153778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095109.6A Pending CN116964686A (zh) 2021-03-01 2021-03-01 用于光学检查的处理装置和检查设备以及对应的方法

Country Status (5)

Country Link
US (1) US12504381B2 (zh)
EP (1) EP4302315A4 (zh)
JP (1) JP7802817B2 (zh)
CN (1) CN116964686A (zh)
WO (1) WO2022183340A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022183338A1 (en) * 2021-03-01 2022-09-09 Leica Microsystems (Suzhou) Technology Co., Ltd. Processing device, inspection apparatus and system for optical inspection and corresponding methods

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3721147B2 (ja) * 2002-07-29 2005-11-30 株式会社東芝 パターン検査装置
JP4641924B2 (ja) 2005-10-21 2011-03-02 株式会社日立ハイテクノロジーズ 半導体検査装置及び半導体検査方法
JP4870450B2 (ja) 2006-02-27 2012-02-08 株式会社日立ハイテクノロジーズ 検査装置、および検査方法
JP2007248086A (ja) * 2006-03-14 2007-09-27 Hitachi High-Technologies Corp 欠陥検査装置
JP4898713B2 (ja) * 2008-01-17 2012-03-21 株式会社日立ハイテクノロジーズ 表面検査装置および表面検査方法
JP5264311B2 (ja) * 2008-06-18 2013-08-14 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
US8300284B2 (en) * 2008-10-22 2012-10-30 Omron Scientific Technologies, Inc. Apparatus and method for pattern-based configuration of optical sensing systems
DE102010063392B4 (de) * 2010-11-15 2016-12-15 Leica Microsystems (Schweiz) Ag Mikroskop mit Sensorbildschirm, zugehörige Steuereinrichtung und Betriebsverfahren
CN104364877B (zh) * 2012-06-08 2015-09-30 株式会社日立高新技术 带电粒子束装置
DE102014106233A1 (de) 2014-05-05 2015-11-05 Carl Zeiss Microscopy Gmbh Digitales Mikroskop und Verfahren zum Erkennen einer Bildvorlage
JP2017032340A (ja) 2015-07-30 2017-02-09 株式会社キーエンス 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
WO2017055086A1 (en) 2015-09-30 2017-04-06 Asml Netherlands B.V. Metrology method for process window definition
WO2020182088A1 (en) 2019-03-08 2020-09-17 Leica Microsystems Trading Ltd Suzhou (Smart) Digital microscope camera and microscope with digital camera
CN111524132B (zh) 2020-05-09 2022-10-18 腾讯医疗健康(深圳)有限公司 识别待检测样本中异常细胞的方法、装置和存储介质
US20240273615A1 (en) * 2023-02-15 2024-08-15 State Farm Mutual Automobile Insurance Company Methods and systems for simulating a vehicle seat in a vehicle using virtual reality

Also Published As

Publication number Publication date
WO2022183340A1 (en) 2022-09-09
US12504381B2 (en) 2025-12-23
US20240230550A9 (en) 2024-07-11
JP7802817B2 (ja) 2026-01-20
EP4302315A4 (en) 2024-12-18
JP2024512339A (ja) 2024-03-19
EP4302315A1 (en) 2024-01-10
US20240133823A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
US20230281676A1 (en) Systems and methods for remote real estate inspections and valuations
US11282133B2 (en) Augmented reality product comparison
US12366915B2 (en) Annotation data collection using gaze-based tracking
CN105277677B (zh) 用于汇总诊断分析仪相关信息的方法和系统
KR20200018411A (ko) 전극편의 버를 검출하기 위한 방법 및 장치
KR102239906B1 (ko) 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템
US20200233000A1 (en) Apparatus and Methods for Processing and Cataloging of Samples
CN116964686A (zh) 用于光学检查的处理装置和检查设备以及对应的方法
JP2020201938A (ja) ライブビデオ及びオブジェクト検出を介して物理オブジェクトをドキュメント化する要求を報告するための方法、プログラム及び装置
CN114140567A (zh) 渲染方法和装置
JP2019215781A (ja) 製造管理システム及び方法
JP5930405B2 (ja) 検査システム、検査方法及び端末
WO2022183338A1 (en) Processing device, inspection apparatus and system for optical inspection and corresponding methods
CN111435511B (zh) 订单处理方法、装置、设备、系统及可读存储介质
EP1455305B1 (en) Method for providing quantitative data and images for use in pathology analysis
Muñoz et al. Pre-diagnosis and Referral of Patients to a Specialist Medical Team Through Facial Biomarker Detection
EP4708223A1 (en) Information processing system, image management server, and carrier medium
WO2024227951A1 (en) Apparatus for an optical imaging system, optical imaging system, method and computer program
CN114882259A (zh) 一种配件质检的方法、装置及存储介质
JP2025068618A (ja) 情報処理装置、情報処理システム、プログラム及び記録媒体
CN113240376A (zh) 物品信息确定方法、装置、电子设备及介质
BE1027950A1 (nl) Systemen en methoden voor een kwaliteitskader in de vorm van informatieformulieren en rapporten
Aven Look into MICROSCOPY

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination