WO2024135220A1 - ロボット制御システム - Google Patents

ロボット制御システム Download PDF

Info

Publication number
WO2024135220A1
WO2024135220A1 PCT/JP2023/042090 JP2023042090W WO2024135220A1 WO 2024135220 A1 WO2024135220 A1 WO 2024135220A1 JP 2023042090 W JP2023042090 W JP 2023042090W WO 2024135220 A1 WO2024135220 A1 WO 2024135220A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
camera
recognition unit
control system
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/042090
Other languages
English (en)
French (fr)
Inventor
秀男 似内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to CN202380086747.0A priority Critical patent/CN120379799A/zh
Priority to EP23906589.9A priority patent/EP4640381A1/en
Publication of WO2024135220A1 publication Critical patent/WO2024135220A1/ja
Priority to US19/242,551 priority patent/US20250312925A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • This disclosure relates to a robot control system that includes a camera and a robot.
  • Patent Document 1 Conventionally, there is a fixed camera type robot control system that captures images of a workpiece in the work area using a camera attached to a fixed structure installed above the robot's work area, and processes the images captured by the camera to recognize the position of the workpiece (see Patent Document 1).
  • Patent Document 1 also describes an on-hand camera type robot control system in which a camera is attached to the robot.
  • a robot performs work on a work in each of the supply section and the storage section (multiple work areas), such as when the robot picks up a work (object) from a work supply section and carries it to a work storage section to store it.
  • a fixed camera type robot control system requires a camera for each work area.
  • an on-hand camera type robot control system cannot perform work on a work until an image of the work is captured by a camera attached to the robot and the position of the work is recognized, which lengthens the cycle time from picking up the work to storing it.
  • the present disclosure has been made to solve the above problems, and its main objective is to prevent an increase in the number of cameras required and to prevent a longer cycle time, even when a robot works on objects in multiple work areas.
  • the first means for solving the above problem is to A robot that performs work on objects in each of a plurality of work areas; a movable camera that moves separately from the robot and is capable of capturing an image of each of the objects in the plurality of work areas; an object recognition unit capable of recognizing a position of an object based on an image captured by the movable camera from a predetermined position;
  • a robot control system comprising: The movable camera acquires a predetermined image captured by taking a reference object serving as a position reference and the target object in a field of view, the object recognition unit registers in advance a position of the reference object recognized based on an image captured from the predetermined position as a reference position, calculates an amount of deviation of a position of the movable camera from the predetermined position based on the reference position and the position of the reference object recognized based on the predetermined image, and recognizes a position of the target object based on the amount of deviation and the predetermined image;
  • the robot performs an operation on the object based on the
  • the robot works on objects in multiple work areas. Therefore, in order to recognize the position of the object in each of the multiple work areas, it is necessary to capture images of the objects in each of the multiple work areas.
  • the movable camera moves separately from the robot and is capable of capturing images of the objects in each of the multiple work areas.
  • the object recognition unit is then capable of recognizing the position of the object based on an image captured by the movable camera from a predetermined position. Therefore, by moving the movable camera to a predetermined position and capturing images of the objects in each of the multiple work areas, it is possible to recognize the position of the object in each of the multiple work areas. Therefore, even when the robot works on objects in each of the multiple work areas, it is possible to prevent an increase in the number of cameras required.
  • the movable camera also acquires a predetermined image captured with a reference object serving as a position reference and the target object in view. Therefore, the predetermined image includes the reference object and the target object.
  • the object recognition unit preregisters the position of the reference object recognized based on an image captured from a predetermined position as a reference position. Here, if the position of the reference object recognized based on an image captured by the movable camera deviates from the reference position, the amount of deviation is due to the amount of deviation of the position of the movable camera from the predetermined position. Therefore, even if the position of the movable camera deviates from the predetermined position, the object recognition unit can recognize the position of the object based on the captured image by correcting using this amount of deviation.
  • the object recognition unit calculates the amount of deviation of the position of the movable camera from the predetermined position based on the reference position and the position of the reference object recognized based on the predetermined image, and recognizes the position of the target object based on the amount of deviation and the predetermined image. Therefore, even if the movable camera cannot return to the predetermined position accurately, the position of the target object can be accurately recognized. The robot can then accurately perform tasks on the object based on the position of the object recognized by the object recognition unit.
  • the position of an object can be recognized by a movable camera in one work area, while a robot can work on the object in another work area where the position for storing the object has already been recognized.
  • the recognition of the object's position by the movable camera and the work on the object by the robot can be performed in parallel. Therefore, it is possible to prevent the cycle time from starting to recognize the object's position by the movable camera to finishing working on the object from becoming long in multiple work areas.
  • a plurality of the robots are provided, the reference object is provided in each of the work areas of the plurality of robots, and the movable camera is capable of capturing an image of the object in each of the work areas of the plurality of robots.
  • the movable camera moves to a position where the reference object and the target object are in the field of view and acquires the specified image.
  • the object recognition unit can perform a calibration to correct the correspondence between the coordinate system of the movable camera and the coordinate system of the robot, thereby making it possible to recognize the position of the object in the coordinate system of the robot as the position of the object based on an image captured by the movable camera from the specified position.
  • the calibration is performed using a 3D scanner that has a higher accuracy in detecting the position of an object than the movable camera, and the reference position is registered in advance using the 3D scanner.
  • the correspondence between the coordinate system of the movable camera and the coordinate system of the robot can be accurately calibrated.
  • the reference position which is the position of the reference object recognized based on an image captured from the specified position, can be obtained more accurately. Therefore, the amount of deviation of the position of the movable camera from the specified position can be calculated more accurately, and the position of the target object can be recognized more accurately.
  • the robot grasps the object in one of the plurality of work areas, moves the object to another work area, and releases it.
  • a camera is not required for each work area.
  • the robot can grasp the object in a first work area where the position of the object has already been recognized, and a movable camera can recognize the position to place the object in a second work area where the object is released.
  • the object recognition unit calculates the amount of deviation of the position of the movable camera from the predetermined position based on the reference position and the position of the reference object recognized based on the predetermined image, and recognizes the position of the object based on the amount of deviation and the predetermined image, and the robot performs the task of grasping the object based on the position of the object recognized by the object recognition unit.
  • the object recognition unit calculates the amount of deviation of the position of the movable camera from the predetermined position based on the reference position and the position of the reference object recognized based on the predetermined image, and recognizes the position of the object based on the amount of deviation and the predetermined image, and the robot performs the task of moving the object from the one work area to another work area and releasing it based on the position of the object recognized by the object recognition unit.
  • the position of the object can be accurately recognized after grasping, and based on the accurately recognized position of the object, the object can be moved from one work area to another work area and released at an accurate position (placed in an accurate position).
  • the reference object is a block made of an asymmetric polyhedron arranged around the target object.
  • the reference object is a part of the equipment present around the target object.
  • a part of the equipment present around the target object can be used as the reference object, eliminating the need to place a special block or the like as the reference object.
  • FIG. 1 is a schematic diagram of a robot control system
  • FIG. 2 is a flowchart showing an initial setting procedure
  • FIG. 3 is a flow chart showing a control procedure when the robot is in operation.
  • the robot control system 10 includes a robot 20, a camera 30, a slider 40, an object recognition unit 50, and a robot control device 60.
  • the robot 20 is, for example, a single-arm vertical articulated robot.
  • the robot 20 grasps (grabs) the workpiece W in the supply section and moves it to the processing section, where it processes the workpiece W using a cutting machine or the like, and then moves the workpiece W to the storage section and places the workpiece W on each placement section Sn of the storage case H (releases the workpiece W).
  • the robot 20 works on objects in multiple work areas.
  • a grasping tool 22 (work tool) is attached to the tip of the arm section 21 of the robot 20.
  • the workpiece W (target object) is a three-dimensional object of a specified shape. Multiple workpieces W of the same shape are stored in the shipping box Tb in an unaligned state. In other words, the position and orientation of each workpiece W are unspecified.
  • the camera 30 (movable camera) is a binocular camera that captures three-dimensional images.
  • the camera 30 is attached to the movable part 41 of the slider 40.
  • the slider 40 can move the movable part 41 back and forth in a straight line and stop the movable part 41 at any position on the line.
  • the driving state of the slider 40 is controlled, for example, by the object recognition unit 50.
  • the camera 30 is attached to the movable part 41 in an orientation that allows it to move together with the movable part 41 and capture images of the supply part, processing part, and storage part (work area).
  • the viewing angle of the camera 30 is a viewing angle that allows all workpieces W and reference blocks B1 in the transport box Tb to be viewed in the supply part.
  • the viewing angle of the camera 30 is a viewing angle that allows all placement parts Sn and reference blocks B3 in the storage case H to be viewed in the storage part.
  • the reference blocks B1 and B3 serve as positional references, and are, for example, blocks (three-dimensional objects) made of asymmetric polyhedrons (shapes with characteristic features) arranged near (around) the workpiece W and the placement section Sn.
  • the placement section Sn (position for accommodating the object) is formed, for example, as a recess corresponding to the shape of the workpiece W after machining.
  • the camera 30 moves separately from the robot 20 and can capture images of the objects in the multiple work areas.
  • the camera 30 has a function for automatically adjusting the focus position when capturing an image.
  • the camera 30 is moved between a first imaging position P1 and a second imaging position P2.
  • the camera 30 captures a three-dimensional image with all the workpieces W and the reference block B1 in the return box Tb in the same imaging field of view.
  • the camera 30 captures a three-dimensional image with all the placement sections Sn and the reference block B3 in the storage case H in the same imaging field of view.
  • the first imaging position P1 and the second imaging position P2 can be set in advance as positions where the camera 30 can capture images of each work area, or can be set each time based on the three-dimensional image.
  • the object recognition unit 50 includes an image processing unit, a storage unit, an input/output interface, and the like.
  • the object recognition unit 50 performs calibration to calibrate the correspondence between the coordinate system of the camera 30 and the coordinate system of the robot 20.
  • the object recognition unit 50 performs calibration while the camera 30 is moved to the first image capture position P1 and the second image capture position P2 (predetermined positions).
  • a predetermined marker B2 is attached to the tip of the arm unit 21 of the robot 20, and the marker B2 is captured by the camera 30 while the arm unit 21 is operating.
  • a calibration board on which a predetermined dot pattern or the like is printed, or a block similar to the above-mentioned reference blocks B1 and B3, or the like can be used.
  • the object recognition unit 50 acquires parameters for converting the position and orientation (position) of the object in the coordinate system of the camera 30 recognized based on the image captured by the camera 30 from the image capture position during calibration into the position and orientation (position) of the object in the coordinate system of the robot 20.
  • the parameters include information on the first image capture position P1 and the second image capture position P2. That is, by performing calibration, the object recognition unit 50 is able to recognize the position and orientation of an object in the coordinate system of the robot 20 as the position and orientation of the object based on an image captured by the camera 30 from a predetermined position.
  • the position and orientation of an object in the coordinate system of the robot 20 may be simply referred to as the position and orientation of the object.
  • the object recognition unit 50 recognizes (calculates) the position and orientation of an object using a three-dimensional image (three-dimensional image data) acquired by the camera 30. Specifically, the object recognition unit 50 calculates the position, orientation (direction), etc. of the object from the three-dimensional image acquired by the camera 30. The object recognition unit 50 recognizes the positions and orientations of the workpiece W, the reference blocks B1 and B3, and the placement section Sn in the storage case H based on the three-dimensional image.
  • the robot control device 60 is equipped with a CPU, ROM, RAM, and an input/output interface, etc.
  • the robot control device 60 controls the swing and rotation of the arm portion 21 of the robot 20, the operation of the gripping tool 22, etc.
  • the robot control device 60 controls each operation of the robot 20 based on the position and orientation of the workpiece W recognized by the object recognition unit 50. Note that each operation of the robot 20 is taught in advance and stored in the robot control device 60, so the robot control device 60 automatically corrects the teaching data based on the position and orientation of the workpiece W calculated by the object recognition unit 50.
  • the robot 20 and the camera 30 are calibrated (S10). Specifically, the above calibration is performed with the camera 30 moved to the first imaging position P1 by the slider 40. At this time, the three-dimensional image captured by the camera 30 includes all of the workpieces W and the reference block B1 in the return box Tb. Note that the return box Tb and the reference block B1 may be positioned after the calibration so that the three-dimensional image captured by the camera 30 includes all of the workpieces W and the reference block B1 in the return box Tb.
  • the shape data of the reference block B1 is registered (S11). Specifically, the three-dimensional image captured by the camera 30 is processed to obtain and register the three-dimensional shape data of the reference block B1.
  • the three-dimensional shape data is obtained as point cloud data representing the positions of each point of the object.
  • the positional relationship between the reference block B1 and the camera 30 is acquired (S12). Specifically, the position and orientation of the reference block B1 in the coordinate system of the camera 30 is recognized based on a three-dimensional image of the reference block B1 captured by the camera 30 from the first imaging position P1. The position and orientation (position) of the reference block B1 in the coordinate system of the camera 30 is converted to the position and orientation (position) of the reference block B1 in the coordinate system of the robot 20 using the above parameters. Then, the position and orientation (reference position) of the reference block B1 in the coordinate system of the robot 20 is acquired as the positional relationship between the reference block B1 and the camera 30. In other words, the position and orientation of the reference block B1 recognized based on the three-dimensional image of the reference block B1 captured by the camera 30 from the first imaging position P1 is acquired as the positional relationship between the reference block B1 and the camera 30.
  • the shape data of the target object is registered (S13). Specifically, the three-dimensional image captured by the camera 30 is processed to obtain and register the three-dimensional shape data of the workpiece W. Note that since multiple workpieces W have the same shape, it is sufficient to obtain the three-dimensional shape data of one representative workpiece W.
  • the master data is saved (S14). Specifically, the three-dimensional shape data of the reference block B1, the position and orientation of the reference block B1 in the coordinate system of the robot 20, and the three-dimensional shape data of the workpiece W are saved as master data to be used when the robot 20 is in operation. Then, this series of processes is terminated (END).
  • the object recognition unit 50 also performs the same processes as S10 to S14 above with the camera 30 moved to the second image capture position P2 by the slider 40.
  • the reference block B3 is treated as the reference block
  • the placement section Sn in the storage case H is treated as the target object.
  • the master data is read (S20). Specifically, the master data saved in the initial settings is read.
  • the reference block and the object are in the same imaging field (S21). Specifically, it is determined whether the reference block B1 and all the workpieces W are in the same imaging field (one imaging field). This determination can be made by so-called matching based on the three-dimensional image captured by the camera 30 and the above master data (three-dimensional shape data of the reference block B1 and three-dimensional shape data of the workpieces W). In this determination, if it is determined that the reference block B1 and all the workpieces W are not in the same imaging field (S21: NO), the camera 30 is moved to another imaging position by the slider 40 (S22). Specifically, the movable part 41 of the slider 40 is moved a predetermined amount to one of the linear tracks of the slider 40.
  • the amount of deviation of the movable camera is calculated (S23). Specifically, the amount of deviation of the current position (position) of the camera 30 from the first imaging position P1 is calculated.
  • the amount of deviation corresponds to (is caused by) the amount of deviation of the current position of the camera 30 from the first imaging position P1.
  • the amount of deviation of the current position of the camera 30 from the first imaging position P1 is calculated.
  • the amount of deviation of the movable camera is corrected (S24). Specifically, the parameters for converting the position and orientation (position) of the object in the coordinate system of the camera 30 to the position and orientation (position) of the object in the coordinate system of the robot 20 are corrected based on the amount of deviation (the amount of deviation is reflected in the parameters).
  • the position and orientation (position) of the object is recognized (S25). Specifically, the position and orientation of the workpiece W in the coordinate system of the camera 30 is recognized based on a three-dimensional image of the workpiece W captured by the camera 30 from the current position. At this time, the workpiece W to be grasped is selected from the multiple workpieces W, and the position and orientation of the selected workpiece W is recognized. Then, the position and orientation of the workpiece W in the coordinate system of the camera 30 is converted to the position and orientation of the workpiece W in the coordinate system of the robot 20 using the corrected parameters.
  • the amount of deviation of the current position (position) of the camera 30 from the first imaging position P1 (predetermined position) is calculated, and the position and orientation (position) of the workpiece W is recognized based on the amount of deviation and the predetermined image.
  • the position and orientation (position) of the target object is transmitted to the robot control device 60 (S26).
  • the object recognition unit 50 transmits the recognized position and orientation of the workpiece W to the robot control device 60.
  • the operation of the robot 20 is controlled (S27). Specifically, the robot control device 60 operates the arm unit 21 and the gripping tool 22 to grasp the workpiece W based on the position and orientation of the workpiece W received (performs work on the workpiece W). Meanwhile, while the robot 20 is working in the supply section, the object recognition unit 50 moves the camera 30 to the second image capture position P2 and executes the same processes as S20 to S26 for the reference block B3 and each placement section Sn of the storage case H. After grasping the workpiece W in the supply section, the workpiece W is moved to the processing section and processed by a cutting machine or the like.
  • the workpiece W After processing the workpiece W, the workpiece W is moved to the storage section and the workpiece W is placed on each placement section Sn of the storage case H.
  • the robot control device 60 places the workpiece W on the target placement section Sn based on the position and orientation of each placement section Sn of the storage case H that the robot 20 recognized in advance when working in the supply section. Then, while the robot 20 is working in the storage area, the object recognition unit 50 moves the camera 30 back to the first image capture position P1 and executes the processes of S20 to S26 again. Thereafter, the above processes are repeated until work is completed for all workpieces W.
  • the camera 30 can move separately from the robot 20 and capture images of the workpieces W and the placement portions Sn of the storage cases H in multiple work areas.
  • the object recognition unit 50 can recognize the position of the object based on images captured by the camera 30 from the first imaging position P1 and the second imaging position P2. Therefore, by moving the camera 30 to the first imaging position P1 and the second imaging position P2 to capture images of the workpieces W and the placement portions Sn of the storage cases H in multiple work areas, the positions of the workpieces W and the placement portions Sn of the storage cases H in each of the multiple work areas can be recognized. Therefore, even when the robot 20 works on the workpieces W in each of the multiple work areas, it is possible to prevent an increase in the number of cameras required.
  • the object recognition unit 50 calculates the amount of deviation of the position of the camera 30 from the first imaging position P1 based on the reference position of the reference block B1 recognized based on the three-dimensional image captured from the first imaging position P1 and the position of the reference block B1 recognized based on a specified image captured with the reference block B1 and the workpiece W in the same field of view. Then, the object recognition unit 50 recognizes the position of the workpiece W based on the amount of deviation and the specified image. Therefore, even if the camera 30 cannot return accurately to the first imaging position P1, the position of the workpiece W can be accurately recognized. Then, the robot 20 can accurately perform work on the workpiece W based on the position of the workpiece W recognized by the object recognition unit 50. The same applies to the second imaging position P2, the reference block B3, and the placement portion Sn of the storage case H.
  • the position of the work W can be recognized by the camera 30 in the supply section, and the robot 20 can work on the work W in the storage section where the position of the placement section Sn of the storage case H has already been recognized. That is, the recognition of the position of the work W by the camera 30 and the work on the work W on the placement section Sn by the robot 20 can be performed in parallel. Therefore, in multiple work areas, it is possible to prevent the cycle time from when the camera 30 starts to recognize the position of the work W to when the work on the work W is completed from becoming long. Also, the position of the placement section Sn of the storage case H can be recognized by the camera 30 in the storage section, and the robot 20 can work on the work W in the supply section where the position of the work W has already been recognized.
  • the camera 30 moves to a position where the reference block B1 and the workpiece W are in the same imaging field to acquire a specified image.
  • the camera 30 can move and change its position to acquire a specified image in which the reference block B1 and the workpiece W are in the same imaging field.
  • the robot 20 grasps the workpiece W in the supply section of the multiple work areas, moves the workpiece W to the storage section, and releases it. With this configuration, even when the workpiece W is grasped in one of the multiple work areas and moved to another work area to release (place) it, a camera is not required for each work area. Furthermore, the robot 20 grasps the workpiece W in the supply section, which has already recognized the position of the workpiece W, and the camera 30 can recognize the position of the placement section Sn of the storage case H in the storage section where the workpiece W is released. As a result, the number of cameras required is prevented from increasing, and the cycle time is prevented from becoming longer.
  • the object recognition section 50 calculates the amount of deviation of the current position of the camera 30 from the first imaging position P1 based on the reference position and the position of the reference block B1 recognized based on the specified image, and recognizes the position and orientation of the workpiece W based on the amount of deviation and the specified image.
  • the robot 20 then performs the task of grasping the workpiece W based on the position and orientation of the workpiece W recognized by the object recognition section 50.
  • the reference block B1 is a block consisting of an asymmetric polyhedron arranged around the workpiece W. This configuration makes it easier for the object recognition unit 50 to capture the characteristics of the reference block B1, and therefore makes it easier to recognize the position of the reference block B1.
  • the three-dimensional shape data of the reference blocks B1 and B3 can also be formed by combining the three-dimensional image data captured by the camera 30 at the first imaging position P1 and the second imaging position P2, respectively, with the three-dimensional CAD data of the reference blocks B1 and B3.
  • the three-dimensional shape data of the workpiece W and the mounting portion Sn of the storage case H can also be formed by combining the three-dimensional image data captured by the camera 30 at the first imaging position P1 and the second imaging position P2, respectively, with the three-dimensional CAD data of the workpiece W and the mounting portion Sn.
  • the object recognition unit 50 can also perform calibration using a 3D scanner 70, which has a higher accuracy in detecting the position of an object than the camera 30.
  • the object recognition unit 50 performs calibration with the 3D scanner 70 placed at the first imaging position P1 and the second imaging position P2 (predetermined positions). Then, the position and orientation (reference position) of the reference blocks B1 and B3 recognized based on the three-dimensional images captured by the 3D scanner 70 from the first imaging position P1 and the second imaging position P2, respectively, is acquired and registered as the positional relationship between the reference blocks B1 and B3 and the camera 30.
  • This configuration allows the correspondence between the coordinate system of the camera 30 and the coordinate system of the robot 20 to be accurately calibrated. Furthermore, the reference positions, which are the positions of the reference blocks B1 and B3 recognized based on the images captured from the first imaging position P1 and the second imaging position P2, respectively, can be obtained more accurately. Therefore, the amount of deviation of the position of the camera 30 from the first imaging position P1 and the second imaging position P2 can be calculated more accurately, and the positions of the workpiece W and the placement portion Sn of the storage case H can be recognized more accurately.
  • the object recognition unit 50 may grasp the workpiece W in the supply unit of the multiple work areas, and then calculate the amount of deviation of the current position of the camera 30 from the first imaging position P1 based on the reference position and the position of the reference block B1 recognized based on the specified image, and recognize the position and orientation (position) of the workpiece W based on the amount of deviation and the specified image. Then, after grasping the workpiece W, the robot 20 may move the workpiece W from the supply unit to the storage unit and release it based on the position and orientation of the workpiece W recognized by the object recognition unit 50.
  • the position and orientation of the workpiece W can be accurately recognized after it is grasped, and based on the accurately recognized position and orientation of the workpiece W, the workpiece W can be moved from the supply section to the storage section and released at the correct position (placed at the correct position).
  • the workpiece W after the workpiece W is grasped in the supply section, it is also possible to move the workpiece W from the supply section to the processing section and perform processing based on the position and orientation of the workpiece W recognized by the object recognition section 50.
  • the amount of deviation of the current position of the camera 30 from the first image capture position P1 is calculated. Based on this deviation amount and the information on the first image capture position P1 and the second image capture position P2 contained in the above parameters for converting the coordinates, the current position of the camera 30 is calculated. Then, based on the current position of the camera 30 and the above specified image, the position and orientation (location) of the workpiece W can also be recognized.
  • the robot control system 10 may include multiple robots 20.
  • reference blocks B1, B3 reference objects
  • the camera 30 can capture images of the workpieces W (objects) and the placement portion Sn of the storage case H in the multiple work areas of the multiple robots 20.
  • the movable portion 41 of the slider 40 can move to the multiple work areas of the multiple robots 20.
  • one reference block when one reference block is imaged by the camera 30, if the workpiece W and the placement section Sn of the storage case H are within the imaging field of view, one reference block common to the supply section and storage section may be arranged. And, one reference block may be arranged for each robot 20.
  • a part of the equipment around the work W and the placement portion Sn of the storage case H can also be used as a reference object that serves as a positional reference. It is preferable that the part of the equipment used as the reference object is an object whose position and shape do not change and whose features are easy to recognize by the camera 30. With this configuration, a part of the equipment around the work W and the placement portion Sn of the storage case H can be used as the reference object, eliminating the need to place a special block or the like as the reference object.
  • the object recognition unit 50 may be included in the robot control device 60 or in the camera 30.
  • the robot 20 may be a single-arm horizontal articulated robot.
  • the robot 20 may also be a dual-arm articulated robot.
  • a robot control system (10) comprising: The movable camera acquires a predetermined image captured by taking a reference object (B1) serving as a position reference and the target object in its field of view, the object recognition unit registers in advance a position of the reference object recognized based on an image captured from the predetermined position as a reference position, calculates an amount of deviation of a position of the movable camera from the predetermined position based on the reference position and the position of the reference object recognized based on the predetermined image, and recognizes a
  • [Configuration 6] The robot control system according to any one of configurations 1 to 5, wherein the robot grasps the object in one of the plurality of working areas, moves the object to another working area, and releases the object.
  • the object recognition unit calculates an amount of deviation of a position of the movable camera from a predetermined position based on the reference position and a position of the reference object recognized based on the predetermined image, before grasping the object in one of the plurality of work areas, and recognizes the position of the object based on the amount of deviation and the predetermined image; 7.
  • the object recognition unit after grasping the object in one of the plurality of work areas, calculates an amount of deviation of a position of the movable camera from the predetermined position based on the reference position and a position of the reference object recognized based on the predetermined image, and recognizes the position of the object based on the amount of deviation and the predetermined image;
  • the robot control system according to configuration 6 or 7, wherein the robot performs a task of moving the object from one working area to another working area and releasing it based on the position of the object recognized by the object recognition unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

ロボット制御システム（１０）は、複数の作業エリアでそれぞれ対象物（Ｗ）に対して作業を行うロボット（２０）と、ロボットと分離して移動し、複数の作業エリアの対象物をそれぞれ撮像可能な可動式カメラ（３０）と、可動式カメラにより所定位置（Ｐ１、Ｐ２）から撮像された画像に基づいて、物体の位置を認識可能である物体認識部（５０）と、を備える。可動式カメラは、基準物（Ｂ１）と対象物とを視野に入れて撮像した所定画像を取得する。物体認識部は、所定位置から撮像された画像に基づき認識した基準物の位置を基準位置として予め登録しており、基準位置と所定画像に基づき認識した基準物の位置とに基づいて、可動式カメラの位置の所定位置からのずれ量を算出し、ずれ量と所定画像とに基づいて対象物の位置を認識する。

Description

ロボット制御システム 関連出願の相互参照
　本出願は、２０２２年１２月２３日に出願された日本出願番号２０２２－２０６７３６号に基づくもので、ここにその記載内容を援用する。
　本開示は、カメラとロボットとを備えるロボット制御システムに関する。
　従来、ロボットの作業エリアの上方に設置された固定構造物に取り付けられたカメラにより作業エリアのワークを撮像し、カメラにより撮像した画像を処理してワークの位置を認識する固定カメラ式のロボット制御システムがある（特許文献１参照）。また、特許文献１には、カメラをロボットに取り付けたオンハンドカメラ式のロボット制御システムも記載されている。
ＷＯ２０２０／１２１３９９号公報
　ところで、ロボットがワーク（対象物）の供給部からワークを取り出し、ワークの収容部までワークを運んで収容する場合等、供給部及び収容部（複数の作業エリア）でそれぞれワークに対して作業を行う場合がある。この場合、固定カメラ式のロボット制御システムでは、作業エリア毎にカメラが必要となる。また、オンハンドカメラ式のロボット制御システムでは、ロボットに取り付けられたカメラによりワークを撮像してワークの位置を認識してからしかワークに対する作業を行えず、ワークの取り出しから収容までのサイクル時間が長くなる。
　本開示は、上記課題を解決するためになされたものであり、その主たる目的は、ロボットが複数の作業エリアでそれぞれ対象物に対して作業を行う場合であっても、必要なカメラの台数が増えることを抑制するとともに、サイクル時間が長くなることを抑制することにある。
　上記課題を解決するための第１の手段は、
　複数の作業エリアでそれぞれ対象物に対して作業を行うロボットと、
　前記ロボットと分離して移動し、前記複数の作業エリアの前記対象物をそれぞれ撮像可能な可動式カメラと、
　前記可動式カメラにより所定位置から撮像された画像に基づいて、物体の位置を認識可能である物体認識部と、
を備えるロボット制御システムであって、
　前記可動式カメラは、位置基準となる基準物と前記対象物とを視野に入れて撮像した所定画像を取得し、
　前記物体認識部は、前記所定位置から撮像された画像に基づき認識した前記基準物の位置を基準位置として予め登録しており、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
　前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物に対して作業を行う。
　上記構成によれば、ロボットは、複数の作業エリアでそれぞれ対象物に対して作業を行う。このため、複数の作業エリアでそれぞれ対象物の位置を認識するために、複数の作業エリアの対象物をそれぞれ撮像する必要がある。この点、可動式カメラは、前記ロボットと分離して移動し、前記複数の作業エリアの前記対象物をそれぞれ撮像可能である。そして、物体認識部は、前記可動式カメラにより所定位置から撮像された画像に基づいて、物体の位置を認識可能である。このため、可動式カメラを所定位置に移動させて前記複数の作業エリアの前記対象物をそれぞれ撮像することにより、複数の作業エリアでそれぞれ対象物の位置を認識することができる。したがって、ロボットが複数の作業エリアでそれぞれ対象物に対して作業を行う場合であっても、必要なカメラの台数が増えることを抑制することができる。
　また、前記可動式カメラは、位置基準となる基準物と前記対象物とを視野に入れて撮像した所定画像を取得する。このため、所定画像には、基準物と対象物とが含まれている。前記物体認識部は、所定位置から撮像された画像に基づき認識した前記基準物の位置を基準位置として予め登録している。ここで、前記可動式カメラにより撮像された画像に基づき認識した基準物の位置が基準位置からずれていれば、そのずれ量は前記可動式カメラの位置の前記所定位置からのずれ量に起因している。このため、可動式カメラの位置が所定位置からずれている場合であっても、このずれ量を用いて補正することにより、物体認識部は撮像された画像に基づいて物体の位置を認識することができる。この点、前記物体認識部は、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識する。このため、可動式カメラが所定位置に正確に戻ることができなかった場合でも、対象物の位置を正確に認識することができる。そして、前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物に対して正確に作業を行うことができる。
　さらに、例えば１つの作業エリアにおいて可動式カメラにより対象物の位置を認識するとともに、既に対象物を収容する位置を認識した他の作業エリアにおいてロボットにより対象物に対して作業を行うことができる。すなわち、可動式カメラによる対象物の位置の認識と、ロボットによる対象物に対する作業とを並行して行うことができる。したがって、複数の作業エリアにおいて、可動式カメラにより対象物の位置を認識し始めてから対象物に対して作業し終えるまでのサイクル時間が長くなることを抑制することができる。
　第２の手段では、前記ロボットを複数備え、前記基準物は、複数の前記ロボットの前記複数の作業エリアにそれぞれ設けられており、前記可動式カメラは、複数の前記ロボットの前記複数の作業エリアの前記対象物をそれぞれ撮像可能である。こうした構成によれば、１台の可動式カメラにより、複数のロボットの作業における対象物の位置の認識を行うことができる。したがって、必要なカメラの台数をさらに減らすことができる。
　第３の手段では、前記可動式カメラは、視野に前記基準物と前記対象物とが入っていない場合に、視野に前記基準物と前記対象物とが入る位置まで移動して前記所定画像を取得する。こうした構成によれば、視野に前記基準物と前記対象物とが入らない位置に可動式カメラが移動している場合であっても、可動式カメラが移動して位置を変更することにより、基準物と前記対象物とを視野に入れて撮像した所定画像を取得することができる。
　具体的には、第４の手段のように、前記物体認識部は、前記可動式カメラの座標系と前記ロボットの座標系との対応関係を校正するキャリブレーションを行うことにより、前記可動式カメラにより前記所定位置から撮像された画像に基づいて、前記物体の位置として前記ロボットの座標系における物体の位置を認識可能とする、ことができる。
　第５の手段では、前記キャリブレーションは、物体の位置を検出する精度が前記可動式カメラよりも高い３Ｄスキャナを用いて行われ、前記基準位置は、前記３Ｄスキャナを用いて予め登録されている。こうした構成によれば、前記可動式カメラの座標系と前記ロボットの座標系との対応関係を正確に校正することができる。さらに、前記所定位置から撮像された画像に基づき認識した前記基準物の位置である基準位置を、より正確に取得することができる。したがって、可動式カメラの位置の所定位置からのずれ量をより正確に算出することができ、ひいては対象物の位置をより正確に認識することができる。
　第６の手段では、前記ロボットは、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴み、他の作業エリアまで前記対象物を移動させて離す作業を行う。こうした構成によれば、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴み、他の作業エリアまで前記対象物を移動させて離す（置く）作業を行う場合であっても、作業エリア毎にカメラが必要とならない。また、例えば既に対象物の位置を認識した第１作業エリアにおいてロボットにより対象物を掴む作業を行うとともに、対象物を離す第２作業エリアにおいて可動式カメラにより対象物を収容する位置を認識することができる。その結果、必要なカメラの台数が増えることを抑制するとともに、サイクル時間が長くなることを抑制することにある。
　第７の手段では、前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴む前に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物を掴む作業を行う。こうした構成によれば、対象物を掴む前に対象物の位置を正確に認識することができ、正確に認識した対象物の位置に基づいて対象物を正確に掴むことができる。
　１つの作業エリアにおいてロボットが対象物を掴む際に、ロボットと対象物との相対位置にばらつきが生じる。その場合、掴んだ対象物を他の作業エリアまで移動させて離す作業において、対象物を置く位置にばらつきが生じるおそれがある。
　この点、第８の手段では、前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴んだ後に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記１つの作業エリアから他の作業エリアまで前記対象物を移動させて離す作業を行う。こうした構成によれば、対象物を掴んだ後に対象物の位置を正確に認識することができ、正確に認識した対象物の位置に基づいて、１つの作業エリアから他の作業エリアまで対象物を移動させて正確な位置で離す（正確な位置に置く）ことができる。
　第９の手段では、前記基準物は、前記対象物の周囲に配置された非対称の多面体からなるブロックである。こうした構成によれば、物体認識部は、基準物の特徴を捉えやすくなるため、基準物の位置を容易に認識することができる。
　第１０の手段では、前記基準物は、前記対象物の周囲に存在する設備の一部である。こうした構成によれば、前記対象物の周囲に存在する設備の一部を基準物として利用することができるため、特別なブロック等を基準物として配置する必要がなくなる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、ロボット制御システムの模式図であり、 図２は、初期設定の手順を示すフローチャートであり、 図３は、ロボットの稼動時における制御の手順を示すフローチャートである。
　以下、ワークを供給部から取り出し、加工して収容部に収容するロボット制御システムに具現化した一実施形態について、図面を参照しつつ説明する。
　図１に示すように、ロボット制御システム１０は、ロボット２０、カメラ３０、スライダ４０、物体認識部５０、及びロボット制御装置６０等を備えている。
　ロボット２０は、例えば単腕の垂直多関節型ロボットである。ロボット２０は、供給部においてワークＷを把持して（掴んで）加工部へ移動させ、加工部において切削機械等によりワークＷを加工した後に、ワークＷを収容部へ移動させて収容ケースＨの各載置部ＳｎにワークＷを置く（ワークＷを離す）。すなわち、ロボット２０は、複数の作業エリアでそれぞれ対象物に対して作業を行う。ロボット２０のアーム部２１の先端部には、把持用ツール２２（作業ツール）が装着されている。
　ワークＷ（対象物）は、所定形状の立体物である。同一形状の複数のワークＷが、整列していない状態で通箱Ｔｂに収容されている。すなわち、各ワークＷの位置及び向きは不特定である。
　カメラ３０（可動式カメラ）は、３次元画像を撮像する双眼カメラである。カメラ３０は、スライダ４０の可動部４１に取り付けられている。スライダ４０は、可動部４１を往復直線移動させ、直線上の任意の位置で可動部４１を停止させることができる。スライダ４０の駆動状態は、例えば物体認識部５０により制御される。カメラ３０は、可動部４１と共に移動することにより、供給部、加工部、及び収容部（作業エリア）を撮像可能な向きで可動部４１に取り付けられている。カメラ３０の視野角は、供給部において、通箱Ｔｂ内の全てのワークＷ及び基準ブロックＢ１を視野に入れることができる視野角である。さらに、カメラ３０の視野角は、収容部において、収容ケースＨ内の全ての載置部Ｓｎ及び基準ブロックＢ３を視野に入れることができる視野角である。基準ブロックＢ１，Ｂ３（基準物）は、位置基準となるものであり、例えばワークＷ及び載置部Ｓｎの付近（周囲）にそれぞれ配置された非対称の多面体（特徴部を備える形状）からなるブロック（立体物）である。載置部Ｓｎ（対象物を収容する位置）は、例えば加工後のワークＷの形状に対応した凹部として形成されている。すなわち、カメラ３０は、ロボット２０と分離して移動し、複数の作業エリアの対象物をそれぞれ撮像可能である。カメラ３０は、撮像する際に自動的に焦点位置を調整する機能を備えている。
　カメラ３０は、第１撮像位置Ｐ１と第２撮像位置Ｐ２との間で移動させられる。カメラ３０は、第１撮像位置Ｐ１において、通箱Ｔｂ内の全てのワークＷ及び基準ブロックＢ１を同じ撮像視野に入れて３次元画像を撮像する。また、カメラ３０は、第２撮像位置Ｐ２において、収容ケースＨ内の全ての載置部Ｓｎ及び基準ブロックＢ３を同じ撮像視野に入れて３次元画像を撮像する。なお、第１撮像位置Ｐ１，第２撮像位置Ｐ２は、カメラ３０が各作業エリアを撮像することができる位置として、予め設定しておくことも、３次元画像に基づいてその都度設定することもできる。
　物体認識部５０は、画像処理部、記憶部、及び入出力インターフェース等を備えている。物体認識部５０は、カメラ３０の座標系とロボット２０の座標系との対応関係を校正するキャリブレーションを行う。物体認識部５０は、第１撮像位置Ｐ１及び第２撮像位置Ｐ２（所定位置）にカメラ３０を移動させた状態で、それぞれキャリブレーションを行う。例えば、ロボット２０のアーム部２１の先端に、所定のマーカＢ２を取り付け、アーム部２１を動作させながらマーカＢ２をカメラ３０により撮像する。マーカＢ２として、所定のドットパターン等が印刷されたキャリブレーションボードや、上記の基準ブロックＢ１，Ｂ３と同様のブロック等を採用することができる。これにより、物体認識部５０は、カメラ３０によりキャリブレーション時の撮像位置から撮像された画像に基づき認識したカメラ３０の座標系における物体の位置姿勢（位置）を、ロボット２０の座標系における物体の位置姿勢（位置）に変換するためのパラメータを取得する。このパラメータは、第１撮像位置Ｐ１及び第２撮像位置Ｐ２の情報を含む。すなわち、物体認識部５０は、キャリブレーションを行うことにより、カメラ３０により所定位置から撮像された画像に基づいて、物体の位置姿勢としてロボット２０の座標系における物体の位置姿勢を認識可能とする。以下、ロボット２０の座標系における物体の位置姿勢を、単に物体の位置姿勢ということがある。物体認識部５０は、カメラ３０が取得した３次元画像（３次元画像データ）を用いて物体の位置姿勢を認識する（演算する）。具体的には、物体認識部５０は、カメラ３０が取得した３次元画像から、物体の位置や姿勢（向き）等を演算する。物体認識部５０は、３次元画像に基づいてワークＷ、基準ブロックＢ１，Ｂ３、及び収容ケースＨ内の載置部Ｓｎの位置姿勢を認識する。
　ロボット制御装置６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及び入出力インターフェース等を備えている。ロボット制御装置６０は、ロボット２０のアーム部２１の揺動・回転、把持用ツール２２の動作等を制御する。ロボット制御装置６０は、物体認識部５０が認識したワークＷの位置姿勢に基づいて、ロボット２０の各動作を制御する。なお、ロボット２０の各動作は、予め教示してロボット制御装置６０に記憶させているので、物体認識部５０が演算したワークＷの位置姿勢に基づいて、ロボット制御装置６０は、教示データを自動的に補正する。
　次に、ロボット２０を稼動させる前に行う初期設定の手順について、図２のフローチャートを参照して説明する。この一連の処理は、物体認識部５０により実行される。
　まず、ロボット２０とカメラ３０とのキャリブレーションを行う（Ｓ１０）。具体的には、スライダ４０によりカメラ３０を第１撮像位置Ｐ１に移動させた状態で、上記のキャリブレーションを行う。このとき、カメラ３０により撮像された３次元画像には、通箱Ｔｂ内の全てのワークＷ及び基準ブロックＢ１が含まれている。なお、キャリブレーション後に通箱Ｔｂ及び基準ブロックＢ１を配置して、カメラ３０により撮像された３次元画像に通箱Ｔｂ内の全てのワークＷ及び基準ブロックＢ１が含まれるようにしてもよい。
　続いて、基準ブロックＢ１の形状データを登録する（Ｓ１１）。具体的には、カメラ３０により撮像された３次元画像を処理することにより、基準ブロックＢ１の３次元形状データを取得して登録する。なお、３次元形状データは、物体の各点の位置を表す点群のデータとして取得される。
　続いて、基準ブロックＢ１とカメラ３０との位置関係を取得する（Ｓ１２）。具体的には、カメラ３０により第１撮像位置Ｐ１から基準ブロックＢ１を撮像した３次元画像に基づいて、カメラ３０の座標系における基準ブロックＢ１の位置姿勢を認識する。カメラ３０の座標系における基準ブロックＢ１の位置姿勢（位置）を、上記パラメータを用いてロボット２０の座標系における基準ブロックＢ１の位置姿勢（位置）に変換する。そして、ロボット２０の座標系における基準ブロックＢ１の位置姿勢（基準位置）を、基準ブロックＢ１とカメラ３０との位置関係として取得する。すなわち、カメラ３０により第１撮像位置Ｐ１から基準ブロックＢ１を撮像した３次元画像に基づき認識した基準ブロックＢ１の位置姿勢を、基準ブロックＢ１とカメラ３０との位置関係として取得する。
　続いて、対象物の形状データを登録する（Ｓ１３）。具体的には、カメラ３０により撮像された３次元画像を処理することにより、ワークＷの３次元形状データを取得して登録する。なお、複数のワークＷは同一形状であるため、代表の１つのワークＷの３次元形状データを取得すればよい。
　続いて、マスタデータを保存する（Ｓ１４）。具体的には、上記の基準ブロックＢ１の３次元形状データ、ロボット２０の座標系における基準ブロックＢ１の位置姿勢、及びワークＷの３次元形状データを、ロボット２０の稼働時に用いるマスタデータとして保存する。その後、この一連の処理を終了する（ＥＮＤ）。
　また、物体認識部５０は、スライダ４０によりカメラ３０を第２撮像位置Ｐ２に移動させた状態で、上記Ｓ１０～Ｓ１４と同様の処理を行う。ここでは、基準ブロックＢ３を基準ブロックとし、収容ケースＨ内の載置部Ｓｎを対象物に準ずる扱いとする。
　次に、ロボット２０の稼動時における制御の手順について、図３のフローチャートを参照して説明する。この一連の処理において、Ｓ２０～Ｓ２６の処理は物体認識部５０により実行され、Ｓ２７の処理はロボット制御装置６０により実行される。ここでは、ロボット２０が収容部で作業をしている際に、スライダ４０によりカメラ３０を第１撮像位置Ｐ１に移動させてこの一連の処理を行う場合を例にして説明する。スライダ４０によりカメラ３０を第１撮像位置Ｐ１から他の位置へ移動させた後に第１撮像位置Ｐ１に移動させる際には、第１撮像位置Ｐ１と実際のカメラ３０の位置とにずれ（誤差）が生じる。
　まず、マスタデータを読み込む（Ｓ２０）。具体的には、上記初期設定において保存されたマスタデータを読み込む。
　続いて、基準ブロックと対象物とが同じ撮像視野に入っているか否か判定する（Ｓ２１）。具体的には、基準ブロックＢ１と全てのワークＷとが同じ撮像視野（１つの撮像視野）に入っているか否か判定する。この判定は、カメラ３０により撮像された３次元画像と上記マスタデータ（基準ブロックＢ１の３次元形状データ、及びワークＷの３次元形状データ）とに基づいて、いわゆるマッチングにより行うことができる。この判定において、基準ブロックＢ１と全てのワークＷとが同じ撮像視野に入っていないと判定した場合（Ｓ２１：ＮＯ）、スライダ４０によりカメラ３０を他の撮像位置へ移動させる（Ｓ２２）。具体的には、スライダ４０の直線軌道のいずれか一方へ、スライダ４０の可動部４１を所定量移動させる。なお、上記判定において撮像された３次元画像に基づいて、基準ブロックと対象物とを同じ撮像視野に入れるための可動部４１の移動方向及び移動量を決定することもできる。その後、Ｓ２１の処理から再度実行する。すなわち、カメラ３０は、同じ視野に基準ブロックＢ１とワークＷとが入っていない場合に、同じ視野に基準ブロックＢ１とワークＷとが入る位置まで移動して３次元画像（所定画像）を取得する。
　Ｓ２１の判定において、基準ブロックＢ１と全てのワークＷとが同じ撮像視野に入っていると判定した場合（Ｓ２１：ＹＥＳ）、可動式カメラのずれ量を算出する（Ｓ２３）。具体的には、カメラ３０の現在位置（位置）の第１撮像位置Ｐ１からのずれ量を算出する。ここで、カメラ３０により現在位置で撮像された３次元画像（所定画像）に基づき認識した基準ブロックＢ１の位置がマスタデータにおける基準ブロックＢ１の位置（基準位置）からずれていれば、そのずれ量はカメラ３０の現在位置の第１撮像位置Ｐ１からのずれ量に対応（起因）している。このため、カメラ３０により現在位置で撮像された３次元画像に基づき認識した基準ブロックＢ１の位置と、マスタデータにおける基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置が第１撮像位置Ｐ１からずれているずれ量を算出する。
　続いて、可動式カメラのずれ量を補正する（Ｓ２４）。具体的には、カメラ３０の座標系における物体の位置姿勢（位置）を、ロボット２０の座標系における物体の位置姿勢（位置）に変換するための上記パラメータを上記ずれ量に基づいて補正する（パラメータにずれ量を反映させる）。
　続いて、対象物の位置姿勢（位置）を認識する（Ｓ２５）。具体的には、カメラ３０により現在位置からワークＷを撮像した３次元画像に基づいて、カメラ３０の座標系におけるワークＷの位置姿勢を認識する。このとき、複数のワークＷの中から掴む対象とするワークＷを選択して、選択したワークＷの位置姿勢を認識する。そして、カメラ３０の座標系におけるワークＷの位置姿勢を、上記補正されたパラメータを用いて、ロボット２０の座標系におけるワークＷの位置姿勢に変換する。すなわち、マスタデータにおける基準ブロックＢ１の位置（基準位置）と、基準ブロックＢ１とワークＷとを視野に入れて撮像した３次元画像（所定画像）に基づき認識した基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置（位置）の第１撮像位置Ｐ１（所定位置）からのずれ量を算出し、ずれ量と所定画像とに基づいてワークＷの位置姿勢（位置）を認識する。
　続いて、対象物の位置姿勢（位置）をロボット制御装置６０へ送信する（Ｓ２６）。具体的には、物体認識部５０は、認識したワークＷの位置姿勢をロボット制御装置６０へ送信する。
　続いて、ロボット２０の動作を制御する（Ｓ２７）。具体的には、ロボット制御装置６０は、受信したワークＷの位置姿勢に基づいて、ワークＷを掴むようにアーム部２１及び把持用ツール２２を動作させる（ワークＷに対して作業を行う）。一方、ロボット２０が供給部で作業をしている際に、物体認識部５０はカメラ３０を第２撮像位置Ｐ２へ移動させて、Ｓ２０～Ｓ２６と同様の処理を基準ブロックＢ３及び収容ケースＨの各載置部Ｓｎに対して実行している。供給部においてワークＷを掴んだ後、加工部へワークＷを移動させて切削機械等によりワークＷを加工する。ワークＷを加工した後、ワークＷを収容部へ移動させて収容ケースＨの各載置部ＳｎにワークＷを置く。このとき、ロボット制御装置６０は、ロボット２０が供給部で作業をしている際に予め認識した収容ケースＨの各載置部Ｓｎの位置姿勢に基づいて、目標とする載置部ＳｎにワークＷを置く。そして、ロボット２０が収容部で作業をしている際に、物体認識部５０はカメラ３０を第１撮像位置Ｐ１へ再度移動させて、Ｓ２０～Ｓ２６の処理を再度実行する。以降、上記処理を全てのワークＷに対して作業が終了するまで繰り返す。
　以上詳述した本実施形態は、以下の利点を有する。
　・カメラ３０は、ロボット２０と分離して移動し、複数の作業エリアのワークＷ及び収容ケースＨの載置部Ｓｎをそれぞれ撮像可能である。そして、物体認識部５０は、カメラ３０により第１撮像位置Ｐ１，第２撮像位置Ｐ２から撮像された画像に基づいて、物体の位置を認識可能である。このため、カメラ３０を第１撮像位置Ｐ１，第２撮像位置Ｐ２に移動させて複数の作業エリアのワークＷ及び収容ケースＨの載置部Ｓｎをそれぞれ撮像することにより、複数の作業エリアでそれぞれワークＷ及び収容ケースＨの載置部Ｓｎの位置を認識することができる。したがって、ロボット２０が複数の作業エリアでそれぞれワークＷに対して作業を行う場合であっても、必要なカメラの台数が増えることを抑制することができる。
　・物体認識部５０は、第１撮像位置Ｐ１から撮像された３次元画像に基づき認識した基準ブロックＢ１の基準位置と、基準ブロックＢ１とワークＷとを同じ視野に入れて撮像した所定画像に基づき認識した基準ブロックＢ１の位置とに基づいて、カメラ３０の位置の第１撮像位置Ｐ１からのずれ量を算出する。そして、ずれ量と所定画像とに基づいてワークＷの位置を認識する。このため、カメラ３０が第１撮像位置Ｐ１に正確に戻ることができなかった場合でも、ワークＷの位置を正確に認識することができる。そして、ロボット２０は、物体認識部５０により認識されたワークＷの位置に基づいて、ワークＷに対して正確に作業を行うことができる。また、第２撮像位置Ｐ２、基準ブロックＢ３、及び収容ケースＨの載置部Ｓｎに対しても同様である。
　・供給部においてカメラ３０によりワークＷの位置を認識するとともに、既に収容ケースＨの載置部Ｓｎの位置を認識した収容部においてロボット２０によりワークＷに対して作業を行うことができる。すなわち、カメラ３０によるワークＷの位置の認識と、ロボット２０による載置部ＳｎへのワークＷに対する作業とを並行して行うことができる。したがって、複数の作業エリアにおいて、カメラ３０によりワークＷの位置を認識し始めてからワークＷに対して作業し終えるまでのサイクル時間が長くなることを抑制することができる。また、収容部においてカメラ３０により収容ケースＨの載置部Ｓｎの位置を認識するとともに、既にワークＷの位置を認識した供給部においてロボット２０によりワークＷに対して作業を行うことができる。
　・カメラ３０は、同じ撮像視野に基準ブロックＢ１とワークＷとが入っていない場合に、同じ撮像視野に基準ブロックＢ１とワークＷとが入る位置まで移動して所定画像を取得する。こうした構成によれば、同じ撮像視野に基準ブロックＢ１とワークＷとが入らない位置にカメラ３０が移動している場合であっても、カメラ３０が移動して位置を変更することにより、基準ブロックＢ１とワークＷとを同じ撮像視野に入れて撮像した所定画像を取得することができる。
　・ロボット２０は、複数の作業エリアのうちの供給部においてワークＷを掴み、収容部までワークＷを移動させて離す作業を行う。こうした構成によれば、複数の作業エリアのうちの１つの作業エリアにおいてワークＷを掴み、他の作業エリアまでワークＷを移動させて離す（置く）作業を行う場合であっても、作業エリア毎にカメラが必要とならない。また、既にワークＷの位置を認識した供給部においてロボット２０によりワークＷを掴む作業を行うとともに、ワークＷを離す収容部においてカメラ３０により収容ケースＨの載置部Ｓｎの位置を認識することができる。その結果、必要なカメラの台数が増えることを抑制するとともに、サイクル時間が長くなることを抑制することにある。
　・物体認識部５０は、複数の作業エリアのうちの供給部においてロボット２０がワークＷを掴む前に、基準位置と所定画像に基づき認識した基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置の第１撮像位置Ｐ１からのずれ量を算出し、ずれ量と所定画像とに基づいてワークＷの位置姿勢を認識する。そして、ロボット２０は、物体認識部５０により認識されたワークＷの位置姿勢に基づいて、ワークＷを掴む作業を行う。こうした構成によれば、ワークＷを掴む前にワークＷの位置姿勢を正確に認識することができ、正確に認識したワークＷの位置姿勢に基づいてワークＷを正確に掴むことができる。
　・基準ブロックＢ１は、ワークＷの周囲に配置された非対称の多面体からなるブロックである。こうした構成によれば、物体認識部５０は、基準ブロックＢ１の特徴を捉えやすくなるため、基準ブロックＢ１の位置を容易に認識することができる。
　なお、上記実施形態を、以下のように変更して実施することもできる。上記実施形態と同一の部分については、同一の符号を付すことにより説明を省略する。
　・基準ブロックＢ１，Ｂ３の３次元形状データは、それぞれ第１撮像位置Ｐ１，第２撮像位置Ｐ２でカメラ３０が撮像した３次元画像データと、基準ブロックＢ１，Ｂ３の３次元ＣＡＤデータとを合成して形成することもできる。また、ワークＷ及び収容ケースＨの載置部Ｓｎの３次元形状データは、それぞれ第１撮像位置Ｐ１及び第２撮像位置Ｐ２でカメラ３０が撮像した３次元画像データと、ワークＷ及び載置部Ｓｎの３次元ＣＡＤデータとを合成して形成することもできる。
　・物体認識部５０は、図１に示すように、物体の位置を検出する精度がカメラ３０よりも高い３Ｄスキャナ７０を用いてキャリブレーションを行うこともできる。この場合、物体認識部５０は、第１撮像位置Ｐ１及び第２撮像位置Ｐ２（所定位置）に３Ｄスキャナ７０を配置した状態で、それぞれキャリブレーションを行う。そして、３Ｄスキャナ７０により第１撮像位置Ｐ１，第２撮像位置Ｐ２から基準ブロックＢ１，Ｂ３をそれぞれ撮像した３次元画像に基づき認識した基準ブロックＢ１，Ｂ３の位置姿勢（基準位置）を、基準ブロックＢ１，Ｂ３とカメラ３０との位置関係として取得して登録する。
　こうした構成によれば、カメラ３０の座標系とロボット２０の座標系との対応関係を正確に校正することができる。さらに、第１撮像位置Ｐ１及び第２撮像位置Ｐ２からそれぞれ撮像された画像に基づき認識した基準ブロックＢ１，Ｂ３の位置である基準位置を、より正確に取得することができる。したがって、カメラ３０の位置の第１撮像位置Ｐ１及び第２撮像位置Ｐ２からのずれ量をより正確に算出することができ、ひいてはワークＷ及び収容ケースＨの載置部Ｓｎの位置をより正確に認識することができる。
　・供給部（１つの作業エリア）においてロボット２０がワークＷを掴む際に、ロボット２０とワークＷとの相対位置にばらつきが生じる。その場合、掴んだワークＷを収容部（他の作業エリア）まで移動させて離す（置く）作業において、ワークＷを置く位置にばらつきが生じるおそれがある。
　そこで、物体認識部５０は、複数の作業エリアのうちの供給部においてワークＷを掴んだ後に、基準位置と所定画像に基づき認識した基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置の第１撮像位置Ｐ１からのずれ量を算出し、ずれ量と所定画像とに基づいてワークＷの位置姿勢（位置）を認識してもよい。そして、ロボット２０は、ワークＷを掴んだ後に、物体認識部５０により認識されたワークＷの位置姿勢に基づいて、供給部から収容部までワークＷを移動させて離す作業を行ってもよい。
　こうした構成によれば、ワークＷを掴んだ後にワークＷの位置姿勢を正確に認識することができ、正確に認識したワークＷの位置姿勢に基づいて、供給部から収容部までワークＷを移動させて正確な位置で離す（正確な位置に置く）ことができる。なお、供給部においてワークＷを掴んだ後に、物体認識部５０により認識されたワークＷの位置姿勢に基づいて、供給部から加工部までワークＷを移動させて加工する作業を行うこともできる。
　・カメラ３０により現在位置で撮像された３次元画像に基づき認識した基準ブロックＢ１の位置と、マスタデータにおける基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置が第１撮像位置Ｐ１からずれているずれ量を算出する。このずれ量と、座標を変換する上記パラメータに含まれる第１撮像位置Ｐ１及び第２撮像位置Ｐ２の情報とに基づいて、カメラ３０の現在位置を算出する。そして、カメラ３０の現在位置と上記所定画像とに基づいて、ワークＷの位置姿勢（位置）を認識することもできる。
　・図１に破線で示すように、ロボット制御システム１０は、ロボット２０を複数備えていてもよい。この場合、基準ブロックＢ１，Ｂ３（基準物）は、複数のロボット２０の複数の作業エリアにそれぞれ設けられている。そして、カメラ３０は、複数のロボット２０の複数の作業エリアのワークＷ（対象物）及び収容ケースＨの載置部Ｓｎをそれぞれ撮像可能である。具体的には、スライダ４０の可動部４１は、複数のロボット２０の複数の作業エリアまで移動可能である。こうした構成によれば、１台のカメラ３０により、複数のロボット２０の作業における対象物の位置の認識を行うことができる。したがって、必要なカメラの台数をさらに減らすことができる。
　上記の場合において、カメラ３０により１つの基準ブロックを撮像している状態において、撮像視野にワークＷ及び収容ケースＨの載置部Ｓｎが入れば、供給部及び収容部に共通の１つの基準ブロックを配置してもよい。そして、ロボット２０毎に、１つの基準ブロックを配置してもよい。
　・位置基準となる基準物として、ワークＷ及び収容ケースＨの載置部Ｓｎの周囲に存在する設備の一部（例えば装置の一部や支持構造の一部）を採用することもできる。基準物として採用する設備の一部は、位置及び形状が変化しない物体で、カメラ３０により特徴部を認識しやすいものが好ましい。こうした構成によれば、ワークＷ及び収容ケースＨの載置部Ｓｎの周囲に存在する設備の一部を基準物として利用することができるため、特別なブロック等を基準物として配置する必要がなくなる。
　・物体認識部５０は、ロボット制御装置６０に含まれていてもよいし、カメラ３０に含まれていてもよい。
　・ロボット２０は、単腕の水平多関節型ロボットであってもよい。また、ロボット２０は、双腕の多関節型ロボットであってもよい。
　なお、上記各実施形態及びその変更例を、組み合わせ可能な範囲で組み合わせて実施することもできる。
　以下、上述した実施形態及び変更例から抽出される特徴的な構成を記載する。
［構成１］
　複数の作業エリアでそれぞれ対象物（Ｗ）に対して作業を行うロボット（２０）と、
　前記ロボットと分離して移動し、前記複数の作業エリアの前記対象物をそれぞれ撮像可能な可動式カメラ（３０）と、
　前記可動式カメラにより所定位置（Ｐ１、Ｐ２）から撮像された画像に基づいて、物体の位置を認識可能である物体認識部（５０）と、
を備えるロボット制御システム（１０）であって、
　前記可動式カメラは、位置基準となる基準物（Ｂ１）と前記対象物とを視野に入れて撮像した所定画像を取得し、
　前記物体認識部は、前記所定位置から撮像された画像に基づき認識した前記基準物の位置を基準位置として予め登録しており、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
　前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物に対して作業を行う、ロボット制御システム。
［構成２］
　前記ロボットを複数備え、
　前記基準物は、複数の前記ロボットの前記複数の作業エリアにそれぞれ設けられており、
　前記可動式カメラは、複数の前記ロボットの前記複数の作業エリアの前記対象物をそれぞれ撮像可能である、構成１に記載のロボット制御システム。
［構成３］
　前記可動式カメラは、視野に前記基準物と前記対象物とが入っていない場合に、視野に前記基準物と前記対象物とが入る位置まで移動して前記所定画像を取得する、構成１又は２に記載のロボット制御システム。
［構成４］
　前記物体認識部は、前記可動式カメラの座標系と前記ロボットの座標系との対応関係を校正するキャリブレーションを行うことにより、前記可動式カメラにより前記所定位置から撮像された画像に基づいて、前記物体の位置として前記ロボットの座標系における物体の位置を認識可能とする、構成１～３のいずれか１つに記載のロボット制御システム。
［構成５］
　前記キャリブレーションは、物体の位置を検出する精度が前記可動式カメラよりも高い３Ｄスキャナ（７０）を用いて行われ、
　前記基準位置は、前記３Ｄスキャナを用いて予め登録されている、構成４に記載のロボット制御システム。
［構成６］
　前記ロボットは、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴み、他の作業エリアまで前記対象物を移動させて離す作業を行う、構成１～５のいずれか１つに記載のロボット制御システム。
［構成７］
　前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴む前に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
　前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物を掴む作業を行う、構成６に記載のロボット制御システム。
［構成８］
　前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴んだ後に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
　前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記１つの作業エリアから他の作業エリアまで前記対象物を移動させて離す作業を行う、構成６又は７に記載のロボット制御システム。
［構成９］
　前記基準物は、前記対象物の周囲に配置された非対称の多面体からなるブロックである、構成１～８のいずれか１つに記載のロボット制御システム。
［構成１０］
　前記基準物は、前記対象物の周囲に存在する設備の一部である、構成１～８のいずれか１つに記載のロボット制御システム。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (10)

  1. 　複数の作業エリアでそれぞれ対象物（Ｗ）に対して作業を行うロボット（２０）と、
    　前記ロボットと分離して移動し、前記複数の作業エリアの前記対象物をそれぞれ撮像可能な可動式カメラ（３０）と、
    　前記可動式カメラにより所定位置（Ｐ１、Ｐ２）から撮像された画像に基づいて、物体の位置を認識可能である物体認識部（５０）と、
    を備えるロボット制御システム（１０）であって、
    　前記可動式カメラは、位置基準となる基準物（Ｂ１）と前記対象物とを視野に入れて撮像した所定画像を取得し、
    　前記物体認識部は、前記所定位置から撮像された画像に基づき認識した前記基準物の位置を基準位置として予め登録しており、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
    　前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物に対して作業を行う、ロボット制御システム。
  2. 　前記ロボットを複数備え、
    　前記基準物は、複数の前記ロボットの前記複数の作業エリアにそれぞれ設けられており、
    　前記可動式カメラは、複数の前記ロボットの前記複数の作業エリアの前記対象物をそれぞれ撮像可能である、請求項１に記載のロボット制御システム。
  3. 　前記可動式カメラは、視野に前記基準物と前記対象物とが入っていない場合に、視野に前記基準物と前記対象物とが入る位置まで移動して前記所定画像を取得する、請求項１又は２に記載のロボット制御システム。
  4. 　前記物体認識部は、前記可動式カメラの座標系と前記ロボットの座標系との対応関係を校正するキャリブレーションを行うことにより、前記可動式カメラにより前記所定位置から撮像された画像に基づいて、前記物体の位置として前記ロボットの座標系における物体の位置を認識可能とする、請求項１又は２に記載のロボット制御システム。
  5. 　前記キャリブレーションは、物体の位置を検出する精度が前記可動式カメラよりも高い３Ｄスキャナ（７０）を用いて行われ、
    　前記基準位置は、前記３Ｄスキャナを用いて予め登録されている、請求項４に記載のロボット制御システム。
  6. 　前記ロボットは、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴み、他の作業エリアまで前記対象物を移動させて離す作業を行う、請求項１又は２に記載のロボット制御システム。
  7. 　前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴む前に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
    　前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物を掴む作業を行う、請求項６に記載のロボット制御システム。
  8. 　前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴んだ後に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
    　前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記１つの作業エリアから他の作業エリアまで前記対象物を移動させて離す作業を行う、請求項６に記載のロボット制御システム。
  9. 　前記基準物は、前記対象物の周囲に配置された非対称の多面体からなるブロックである、請求項１又は２に記載のロボット制御システム。
  10. 　前記基準物は、前記対象物の周囲に存在する設備の一部である、請求項１又は２に記載のロボット制御システム。
PCT/JP2023/042090 2022-12-23 2023-11-23 ロボット制御システム Ceased WO2024135220A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380086747.0A CN120379799A (zh) 2022-12-23 2023-11-23 机器人控制系统
EP23906589.9A EP4640381A1 (en) 2022-12-23 2023-11-23 Robot control system
US19/242,551 US20250312925A1 (en) 2022-12-23 2025-06-18 Robot control system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-206736 2022-12-23
JP2022206736A JP7786362B2 (ja) 2022-12-23 2022-12-23 ロボット制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/242,551 Continuation US20250312925A1 (en) 2022-12-23 2025-06-18 Robot control system

Publications (1)

Publication Number Publication Date
WO2024135220A1 true WO2024135220A1 (ja) 2024-06-27

Family

ID=91588208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/042090 Ceased WO2024135220A1 (ja) 2022-12-23 2023-11-23 ロボット制御システム

Country Status (6)

Country Link
US (1) US20250312925A1 (ja)
EP (1) EP4640381A1 (ja)
JP (1) JP7786362B2 (ja)
CN (1) CN120379799A (ja)
TW (1) TWI879233B (ja)
WO (1) WO2024135220A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05138582A (ja) * 1991-11-14 1993-06-01 A T R Tsushin Syst Kenkyusho:Kk ロボツトによる物体操作のための能動的カメラ探索装置
JP2004243187A (ja) * 2003-02-12 2004-09-02 Seiko Epson Corp 液滴吐出装置、電気光学装置、電気光学装置の製造方法および電子機器
JP2015170688A (ja) * 2014-03-06 2015-09-28 株式会社ダイヘン 基板損傷検出装置、その基板損傷検出装置を備えた基板搬送ロボット及び基板損傷検出方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113015604B (zh) 2018-12-11 2024-03-08 株式会社富士 机器人控制系统及机器人控制方法
JP7363098B2 (ja) * 2019-05-24 2023-10-18 セイコーエプソン株式会社 ロボットの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05138582A (ja) * 1991-11-14 1993-06-01 A T R Tsushin Syst Kenkyusho:Kk ロボツトによる物体操作のための能動的カメラ探索装置
JP2004243187A (ja) * 2003-02-12 2004-09-02 Seiko Epson Corp 液滴吐出装置、電気光学装置、電気光学装置の製造方法および電子機器
JP2015170688A (ja) * 2014-03-06 2015-09-28 株式会社ダイヘン 基板損傷検出装置、その基板損傷検出装置を備えた基板搬送ロボット及び基板損傷検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4640381A1

Also Published As

Publication number Publication date
TWI879233B (zh) 2025-04-01
US20250312925A1 (en) 2025-10-09
TW202430339A (zh) 2024-08-01
JP2024090687A (ja) 2024-07-04
EP4640381A1 (en) 2025-10-29
CN120379799A (zh) 2025-07-25
JP7786362B2 (ja) 2025-12-16

Similar Documents

Publication Publication Date Title
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
EP3542969B1 (en) Working-position correcting method and working robot
JP2015182144A (ja) ロボットシステムおよびロボットシステムの校正方法
JP6661027B2 (ja) 作業ロボット
JP6855491B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US12311542B2 (en) Robot system
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
JP7509918B2 (ja) 画像処理システム及び画像処理方法
CN110977950B (zh) 一种机器人抓取定位方法
JP7786362B2 (ja) ロボット制御システム
JP7660686B2 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP7583942B2 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
CN115556102B (zh) 一种基于视觉识别的机器人分拣规划方法及规划设备
WO2023032400A1 (ja) 自動搬送装置、及びシステム
JP2022162340A (ja) ピッキング装置
JP2024068115A (ja) ロボット搭載移動装置
CN119789933A (zh) 机器人控制装置
JP2023182423A (ja) 作業ロボット、作業ロボットの掴持状態の判定方法、及び作業ロボットの掴持状態の判定プログラム
JP2025129424A (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
CN121424398A (zh) 基于2d视觉的复合机器人高精度取放方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23906589

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380086747.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023906589

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380086747.0

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2023906589

Country of ref document: EP

Effective date: 20250723

ENP Entry into the national phase

Ref document number: 2023906589

Country of ref document: EP

Effective date: 20250723

ENP Entry into the national phase

Ref document number: 2023906589

Country of ref document: EP

Effective date: 20250723

WWP Wipo information: published in national office

Ref document number: 2023906589

Country of ref document: EP