KR101706222B1 - Moving robot - Google Patents

Moving robot Download PDF

Info

Publication number
KR101706222B1
KR101706222B1 KR1020110017981A KR20110017981A KR101706222B1 KR 101706222 B1 KR101706222 B1 KR 101706222B1 KR 1020110017981 A KR1020110017981 A KR 1020110017981A KR 20110017981 A KR20110017981 A KR 20110017981A KR 101706222 B1 KR101706222 B1 KR 101706222B1
Authority
KR
South Korea
Prior art keywords
unit
mobile robot
camera units
camera
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110017981A
Other languages
Korean (ko)
Other versions
KR20120098192A (en
Inventor
이경복
박형열
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020110017981A priority Critical patent/KR101706222B1/en
Publication of KR20120098192A publication Critical patent/KR20120098192A/en
Application granted granted Critical
Publication of KR101706222B1 publication Critical patent/KR101706222B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1674Program controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1674Program controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 이동 로봇 및 이의 제어방법에 관련된 것으로, 본 발명의 일 실시예에 따른 이동 로봇은, 본체부와, 상기 본체부를 이동시키는 추진부와, 상기 본체부에 배치되며 특정 물체까지의 거리 및 방향을 측정할 수 있는 스캐너부와, 상기 본체부에 배치되는 제1 및 제2카메라부와, 상기 제1 및 제2카메라부의 간격 및 주시 방향이 변경되도록 상기 제1 및 제2카메라부를 이동시키는 구동부와, 상기 스캐너부로부터 상기 거리 및 방향 정보를 수신하며 상기 구동부를 제어하는 제어부를 구비한다. The present invention relates to a mobile robot and a control method thereof, and a mobile robot according to an embodiment of the present invention includes a main body, a pushing unit for moving the main body, A first camera unit disposed in the main body unit, and a second camera unit disposed in the main body unit, wherein the first camera unit and the second camera unit are moved such that an interval between the first camera unit and the second camera unit is changed, And a control unit for receiving the distance and direction information from the scanner unit and controlling the driving unit.

Description

이동 로봇{Moving robot}Moving robot

본 발명은 이동 로봇에 관련된 것으로, 더욱 구체적으로는 스테레오 카메라(stereo camera)를 구비한 이동 로봇에 관한 것이다. The present invention relates to a mobile robot, and more particularly to a mobile robot having a stereo camera.

원격으로 이동의 조종이 가능한 이동 로봇을 군사용 또는 산업용으로 사용하는 경우가 점차 증가하고 있다. 이러한 이동 로봇은 일반적으로 카메라를 구비하여 그 카메라로 촬영한 현장의 영상을 텔레오퍼레이터(teleoperator)에게 전송한다. A mobile robot capable of remotely controlling the movement is increasingly used for military or industrial use. Such a mobile robot generally has a camera and transmits a scene image taken by the camera to a teleoperator.

현장의 영상을 수신한 텔레오퍼레이터는 그 영상을 보고 이동 로봇 주변의 환경을 살핀 다음, 이동 로봇의 이동을 원격으로 제어한다. The telemanager who received the scene image observes the environment around the mobile robot by looking at the image, and then remotely controls the movement of the mobile robot.

최근에는 텔레오퍼레이터가 효과적으로 이동 로봇의 주변환경을 파악할 수 있도록, 입체감 있는 영상을 텔레오퍼레이터에게 전송하는 기술이 대두되고 있다. In recent years, a technique has been developed to transmit stereoscopic images to a teleoperator so that a teleoperator can effectively grasp the surrounding environment of the mobile robot.

본 발명의 일 측면은, 촬영하고자 하는 물체의 위치에 관계없이 그 물체에 대하여 풍부한 입체감을 가지는 스테레오 영상(stereo image)을 텔레오퍼레이터에게 제공할 수 있는 이동 로봇 및 이의 제어방법을 제공함에 목적이 있다.An aspect of the present invention is to provide a mobile robot capable of providing a stereophonic image having a rich stereoscopic effect to an object, regardless of the position of an object to be photographed, and a control method thereof .

상기의 목적을 달성하기 위해서 본 발명의 일 측면에 따른 이동 로봇은, 본체부와, 상기 본체부를 이동시키는 추진부와, 상기 본체부에 배치되며 특정 물체까지의 거리 및 방향을 측정할 수 있는 스캐너부와, 상기 본체부에 배치되는 제1 및 제2카메라부와, 상기 제1 및 제2카메라부의 간격 및 주시 방향이 변경되도록 상기 제1 및 제2카메라부를 이동시키는 구동부와, 상기 스캐너부로부터 상기 거리 및 방향 정보를 수신하며, 상기 구동부를 제어하는 제어부를 구비한다. According to an aspect of the present invention, there is provided a mobile robot including: a main body; a pushing unit for moving the main body; a scanner disposed in the main body and capable of measuring a distance and a direction to a specific object; A driving unit for moving the first and second camera units so as to change an interval and a viewing direction of the first and second camera units; And a control unit for receiving the distance and direction information and controlling the driving unit.

또한, 상기의 목적을 달성하기 위해서 본 발명의 다른 일 측면에 따른 이동 로봇은, 본체부와, 상기 본체부를 추진시키는 추진부와, 상기 본체부에 배치되며 특정 물체까지의 거리 및 방향을 측정하는 스캐너부와, 상기 본체부에 배치되는 이미지 센서부와, 상기 본체부에 배치되는 제1 및 제2경통부와, 상기 제1 및 제2경통부 사이의 간격 및 주시 방향이 변경될 수 있도록 상기 제1 및 제2경통부를 이동시키는 구동부와, 상기 제1 및 제2경통부를 통과한 영상을 반사시켜 상기 이미지 센서부로 투사시키는 반사부 및 상기 스캐너부로부터 상기 거리 및 방향 값을 수신하며 상기 구동부를 제어하는 제어부를 구비한다. According to another aspect of the present invention, there is provided a mobile robot including a main body, a pushing portion for pushing the main body, The image forming apparatus according to any one of claims 1 to 3, wherein the first and second barrel sections are arranged in the main body section and the first and second barrel sections, A reflecting unit for reflecting the image passed through the first and second barrel units and projecting the reflected image to the image sensor unit, and a controller for receiving the distance and direction values from the scanner unit and controlling the driving unit And a control unit.

또한 상기의 목적을 달성하기 위하여 본 발명의 또 다른 일 측면에 따른 이동 로봇의 제어방법은 이동 로봇으로부터 이격되게 위치한 물체를 인식하고 상기 물체까지의 거리 및 방향을 측정하는 물체 위치측정단계와, 상기 물체까지의 거리 및 방향에 따라서, 간격 및 주시 방향의 변경이 가능하게 배치된 제1 및 제2카메라부의 상기 간격 및 상기 주시 방향을 제어하는 카메라부 위치제어단계와, 상기 제1 및 제2카메라부로 촬영한 영상을 텔레오퍼레이터에게 전송하는 영상전송단계와, 상기 텔레오퍼레이터로부터 상기 이동 로봇의 이동을 제어하기 위한 제어신호를 수신하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method for controlling a mobile robot, the method comprising: an object position measurement step of recognizing an object positioned apart from the mobile robot and measuring a distance and a direction to the object; A camera position control step of controlling the interval and the viewing direction of the first and second camera units arranged so as to be able to change the interval and the viewing direction according to the distance and direction to the object, And a control signal for controlling the movement of the mobile robot from the telemanager.

본 발명의 일 측면에 따른 이동 로봇 및 이의 제어방법에 따르면, 촬영하고자 하는 물체의 위치에 관계없이, 그 물체에 대하여 풍부한 입체감을 가지는 스테레오 영상을 텔레오퍼레이터에게 제공할 수 있다. According to one aspect of the present invention, a mobile robot and a control method thereof can provide a telerector with a stereo image having a rich stereoscopic effect on the object regardless of the position of the object to be imaged.

도 1은 본 발명의 일 실시예에 따른 이동 로봇의 외관을 개략적으로 도시한 사시도이다.
도 2는 도 1의 이동 로봇의 구성을 개략적으로 도시한 평면도이다.
도 3은 도 1의 이동 로봇의 일 부분을 분리하여 도시한 사시도이다.
도 4는 도 1의 이동 로봇의 IV-IV부분을 따라 취한 개략적인 단면도이다.
도 5는 도 1의 이동 로봇의 제어방법을 개략적으로 나타낸 흐름도이다.
도 6은 도 1의 이동 로봇의 제어방법의 일부 단계를 설명하기 위하여, 도 1의 이동 로봇의 일부를 개략적으로 도시한 평면도이다.
도 7은 도 1의 이동 로봇의 제어방법의 다른 일부 단계를 설명하기 위하여, 도 1의 이동 로봇의 일부를 개략적으로 도시한 평면도이다.
도 8은 도 1의 이동 로봇의 제어방법의 또 다른 일부 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 다른 일 실시예에 따른 이동 로봇의 일부를 개략적으로 도시한 평면도이다.
도 10은 본 발명의 또 다른 일 실시예에 따른 이동 로봇의 일부를 개략적으로 도시한 평면도이다.
도 11은 본 발명의 또 다른 일 실시예에 따른 이동 로봇의 일부를 개략적으로 도시한 평면도이다.
1 is a perspective view schematically showing an appearance of a mobile robot according to an embodiment of the present invention.
Fig. 2 is a plan view schematically showing the configuration of the mobile robot of Fig. 1. Fig.
FIG. 3 is a perspective view showing a part of the mobile robot of FIG. 1 separated.
Fig. 4 is a schematic cross-sectional view taken along the line IV-IV of the mobile robot of Fig. 1;
5 is a flowchart schematically showing a control method of the mobile robot of FIG.
FIG. 6 is a plan view schematically showing a part of the mobile robot of FIG. 1 to explain some steps of the control method of the mobile robot of FIG. 1;
FIG. 7 is a plan view schematically showing a part of the mobile robot of FIG. 1 to explain some other steps of the control method of the mobile robot of FIG. 1;
8 is a view for explaining another step of the method of controlling the mobile robot of FIG.
9 is a plan view schematically showing a part of a mobile robot according to another embodiment of the present invention.
10 is a plan view schematically showing a part of a mobile robot according to another embodiment of the present invention.
11 is a plan view schematically showing a part of a mobile robot according to another embodiment of the present invention.

이하 도면을 참조하여 본 발명의 일 실시예에 따른 이동 로봇에 대하여 설명한다. Hereinafter, a mobile robot according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 이동 로봇의 외관을 개략적으로 도시한 사시도이며, 도 2는 도 1의 이동 로봇의 구성을 개략적으로 도시한 평면도이다. FIG. 1 is a perspective view schematically illustrating an appearance of a mobile robot according to an embodiment of the present invention, and FIG. 2 is a plan view schematically illustrating the configuration of the mobile robot of FIG.

도 1 및 도 2를 참조하면 본 실시예에 다른 이동 로봇(1)은 본체부(100), 추진부(200), 스캐너부(300), 제1 및 제2카메라부(410,420), 구동부(500), 제어부(600) 및 통신부(700)를 구비한다. 1 and 2, the mobile robot 1 according to the present embodiment includes a main body 100, a propulsion unit 200, a scanner unit 300, first and second camera units 410 and 420, 500, a control unit 600, and a communication unit 700.

본체부(100)는 추진부(200), 스캐너부(300), 제1 및 제2카메라부(410,420), 구동부(500), 통신부(700) 및 제어부(600)가 배치되는 부분으로, 이동 로봇(1)의 임무에 따라 적절한 장치를 더 탑재할 수 있다. 예를 들어 이동 로봇(1)이 경계 또는 적을 공격하는 임무를 가지는 경우에는 화기를 탑재할 수 있다.The main body 100 is a portion in which the propulsion unit 200, the scanner unit 300, the first and second camera units 410 and 420, the driving unit 500, the communication unit 700, and the control unit 600 are disposed. It is possible to further mount an appropriate apparatus according to the mission of the robot 1. For example, when the mobile robot 1 has a task of attacking a boundary or an enemy, the firearm can be mounted.

추진부(200)는 본체부(100)를 추진시키기 위한 것으로 도 2에 도시된 바와 같이 바퀴(210)와 동력부(220)와 바퀴(210)를 구비한다. 동력부(220)가 바퀴(210)를 회전시키면, 바퀴(210)는 지면을 밀면서 본체부(100)를 추진시킨다. The propelling unit 200 is for propelling the main body 100 and includes a wheel 210, a power unit 220, and a wheel 210 as shown in FIG. When the power unit 220 rotates the wheel 210, the wheel 210 pushes the main body 100 while pushing the ground.

스캐너부(300)는 본체부(100)의 상측 전방에 배치되며, 스캐너부(300)로부터 특정 물체까지의 거리 및 방향을 측정한다. 스캐너부(300)는 본체부(100)에 회전 가능하게 배치되는 레이저 거리 센서로 이루어질 수 있고, 본체부(100)에 회전 가능하게 배치되는 레이더로 이루질 수도 있다. The scanner unit 300 is disposed on the upper front side of the main body 100 and measures a distance and a direction from the scanner unit 300 to a specific object. The scanner unit 300 may be a laser distance sensor that is rotatably disposed on the main body 100 and may be a radar that is rotatably disposed on the main body 100.

제1 및 제2카메라부(410,420)는 본체부(100)의 상측 전방에 배치되며, 스캐너부(300)를 그 사이에 두고 서로 대칭되게 배치된다. 제1 및 제2카메라부(410,420)는 그 전방을 촬영하여 영상을 형성한다. The first and second camera units 410 and 420 are disposed on the upper front side of the main body 100 and are disposed symmetrically with each other with the scanner unit 300 therebetween. The first and second camera units 410 and 420 capture an image in front of them and form an image.

구동부(500)는 제1 및 제2카메라부(410,420) 사이의 간격(G)과, 제1 및 제2카메라부(410,420) 각각의 주시 방향(D1,D2)을 변경시키도록 제1 및 제2카메라부(410,420)를 이동시키는 역할을 한다. The driving unit 500 may include first and second camera units 410 and 420 to change the gap G between the first and second camera units 410 and 420 and the viewing directions D1 and D2 of the first and second camera units 410 and 420, 2 to move the camera units 410 and 420.

도 3은 도 1의 이동 로봇(1)의 구동부(500)에 해당되는 일 부분을 분리하여 도시한 사시도이며 도 4는 도 1의 이동 로봇(1)의 IV-IV부분을 따라 취한 개략적인 단면도이다. Fig. 3 is a perspective view showing a portion corresponding to the driving part 500 of the mobile robot 1 of Fig. 1, and Fig. 4 is a schematic sectional view taken along the line IV-IV of the mobile robot 1 of Fig. to be.

도 3 및 도 4를 참조하면, 구동부(500)는 제1 및 제2베이스(510,520), 제1액추에이터(512), 제2액추에이터(522) 및 제3액추에이터(530)를 구비한다.3 and 4, the driving unit 500 includes first and second bases 510 and 520, a first actuator 512, a second actuator 522, and a third actuator 530.

제1 및 제2베이스(510,520)는 서로 접근 및 이격 가능하게 본체부(100)에 배치되며, 각각 제1 및 제2카메라부(410,420)를 회전 가능하게 지지한다. 도 3에 도시된 바와 같이, 제1 및 제2베이스(510,520)는 가이드 레일(534)에 끼워져 결합되어 가이드 레일(534)의 연장 방향을 따라서 슬라이딩 이동된다. The first and second bases 510 and 520 are disposed on the main body 100 in such a manner that the first and second bases 510 and 520 are rotatably supported by the first and second camera units 410 and 420, respectively. 3, the first and second bases 510 and 520 are fitted and engaged with the guide rails 534 and are slidably moved along the extending direction of the guide rails 534.

제1액추에이터(512)는 제1베이스(510)에 배치되며, 제1카메라부(410)에 결합되어 제1카메라부(410)를 회전 이동시키는 역할을 한다. 제1액추에이터(512)는 제1카메라부(410)를 회전 이동시킬 수 있도록 모터 및 감속기를 구비하여 이루어질 수 있다. The first actuator 512 is disposed on the first base 510 and coupled to the first camera unit 410 to rotate the first camera unit 410. The first actuator 512 may include a motor and a speed reducer to allow the first camera unit 410 to rotate.

제2액추에이터(522)는 제2베이스(520)에 배치되며, 제2카메라부(420)에 결합되어 제2카메라부(420)를 회전 이동시키는 역할을 한다. 제2액추에이터(522)도 모터 및 감속기를 구비하여 이루어질 수 있다. The second actuator 522 is disposed on the second base 520 and coupled to the second camera unit 420 to rotate the second camera unit 420. The second actuator 522 may also be provided with a motor and a speed reducer.

제3액추에이터(530)는 스크류(532)와 모터(536)를 구비한다. The third actuator 530 includes a screw 532 and a motor 536.

스크류(532)는 가이드 레일(534)과 평행하게 배치되며, 제1베이스(510) 및 제2베이스(520)에 마련된 볼 너트(514,524)에 나사 결합되는 볼 스크류이다. 스크류(532)의 제1베이스(532)와 결합되는 부분(532a)의 나사 방향과 제2베이스(520)와 결합되는 부분(532b)의 나사 방향은 서로 반대로 형성되어 있다. 따라서 스크류(532)가 어느 한 방향으로 회전하면 제1베이스(510)와 제2베이스(520)는 서로 접근하는 방향으로 이동되고, 스크류(532)가 그 반대 방향으로 회전하면 제1베이스(510)와 제2베이스(520)는 서로 이격되는 방향으로 이동된다. The screw 532 is a ball screw disposed in parallel with the guide rail 534 and screwed to the ball nuts 514 and 524 provided in the first and second bases 510 and 520. The screw direction of the portion 532a engaged with the first base 532 of the screw 532 and the screw direction of the portion 532b engaged with the second base 520 are opposite to each other. Accordingly, when the screw 532 is rotated in one direction, the first base 510 and the second base 520 are moved toward each other, and when the screw 532 rotates in the opposite direction, the first base 510 And the second base 520 are moved in directions away from each other.

모터(536)는 제1베이스(510) 및 제2베이스(520)가 서로 접근 및 이격될 수 있도록, 스크류(532)에 연결되어 스크류(532)를 일 방향 및 타 방향으로 회전시키는 역할을 한다. 모터(536)와 스크류(532) 사이에는 감속기가 배치될 수도 있다. The motor 536 is connected to the screw 532 to rotate the screw 532 in one direction and the other direction so that the first base 510 and the second base 520 can be moved toward and away from each other . A speed reducer may be disposed between the motor 536 and the screw 532.

통신부(700)는 텔레오퍼레이터(T)와 무선으로 데이터 및 제어신호를 송수신하는 역할을 한다. 통신부(700)가 텔레오퍼레이터(T)가 송신하는 데이터(S1)에는 제1카메라부(410)와 제2카메라부(420)에서 촬영한 영상이 포함되며, 통신부(700)가 텔레오퍼레이터(T)로부터 수신하는 제어신호(S2)에는 추진부(200)의 제어신호가 포함된다. The communication unit 700 transmits and receives data and control signals to and from the telemarker T wirelessly. The data S1 transmitted by the teleconverter T by the communication unit 700 includes the images taken by the first camera unit 410 and the second camera unit 420 and the communication unit 700 transmits the image taken by the teleoperator T The control signal of the propulsion unit 200 is included in the control signal S2.

제어부(600)는 추진부(200), 스캐너부(300), 제1 및 제2카메라부(410,420), 구동부(500) 및 통신부(700)를 제어한다. 제어부(600)는 스캐너부(300)로부터 촬영하고자 하는 물체까지의 거리 및 물체의 방향 정보를 수신하여, 수신된 물체의 위치 정보에 따라 구동부(500)를 제어할 수 있다. 도 4를 참조하면 제어부(600)는 제3액추에이터(530)의 모터(536)를 제어함으로써 제1 및 제2카메라부(410,420) 사이의 간격(G)을 제어할 수 있다. 특히 제어부(600)는 물체까지의 거리가 멀어질수록 제1 및 제2카메라부(410,420)의 간격(G)을 증가시키며, 반대로 물체까지의 거리가 가까워질수록 제1 및 제2카메라부(410,420)의 간격(G)을 감소시키는 형태로 모터(536)를 제어한다. The control unit 600 controls the driving unit 200, the scanner unit 300, the first and second camera units 410 and 420, the driving unit 500, and the communication unit 700. The control unit 600 receives the distance from the scanner unit 300 to the object to be photographed and the direction information of the object and controls the driving unit 500 according to the position information of the received object. Referring to FIG. 4, the controller 600 may control the gap G between the first and second camera units 410 and 420 by controlling the motor 536 of the third actuator 530. Particularly, as the distance to the object increases, the control unit 600 increases the gap G between the first and second camera units 410 and 420. On the contrary, as the distance to the object becomes closer, the first and second camera units 410, 420) of the motor (536).

또한 제어부(600)는 제1 및 제2액추에이터(512,522)의 작동도 제어하여, 제1 및 제2카메라부(410,420)의 회전을 제어할 수 있다. 특히 제어부(600)는 제1 및 제2카메라부(410,420)의 주시 방향이 촬영하고자 하는 물체를 향하도록 제1 및 제2액추에이터(522)를 제어한다. The controller 600 also controls the operation of the first and second actuators 512 and 522 to control the rotation of the first and second camera units 410 and 420. In particular, the controller 600 controls the first and second actuators 522 such that the viewing direction of the first and second camera units 410 and 420 is directed toward an object to be photographed.

또한 제어부(600)는 제1 및 제2카메라부(410,420)로 촬영한 영상을 통신부(700)를 통하여 텔레오퍼레이터에게 송신할 수 있으며, 텔레오퍼레이터로부터 추진부(200) 제어를 위한 제어신호를 수신하여 이동 로봇(1)의 이동 방향 및 속력 등을 제어할 수도 있다. The control unit 600 can transmit the image captured by the first and second camera units 410 and 420 to the teleoperator through the communication unit 700 and receives a control signal for controlling the propulsion unit 200 from the telediator The moving direction and the speed of the mobile robot 1, and the like.

다음으로 본 실시예에 따른 이동 로봇(1)의 제어방법의 일 예시를 도면을 참조하여 설명한다. Next, an example of a control method of the mobile robot 1 according to the present embodiment will be described with reference to the drawings.

도 5는 도 1의 이동 로봇(1)의 제어방법을 개략적으로 나타낸 흐름도이다. 5 is a flowchart schematically showing a control method of the mobile robot 1 shown in Fig.

도 5를 참조하면 본 실시예에 따른 이동 로봇(1)의 제어방법은 물체의 위치를 측정하는 단계(S10), 제1 및 제2카메라부(410,420)의 위치를 제어하는 단계(S20), 제1 및 제2카메라부(410,420)의 초점을 제어하는 단계(S30), 제1 및 제2카메라부(410,420)의 촬영 영상을 전송하는 단계(S40), 이동 로봇(1)의 이동 제어신호를 수신하는 단계(S50) 및 이동 로봇(1)의 이동을 제어하는 단계(S60)를 포함한다. Referring to FIG. 5, the control method of the mobile robot 1 according to the present embodiment includes steps S 10, S 20, A step S30 of controlling the focal points of the first and second camera units 410 and 420 and a step S40 of transmitting photographed images of the first and second camera units 410 and 420, (S50) and controlling the movement of the mobile robot (S60).

물체의 위치를 측정하는 단계(S10)는 스캐너부(300)를 이용하여 이동 로봇(1)으로부터 이격된 장애물 등과 같은 물체를 감지한 다음 그 물체까지의 거리 및 방향을 측정하는 단계이다. 도 6은 본 실시예의 이동 로봇(1)을 이용하여 특정 물체(X)까지의 거리 및 방향을 측정하는 것을 설명하기 위한 개략적인 평면도이다. 도 6을 참조하면, 본 단계(S10)에서는 스캐너부(300)를 이용하여 특정 물체(X)를 감지한 다음 그 물체(X)까지의 거리(L1) 및 방향, 예컨대 스캐너부(300)의 전면 방향으로부터 그 물체(X)까지의 방향각(A1)을 측정한다. The step S10 of measuring the position of the object is a step of detecting an object such as an obstacle or the like separated from the mobile robot 1 by using the scanner unit 300 and then measuring the distance and direction to the object. 6 is a schematic plan view for explaining the measurement of the distance and direction to a specific object X using the mobile robot 1 of the present embodiment. Referring to FIG. 6, in this step S10, a specific object X is sensed using the scanner unit 300 and then the distance L1 and direction to the object X, for example, And the directional angle A1 from the front direction to the object X is measured.

제1 및 제2카메라부(410,420)의 위치를 제어하는 단계(S20)는 스캐너부(300)로부터 측정된 물체(X)까지의 거리와 방향 정보에 따라서 제1 및 제2카메라부(410,420) 사이의 거리(G) 및 각각의 주시 방향(D1,D2)를 변경하는 단계이다. The step S20 of controlling the positions of the first and second camera units 410 and 420 may be performed by the first and second camera units 410 and 420 according to the distance and direction information from the scanner unit 300 to the measured object X, And changing the viewing directions D1 and D2, respectively.

도 7은 본 실시예의 이동 로봇(1)을 이용하여 제1 및 제2카메라부(410,420)의 간격(G) 및 주시 방향(D1,D2)을 제어하는 단계를 설명하기 위한 개략적인 평면도이다. 도 7을 참조하면, 제1 및 제2카메라부(410,420)의 간격(G)은 도 6에 도시된 간격(G)과는 다르게 변경되고, 제1 및 제2카메라부(410,420)의 주시 방향(D1,D2)도 물체(X)를 바라보는 방향으로 변경된다. 제1 및 제2카메라부(410,420)의 주시 방향(D1,D2)은 스캐너부(300)의 전면 방향과 제1 및 제2카메라부(410,420)의 주시 방향(D1,D2)이 이루는 주시 방향각(A2,A3)으로 표현될 수도 있다.7 is a schematic plan view for explaining the step of controlling the gap G and the viewing directions D1 and D2 of the first and second camera units 410 and 420 using the mobile robot 1 of the present embodiment. 7, the gap G between the first and second camera units 410 and 420 is changed to be different from the gap G shown in FIG. 6, and the distance between the first camera unit 410 and the second camera unit 410, (D1, D2) also change in the direction of looking at the object (X). The viewing directions D1 and D2 of the first and second camera units 410 and 420 are set such that the front direction of the scanner unit 300 and the viewing direction D1 and D2 of the first and second camera units 410 and 420 May be represented by angles (A2, A3).

제1 및 제2카메라부(410,420)의 간격(G) 및 주시 방향(D1,D2)은 물체까지의 이격 거리(L1) 및 방향각(A1)에 따라서 결정된다. 본 실시예에서 제어부(600)는 하기의 표 1과 같은 참조 테이블을 저장할 수 있다. The gap G and the viewing directions D1 and D2 of the first and second camera units 410 and 420 are determined according to the separation distance L1 to the object and the direction angle A1. In this embodiment, the control unit 600 may store reference tables as shown in Table 1 below.

참조 테이블Reference table 물체까지의 거리Distance to object 물체의 방향각Direction angle of object 제1 및 제2카메라부(410,420)의 간격The distance between the first and second camera units 410 and 420 제1카메라의 주시 방향각The viewing direction angle of the first camera 제2카메라의 주시 방향각The viewing direction angle of the second camera L1L1 A1A1 GG A2A2 A3A3 L1'L1 ' A1'A1 ' GG A2'A2 ' A3'A3 ' :: :: :: :: ::

참조 테이블은 물체까지의 거리(L1) 및 방향각(A1)과, 그에 최적화된 제1 및 제2카메라부(410,420)의 간격(G), 제1카메라부(410)의 주시 방향각(A2) 및 제2카메라부(420)의 주시 방향각(A3) 정보를 포함한다. 즉 참조 테이블을 참조함으로써, 물체까지의 거리(L1) 및 방향각(A1)에 최적화된 제1 및 제2카메라부(410,420)의 간격(G), 제1카메라부(410)의 주시 방향각(A2) 및 제2카메라부(420)의 주시 방향각(A3)을 용이하게 구할 수 있다.The reference table includes a distance L1 to an object and a directional angle A1 and a gap G between the first and second camera units 410 and 420 optimized for the distance L1 and a viewing direction angle A2 of the first camera unit 410 And the viewing direction angle A3 of the second camera unit 420. [ The distance G between the first and second camera units 410 and 420 optimized for the distance L1 to the object and the directional angle A1 and the viewing direction angle of the first camera unit 410 The viewing direction A2 of the second camera unit 420 and the viewing direction angle A3 of the second camera unit 420 can be easily obtained.

참조 테이블은 본 실시예에 따른 이동 로봇(1)을 제어하기 전에 미리 작성되며, 물체(X)까지의 거리(L1)가 커질수록 제1 및 제2카메라부(410,420)의 간격(G)이 커지는 경향성을 가지며, 제1 및 제2카메라부(410,420)의 주시 방향각(A2,A3)은 그 물체(X)를 바라보는 방향으로 정해진다. The reference table is created in advance before controlling the mobile robot 1 according to the present embodiment and the distance G between the first and second camera units 410 and 420 increases as the distance L1 to the object X increases The viewing direction angles A2 and A3 of the first and second camera units 410 and 420 are determined in the direction in which the object X is viewed.

한편, 물체까지의 거리(L1) 및 방향각(A1)에 최적화된 제1 및 제2카메라부(410,420)의 간격(G), 제1 및 제2카메라부(410,420)의 주시 방향각(A2,A3)를 결정하기 위해서, 등시차 곡선(iso-disparity curve)이 사용될 수도 있다. The distance G between the first and second camera units 410 and 420 optimized for the distance L1 to the object and the directional angle A1 and the viewing direction angle A2 of the first and second camera units 410 and 420 , A3), an iso-disparity curve may be used.

등시차 곡선은 제1 및 제2카메라부(410,420)의 간격(G) 및 방향각(A1)에 의해서 결정되는 것으로, 등시차 곡선의 밀도가 높으면 입체영상에 있어서 심도가 잘 표현되지만, 심도가 지나치게 높으면 보는 이의 어지러움을 유발하는 등의 문제가 있다. 따라서 관찰하고자 하는 부분을 지나는 시차 곡선의 밀도는 적절한 범위에서 유지되는 것이 바람직하다. 예컨대, 관찰하고자 하는 물체의 거리가 지나치게 먼 경우에는 제1 및 제2카메라부(410,420)의 간격(G)이 커지면서 물체가 위치한 부분의 등시차 곡선의 밀도를 증가시키고, 반대로 관찰하고자 하는 물체의 거리가 지나치게 가까운 경우에는 제1 및 제2카메라부(410,420)의 간격(G)이 작아지면서 물체가 위치한 부분의 등시차 곡선의 밀도를 감소시킴으로써 관찰하고자 하는 물체의 위치에서의 등시차 곡선의 밀도를 일정하게 유지시킬 수 있다. The iso-parallax curve is determined by the interval G between the first and second camera units 410 and 420 and the directional angle A1. If the density of the iso-parallax curve is high, the depth of the stereoscopic image is well expressed, And if it is too high, it causes dizziness of the viewer. Therefore, it is preferable that the density of the parallax curve passing through the portion to be observed is maintained in an appropriate range. For example, when the distance of the object to be observed is excessively large, the interval G of the first and second camera units 410 and 420 increases, thereby increasing the density of the iso-parallax curve at the position where the object is located. When the distance is too close, the interval G of the first and second camera units 410 and 420 becomes small, and the density of the iso-parallax curve at the position of the object to be observed is decreased by decreasing the density of the iso-parallax curve at the position where the object is located Can be kept constant.

결과적으로, 참조 테이블은 물체가 위치한 부분에서 등시차 곡선이 소정의 밀도를 가지도록 하는 제1 및 제2카메라부(410,420)의 간격(G) 및 주시 주시 방향각(A2,A3)을 미리 저장해두는 것일 수 있다.As a result, the reference table stores in advance the interval G between the first and second camera units 410 and 420 and the viewing-viewing direction angles A2 and A3 such that the iso-parallax curve has a predetermined density at the position where the object is located It can be put.

이와 같이 물체(X)까지의 거리(L1) 및 방향각(A1)이 측정되면 제어부(600)는 상기 참조 테이블을 참조하여, 제1 및 제2카메라부(410,420)의 간격(G), 제1 및 제2카메라부(410,420)의 주시 방향각(A2,A3)을 결정하고 이에 따라 구동부(500)를 제어한다. When the distance L1 to the object X and the directional angle A1 are measured in this way, the controller 600 refers to the reference table and determines the distance G between the first and second camera units 410 and 420, 1 and the viewing direction angles A2 and A3 of the second camera units 410 and 420 and controls the driving unit 500 accordingly.

제1 및 제2카메라부(410,420)의 초점을 제어하는 단계(S30)는 소정의 위치에 배치된 제1 및 제2카메라부(410,420)가 스캐너부(300)가 감지한 물체(X)에 대한 선명한 영상을 얻을 수 있도록, 그 초점을 제어하는 단계이다. 도 8은 제1 및 제2카메라부(410,420)의 초점을 제어하는 단계(S30)를 개략적으로 설명하기 위한 것으로, 도 8을 참조하면 물체(X)까지의 거리(L1) 및 방향각(A1), 제1 및 제2카메라부(410,420)의 간격(G), 제1 및 제2카메라부(410,420)의 주시 방향각(A2,A3)이 결정되면, 제1카메라부(410)로부터 물체(X)까지의 거리(L2) 및 제2카메라부(420)로부터 물체(X)까지의 거리(L3)가 정해진다. 따라서 제1 및 제2카메라부(410,420)의 초점은 물체(X)까지의 거리(L2,L3) 정보에 의해서 정해질 수 있다. The step S30 of controlling the focus of the first and second camera units 410 and 420 may be performed by moving the first and second camera units 410 and 420 disposed at a predetermined position on the object X sensed by the scanner unit 300 And controlling the focus so that a clear image can be obtained. 8 is a schematic view for explaining a step S30 of controlling the focus of the first and second camera units 410 and 420. Referring to FIG. 8, the distance L1 to the object X and the directional angle A1 The interval G between the first and second camera units 410 and 420 and the viewing direction angles A2 and A3 of the first and second camera units 410 and 420 are determined from the first camera unit 410, The distance L2 from the second camera unit 420 to the object X and the distance L3 from the second camera unit 420 to the object X are determined. Therefore, the focal points of the first and second camera units 410 and 420 can be determined by the distance information L2 and L3 to the object X. [

제1 및 제2카메라부(410,420)의 촬영 영상을 전송하는 단계(S40)는 제1 및 제2카메라부(410,420)로 촬영한 영상을 텔레오퍼레이터(T)에게 전송하는 단계이다. 즉, 본 단계(S40)에서 제어부(600)는 제1 및 제2카메라부(410,420)에 의해서 촬영된 영상을 통신부(700)를 통해서 텔레오퍼레이터(T)에게 전송한다. The step S40 of transmitting the photographed images of the first and second camera units 410 and 420 is a step of transmitting the images photographed by the first and second camera units 410 and 420 to the telemarker T. [ That is, in this step S40, the control unit 600 transmits the images photographed by the first and second camera units 410 and 420 to the teleoperator T through the communication unit 700. [

텔레오퍼레이터(T)는 이동 로봇(1)으로부터 수신한 영상 정보를 이용하여 입체영상을 볼 수 있다. 따라서 텔레오퍼레이터(T)는 장애물과 같은 물체(X)를 입체적으로 볼 수 있으므로, 이동 로봇(1)이 위치한 현장의 상황을 더욱 효과적으로 파악할 수 있다. 따라서 텔레오퍼레이터(T)는 이동 로봇(1)의 이동을 더욱 효과적으로 제어할 수 있다. The teleoperator T can view the stereoscopic image using the image information received from the mobile robot 1. [ Therefore, the teleoperator T can see the object X such as an obstacle in a three-dimensional manner, and thus can more effectively grasp the situation at the site where the mobile robot 1 is located. Therefore, the teleoperator T can control the movement of the mobile robot 1 more effectively.

이동 로봇(1)의 이동 제어신호를 수신하는 단계(S50)는 텔레오퍼레이터(T)로부터 이동 로봇의 이동 방향 및 속력 등을 제어하기 위한 이동 제어신호를 통신부(700)를 이용하여 수신하는 단계이다. 통신부(700)로 이동 제어신호는 제어부(600)로 전달된다. The step S50 of receiving the movement control signal of the mobile robot 1 is a step of receiving a movement control signal for controlling the moving direction and the speed of the mobile robot from the teleoperator T using the communication unit 700 . The movement control signal to the communication unit 700 is transmitted to the control unit 600.

이동 로봇(1)의 이동을 제어하는 단계(S60)는 제어부(600)가 통신부(700)로부터 이동 제어신호를 전달받아 이에 따라 이동 로봇의 방향 및 속력 등을 제어하는 단계이다. The step S60 of controlling the movement of the mobile robot 1 is a step in which the control unit 600 receives the movement control signal from the communication unit 700 and controls the direction and speed of the mobile robot accordingly.

상술한 이동 로봇(1) 및 그 제어방법에 따르면, 장애물 등과 같은 물체(X)의 위치에 관계없이 텔레오퍼레이터(T)에게 소정의 심도를 가지는 입체영상을 전송할 수 있다. 즉, 본 실시예의 이동 로봇(1)은 물체(X)가 멀리 있는 경우에 제1 및 제2카메라부(410,420)의 간격(G)을 크게 함으로써 그 물체(X)에 대한 입체영상의 심도를 확보할 수 있다. 따라서 텔레오퍼레이터(T)는 이동 로봇(1) 주변의 물체(X)의 형태를 더욱 효과적으로 인식할 수 있으므로, 그 물체(X)에 형태에 따라 적절한 이동 로봇(1)의 제어 방안을 수립할 수 있다. According to the above-described mobile robot 1 and its control method, a stereoscopic image having a predetermined depth can be transmitted to the teleoperator T regardless of the position of the object X such as an obstacle. That is, in the mobile robot 1 of the present embodiment, when the object X is distant, the gap G between the first and second camera units 410 and 420 is increased to increase the depth of the stereoscopic image with respect to the object X . Therefore, the teleoperator T can recognize the shape of the object X around the mobile robot 1 more effectively, so that it is possible to establish the control strategy of the mobile robot 1 appropriate to the shape of the object X have.

또한 본 실시예에서 모터(536)를 작동시키면, 제1 및 제2카메라부(410,420)는 그 중심에 대하여 서로 반대되는 방향으로, 동일한 거리만큼 이동하게 된다. 따라서 제1카메라부(410)과 제2카메라부(420)의 이동거리의 오차는 매우 적으며, 따라서 이러한 오차에 의하여 입체영상의 입체감이 감소되는 것이 효과적으로 억제될 수 있다. Also, when the motor 536 is operated in this embodiment, the first and second camera units 410 and 420 are moved by the same distance in the directions opposite to each other with respect to the center thereof. Therefore, the error of the moving distance between the first camera unit 410 and the second camera unit 420 is very small, and thus, the reduction of the stereoscopic effect of the stereoscopic image due to the error can be effectively suppressed.

다음으로 본 발명의 다른 실시예에 따른 이동 로봇에 대해서 도면을 참조하여 설명한다. Next, a mobile robot according to another embodiment of the present invention will be described with reference to the drawings.

본 실시예에 따른 이동 로봇도 도 1에 도시된 이동 로봇(1)과 마찬가지로, 본체부(100), 추진부(200), 스캐너부(300), 제1 및 제2카메라부(410,420), 구동부(500), 통신부(700) 및 제어부(600)를 구비한다. 본 실시예에 따른 이동 로봇(2)의 본체부(100), 추진부(200), 스캐너부(300), 제1 및 제2카메라부(410,420), 통신부(700) 및 제어부(600)는 도 1에 도시된 이동 로봇(1)의 그것과 실질적으로 동일하므로 이에 대한 구체적인 설명은 생략한다. Like the mobile robot 1 shown in FIG. 1, the mobile robot according to the present embodiment includes a main body 100, a propelling unit 200, a scanner unit 300, first and second camera units 410 and 420, A driving unit 500, a communication unit 700, and a control unit 600. The main body 100, the propulsion unit 200, the scanner unit 300, the first and second camera units 410 and 420, the communication unit 700, and the control unit 600 of the mobile robot 2 according to the present embodiment Is substantially the same as that of the mobile robot 1 shown in Fig. 1, so a detailed description thereof will be omitted.

구동부(500)는 제1 및 제2베이스(510,520), 제1 및 제2액추에이터(522) 및 제3액추에이터(530)를 구비하는데, 제1 및 제2베이스(510,520), 제1 및 제2액추에이터(522)는 도 1의 이동 로봇(1)의 그것과 실질적으로 동일하므로 이에 대한 구체적인 설명은 생략한다. The driving unit 500 includes first and second bases 510 and 520, first and second actuators 522 and 530 and includes first and second bases 510 and 520, first and second bases 510 and 520, The actuator 522 is substantially the same as that of the mobile robot 1 shown in Fig. 1, so a detailed description thereof will be omitted.

도 9는 본 발명의 다른 실시예에 따른 이동 로봇(2)의 제3액추에이터(530)에 해당하는 일부 구성을 개략적으로 도시한 평면도이다. 9 is a plan view schematically showing a part of the structure corresponding to the third actuator 530 of the mobile robot 2 according to another embodiment of the present invention.

도 9에 도시된 바와 같이, 제3액추에이터(530)는 제1 및 제2레일(561,562), 제1 내지 제4바(563a,563b,563c,563d) 및 구동원(미도시)을 구비한다. 9, the third actuator 530 includes first and second rails 561 and 562, first through fourth bars 563a, 563b, 563c, and 563d, and a driving source (not shown).

제1 및 제2레일(561,562)은 스캐너부(300)를 사이에 두고 대칭되게 배치되며, 서로 접근 및 이격이 가능하게 배치된다. 제1 및 제2레일(561,562)은 그 길이방향에 수직된 방향에 배치된 가이드 홈(571,572)에 슬라이딩 가능하게 배치되어, 그 길이방향에 수직한 방향(D3)로 이동될 수 있다. The first and second rails 561 and 562 are symmetrically disposed with the scanner unit 300 therebetween, and are disposed so as to be accessible and spaced from each other. The first and second rails 561 and 562 can be slidably disposed in the guide grooves 571 and 572 arranged in a direction perpendicular to the longitudinal direction thereof and can be moved in a direction D3 perpendicular to the longitudinal direction thereof.

제1바(563a)는 일측이 제1레일(561)에 슬라이딩 이동 및 회전 가능하게 결합된다. 즉 제1바(563a)는 도 9에 도시된 바와 같이 제1레일(561)에 결합된 제1슬라이더(565a)에 힌지 결합된다. The first bar 563a is slidably and rotatably coupled to the first rail 561 at one side thereof. That is, the first bar 563a is hinged to the first slider 565a coupled to the first rail 561 as shown in FIG.

제2바(563b)는 일측이 제1레일(561)에 슬라이딩 이동 및 회전이 가능하도록 제1레일(561)에 슬라이딩 이동 결합된 제2슬라이더(565b)에 힌지 결합되며, 제1바(563a)에 교차되게 배치된다. 또한 제2바(563b)는 제1바(563a)와 교차되는 부분에서 회전 가능하게 결합되도록 그 부분에서 제1바(563a)에 힌지로 결합된다. The second bar 563b is hinged to a second slider 565b slidably coupled to the first rail 561 so that one side of the second bar 563b can slide and rotate on the first rail 561, As shown in FIG. The second bar 563b is hingedly coupled to the first bar 563a at a portion thereof that is rotatably coupled at a portion intersecting the first bar 563a.

제3바(563c)는 일측이 제2레일(562)에 슬라이딩 이동 및 회전이 가능하도록 그 일측이 제2레일(562)에 슬라이딩 이동 가능하게 결합된 제3슬라이더(565c)에 힌지 결합되며, 타측은 제1바(563a)의 타측에 회전 가능하게 결합되도록 제1바(563a)의 타측과 힌지 결합된다. The third bar 563c is hinged to a third slider 565c, one side of which is slidably coupled to the second rail 562, so that one side of the third bar 563c can slide and rotate on the second rail 562, And the other side is hinged to the other side of the first bar 563a so as to be rotatably coupled to the other side of the first bar 563a.

제4바(563d)는 일측이 제2레일(562)에 슬라이딩 이동 및 회전이 가능하도록 그 일측이 제2레일(562)에 슬라이딩 이동 가능하게 결합된 제4슬라이더(565d)에 힌지 결합되며, 타측은 제2바(563b)의 타측에 회전 가능하게 결합되도록 제2바(563b)의 타측과 힌지 결합된다. 또한 제4바(563d)는 제3바(563c)와 교차되게 배치되는데, 제4바(563d)와 제3바(563c)가 교차되는 부분은 힌지 결합되어 제4바(563d)와 제3바(563c)는 서로 상대회전이 가능하다.The fourth bar 563d is hinged to a fourth slider 565d whose one side is slidably coupled to the second rail 562 so that one side of the fourth bar 563d can slide and rotate on the second rail 562, And the other side is hinged to the other side of the second bar 563b so as to be rotatably coupled to the other side of the second bar 563b. The fourth bar 563d is disposed to intersect the third bar 563c and a portion where the fourth bar 563d and the third bar 563c intersect is hinged to the fourth bar 563d and the third bar 563c, The bars 563c can rotate relative to each other.

이와 같이 제1레일(561)과 제2레일(562)의 움직임은 제1 내지 제4바(563a,563b,563c,563d)에 의해서 서로 반대 방향으로 동일한 거리 만큼 이동하도록 제한을 받는다. 또한, 제1바(563a)와 제2바(563b)의 교차부분과 제3바(563c)와 제4바(563d)의 교차부분도 서로 반대 방향으로 동일한 거리만큼 이동된다. Thus, the movements of the first rail 561 and the second rail 562 are restricted by the first to fourth bars 563a, 563b, 563c, and 563d to move the same distance in opposite directions to each other. The intersection of the first bar 563a and the second bar 563b and the intersection of the third bar 563c and the fourth bar 563d are also shifted in the opposite directions by the same distance.

구동원(미도시)은 제1 및 제2레일(561,562)을 서로 접근 및 이격되는 방향으로 이동시키는 것으로 도 9에서는 도시되지 않았으나, 통상적으로 사용되는 유압 피스톤 또는 레크와 피니언 등의 다양한 구동기구가 사용될 수 있다. The driving source (not shown) moves the first and second rails 561 and 562 in a direction in which the first and second rails 561 and 562 move toward and away from each other. Although not shown in FIG. 9, various driving mechanisms, such as a hydraulic piston or a pinion, .

한편, 제1베이스(510)는 제1바(563a)와 제2바(563b)가 교차하는 부분에 배치되고, 제2베이스(520)는 제3바(563c)와 제4바(563d)가 교차하는 부분에 배치된다. 따라서 제1 및 제2카메라부(410,420)는 스캐너부(300)를 사이에 두고 서로 반대 방향으로 동일한 거리만큼 이동된다. The first base 510 is disposed at the intersection of the first bar 563a and the second bar 563b and the second base 520 is disposed at the intersection of the third bar 563c and the fourth bar 563d. As shown in FIG. Accordingly, the first and second camera units 410 and 420 are moved by the same distance in the opposite direction to each other with the scanner unit 300 interposed therebetween.

다음으로 본 발명의 또 다른 실시예에 따른 이동 로봇(3)에 대해서 도면을 참조하여 설명한다. Next, a mobile robot 3 according to another embodiment of the present invention will be described with reference to the drawings.

본 실시예에 따른 이동 로봇(3)도 도 1에 도시된 이동 로봇(1)과 마찬가지로, 본체부(100), 추진부(200), 스캐너부(300), 제1 및 제2카메라부(410,420), 구동부(500), 통신부(700) 및 제어부(600)를 구비한다. 본 실시예에 따른 이동 로봇(3)의 본체부(100), 추진부(200), 스캐너부(300), 제1 및 제2카메라부(410,420), 통신부(700) 및 제어부(600)는 도 1에 도시된 이동 로봇(1)의 그것과 실질적으로 동일하므로 이에 대한 구체적인 설명은 생략한다. Like the mobile robot 1 shown in FIG. 1, the mobile robot 3 according to the present embodiment includes a main body 100, a propelling unit 200, a scanner unit 300, first and second camera units 410, 420, a driving unit 500, a communication unit 700, and a control unit 600. The main body 100, the propulsion unit 200, the scanner unit 300, the first and second camera units 410 and 420, the communication unit 700, and the control unit 600 of the mobile robot 3 according to the present embodiment Is substantially the same as that of the mobile robot 1 shown in Fig. 1, so a detailed description thereof will be omitted.

구동부(500)는 제1 및 제2베이스(510,520), 제1 및 제2액추에이터(522) 및 제3액추에이터(530)를 구비하는데, 제1 및 제2베이스(510,520), 제1 및 제2액추에이터(522)는 도 1의 이동 로봇(1)의 그것과 실질적으로 동일하므로 이에 대한 구체적인 설명은 생략한다. The driving unit 500 includes first and second bases 510 and 520, first and second actuators 522 and 530 and includes first and second bases 510 and 520, first and second bases 510 and 520, The actuator 522 is substantially the same as that of the mobile robot 1 shown in Fig. 1, so a detailed description thereof will be omitted.

도 10은 본 발명의 또 다른 실시예에 따른 이동 로봇(3)의 제3액추에이터(530)에 해당하는 일 부분을 도시한 평면도이다. 도 10에서는 설명상의 편의를 위해서 제1 및 제2카메라부(410,420)를 제외하고 도시하였다. 10 is a plan view showing a portion corresponding to the third actuator 530 of the mobile robot 3 according to another embodiment of the present invention. In FIG. 10, the first and second camera units 410 and 420 are illustrated for convenience of explanation.

도 10을 참조하면, 제3액추에이터(530)는 구동풀리(582), 종동풀리(584) 및 벨트(586)를 구비한다. 10, the third actuator 530 includes a drive pulley 582, a driven pulley 584, and a belt 586. As shown in FIG.

구동풀리(582)는 제어부(600)에 의해서 제어되는 모터(583)에 연결되어 모터(583)가 작동함에 따라서 회전된다. 모터(583)는 구동풀리(582)를 일 방향 및 타 방향으로 회전시킬 수 있다. The driving pulley 582 is connected to a motor 583 controlled by the control unit 600 and is rotated as the motor 583 is operated. The motor 583 can rotate the drive pulley 582 in one direction and the other direction.

종동풀리(584)는 구동풀리(582)에 벨트(586)로 연결되어 구동풀리(582)의 회전에 따라서 함께 회전한다. The driven pulley 584 is connected to the drive pulley 582 by a belt 586 and rotates together with the rotation of the drive pulley 582.

한편, 제1베이스(510) 및 제2베이스(520)는 벨트(586)에 결합되는데, 제1베이스(510)는 구동풀리(582)가 일 방향으로 회전시에 구동풀리(582)에서 종동풀리(584)로 이동되는 벨트(586)의 일측(586a)에 결합되며, 제2베이스(520)는 구동풀리(582)가 상기 일 방향으로 회전시에 종동풀리(584)에서 구동풀리(582)로 이동되는 벨트(586)의 다른 일측(586b)에 결합된다. The first base 510 and the second base 520 are coupled to a belt 586 which is rotatably coupled to the drive pulley 582 when the drive pulley 582 is rotated in one direction Is coupled to one side 586a of the belt 586 that is moved to the pulley 584 and the second base 520 is coupled to the drive pulley 582 in the follower pulley 584 when the drive pulley 582 is rotated in one direction To the other side 586b of the belt 586,

제1베이스(510)의 일측(515)은 벨트(586)의 일측(586a)에 결합되며, 제1베이스(510)의 다른 일측에는 벨트(586)가 자유로이 지나갈 수 있는 관통구(516)가 형성되어 있다. 제2베이스(520)의 일측(525)은 벨트(586)의 다른 일측(586b)에 결합되며, 제2베이스(520)의 다른 일측에는 벨트(586)가 자유로이 지나갈 수 있는 관통구(526)가 형성되어 있다.One side 515 of the first base 510 is coupled to one side 586a of the belt 586 and a through hole 516 through which the belt 586 can freely pass is provided on the other side of the first base 510 Respectively. One side 525 of the second base 520 is coupled to the other side 586b of the belt 586 and the other side of the second base 520 is provided with a through hole 526 through which the belt 586 can freely pass. Respectively.

따라서 구동풀리(582)가 회전함에 따라서 제1베이스(510)와 제2베이스(520)는 서로 반대 방향으로 동일한 거리만큼 대칭적으로 이동될 수 있다. Accordingly, as the drive pulley 582 rotates, the first base 510 and the second base 520 can be moved symmetrically by the same distance in opposite directions to each other.

다음으로 본 발명의 또 다른 실시예에 따른 이동 로봇(4)에 대해서 도면을 참조하여 설명한다. Next, a mobile robot 4 according to another embodiment of the present invention will be described with reference to the drawings.

본 실시예에 따른 이동 로봇(4)은 본체부(100), 추진부(200), 스캐너부(300), 제1 및 제2경통부(810,820), 구동부(500), 반사부(830), 이미지 센서부(840), 통신부(700) 및 제어부(600)를 구비한다. 본체부(100), 추진부(200), 스캐너부(300), 통신부(700), 구동부(500) 및 제어부(600)는 도 1의 이동 로봇의 그것과 동일하므로 이에 대한 구체적인 설명은 생략한다. The mobile robot 4 according to the present embodiment includes a main body 100, a propelling unit 200, a scanner unit 300, first and second barrel units 810 and 820, a driving unit 500, a reflecting unit 830, An image sensor unit 840, a communication unit 700, and a control unit 600. The main body 100, the propulsion unit 200, the scanner unit 300, the communication unit 700, the driving unit 500, and the control unit 600 are the same as those of the mobile robot of FIG. 1, .

도 11은 본 실시예에 따른 이동 로봇(4)의 일부를 개략적으로 도시한 평면도로써, 도 11에는 제1 및 제2경통부(810,820), 반사부(830) 및 이미지 센서부(840)가 도시되어 있다.11 is a plan view schematically showing a part of the mobile robot 4 according to the present embodiment. In FIG. 11, the first and second barrel portions 810 and 820, the reflection portion 830, and the image sensor portion 840 .

제1 및 제2경통부(810,820)는 빛을 통과시키며, 광축방향으로 배치된 복수의 렌즈를 구비한다. 제1 및 제2경통부(810,820) 각각은 제1 및 제2베이스(510,520)에 회전 가능하게 결합된다. The first and second lens barrels 810 and 820 have a plurality of lenses arranged in the direction of the optical axis for passing light therethrough. Each of the first and second barrel portions 810 and 820 is rotatably coupled to the first and second bases 510 and 520.

반사부(830)는 제1 및 제2경통부(810,820)를 통과한 빛을 이미지 센서부(840)로 전달하는 역할을 한다. 반사부(830)는 제1 및 제2경통부(810,820)를 통과한 빛을 이미지 센서부(840)로 전달할 수 있도록 복수 개의 거울(831,832,833,834) 또는 반사 프리즘을 구비할 수 있다. The reflector 830 transmits the light passing through the first and second barrel sections 810 and 820 to the image sensor unit 840. The reflector 830 may include a plurality of mirrors 831, 832, 833, 834 or a reflecting prism to transmit the light passing through the first and second barrel sections 810, 820 to the image sensor unit 840.

이미지 센서부(840)는 제1 및 제2경통부(810,820)를 통과하여 반사부(830)를 지난 빛을 감지하여, 감지된 빛을 전기적 신호로 변환하는 기능을 한다. 이미지 센서부(840)의 일측에는 제1경통부(810)를 통과한 빛이 감지되고, 타측에는 제2경통부(820)를 통과한 빛이 감지되므로 본 실시예에 따른 이동 로봇(4)은 하나의 이미지 센서부(840)를 이용하여 입체영상 정보를 얻을 수 있는 장점이 있다. The image sensor unit 840 detects the light passing through the first and second barrel units 810 and 820 and converts the sensed light into an electrical signal. Light passing through the first barrel section 810 is detected at one side of the image sensor section 840 and light passing through the second barrel section 820 is detected at the other side of the image sensor section 840. Therefore, The stereoscopic image information can be obtained by using the image sensor unit 840 of FIG.

하나의 이미지 센서부(840)로 얻은 입체영상 정보는 텔레오퍼레이터(T)에게 전송되어 두 개의 영상으로 분리된 후, 입체영상을 형성한다. The stereoscopic image information obtained by one image sensor unit 840 is transmitted to the teleoperator T, separated into two images, and then a stereoscopic image is formed.

본 실시예의 이동 로봇(4)에 있어서, 제1 및 제2경통부(810,820)는 제1 및 제2베이스(510,520)에 결합되므로 서로 접근 및 이격이 가능하며 관측하는 물체의 거리에 따라 그 간격(G)이 변경될 수 있다. 따라서 물체의 위치에 관계없이 심도있는 입체영상을 텔레오퍼레이터(T)에게 전송할 수 있다.In the mobile robot 4 of the present embodiment, the first and second barrel portions 810 and 820 are coupled to the first and second bases 510 and 520 so that they can approach and separate from each other. G) may be changed. Therefore, a depth-wise stereoscopic image can be transmitted to the teleoperator T regardless of the position of the object.

이상, 본 발명의 일부 실시예에 대해서 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 구체화될 수 있다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.

예를 들면, 상술한 실시예에 따른 이동 로봇(1,2,3,4)은 바퀴(210)를 구비하여 지상을 이동하는 것을 예로 들어 설명하였으나, 이와는 달리 이동 로봇(1,2,3,4)은 공중을 비행하는 비행기의 형태일 수도 있고 수중을 이동하는 선박 또는 잠수함의 형태를 가질 수도 있다.For example, although the mobile robots 1, 2, 3, and 4 according to the above-described embodiments have been described as moving on the ground with the wheels 210, 4) may be in the form of an airplane flying in the air or in the form of a ship or submarine moving underwater.

또한, 상술한 실시예에 따른 이동 로봇(1,2,3,4)은 제1 및 제2카메라부(410,420)로 촬영한 영상을 텔레오퍼레이터(T)에게 전송하는 것으로 설명하였으나, 이와는 달리 이동 로봇(1,2,3,4)은 제1 및 제2카메라부(410,420)로 촬영한 영상을 이미지 프로세싱(image processing)한 후, 이로부터 이동 로봇(1,2,3,4)의 주변환경 정보를 추출하여 텔레오퍼레이터(T)에게 전송할 수도 있다. 뿐만 아니라, 이동 로봇(1,2,3,4)은 제1 및 제2카메라부(410,420)로부터 얻은 입체영상을 이미지 프로세싱(image processing)하여 주변의 환경에 대한 정보를 추출한 후, 이에 의거하여 스스로 이동 방향 및 속력 등을 제어할 수도 있다. The mobile robots 1, 2, 3, and 4 according to the above-described embodiments transmit images photographed by the first and second camera units 410 and 420 to the teleoperator T. However, The robots 1, 2, 3, and 4 image-process an image photographed by the first and second camera units 410 and 420, It is also possible to extract environment information and transmit it to the teleoperator (T). In addition, the mobile robots 1, 2, 3, and 4 image-process the stereoscopic images obtained from the first and second camera units 410 and 420 to extract information on the surrounding environment, It is also possible to control the moving direction and speed by itself.

또한, 상술한 실시에에 따른 이동 로봇(1,2,3,4)의 추진부(200)는 바퀴(210)를 구비하는 것으로 설명하였으나, 이와는 달리 추진부(200)는 무한궤도를 구비할 수도 있다. In addition, although the propelling unit 200 of the mobile robot 1, 2, 3, 4 according to the above-described embodiment includes the wheel 210, the propelling unit 200 may have an infinite orbit It is possible.

또한, 상술한 실시예에 따른 이동 로봇(1,2,3,4)의 제1 및 제2카메라부(410,420)는 서로 반대 방향으로 동일한 거리만큼 이동되는 것으로 설명하였으나, 이와는 달리 제1 및 제2카메라부(410,420)는 동일 방향 또는 반대 방향으로 서로 다른 거리만큼 이동될 수도 있다. Although the first and second camera units 410 and 420 of the mobile robot 1, 2, 3, and 4 according to the above-described embodiment are described as being moved by the same distance in the opposite directions to each other, 2 The camera units 410 and 420 may be moved by different distances in the same or opposite directions.

또한, 상술한 실시예에서는 제어부(600)가 미리 작성된 참조 테이블을 참조하여 제1 및 제2카메라부(410,420)의 간격(G) 및 주시 방향각(A2,A3)을 제어하는 것으로 설명하였으나, 이와는 달리 제어부(600)는 실시간 연산을 통해서 제1 및 제2카메라부(410,420)의 간격(G) 및 주시 방향각(A2,A3)이 제어될 수도 있다. Although the control unit 600 controls the interval G and the viewing direction angles A2 and A3 between the first and second camera units 410 and 420 with reference to the reference table prepared in advance, The controller 600 may control the gap G and the viewing direction angles A2 and A3 between the first and second camera units 410 and 420 through real-time calculation.

이외에도 본 발명은 다양한 형태로 구체화될 수 있다. In addition, the present invention can be embodied in various forms.

1,2,3,4 … 이동 로봇 100 … 본체부
200 … 추진부 210 … 바퀴
300 … 스캐너부 410 … 제1카메라
420 … 제2카메라 500 … 구동부
510 … 제1베이스 520 … 제2베이스
600 … 제어부 700 … 통신부
T … 텔레오퍼레이터 X … 물체
1,2,3,4 ... Mobile robot 100 ... The body portion
200 ... Promotion Department 210 ... wheel
300 ... Scanner part 410 ... The first camera
420 ... The second camera 500 ... The driving unit
510 ... The first base 520 ... The second base
600 ... The control unit 700 ... Communication section
T ... Tele Operator X ... object

Claims (13)

본체부와,
상기 본체부를 이동시키는 추진부와,
상기 본체부에 배치되며, 특정 물체까지의 거리 및 방향을 측정할 수 있는 스캐너부와,
상기 본체부에 배치되는 제1 및 제2카메라부와,
상기 제1 및 제2카메라부의 간격 및 주시 방향이 변경되도록, 상기 제1 및 제2카메라부를 이동시키는 구동부와,
상기 스캐너부로부터 상기 거리 및 방향 정보를 수신하며, 상기 구동부를 제어하는 제어부를 포함하며,
상기 구동부는,
서로 접근 및 이격이 가능하게 상기 본체부에 배치되며, 각각 제1 및 제2카메라부를 회전 가능하게 지지하는 제1 및 제2베이스와,
상기 제1카메라부를 회전시키는 제1액추에이터와,
상기 제2카메라부를 회전시키는 제2액추에이터와,
상기 제1 및 제2베이스를 접근 및 이격되는 방향으로 이동시키는 제3액추에이터를 구비하며,
상기 제3액추에이터는,
구동풀리 및 종동풀리와,
상기 구동풀리 및 종동풀리에 감겨져 배치되는 벨트와,
상기 구동풀리를 일 방향 및 타 방향으로 회전시키는 모터를 구비하며,
상기 제1베이스는,
상기 구동풀리가 상기 일 방향으로 회전시에 상기 구동풀리에서 상기 종동풀리로 이동되는 벨트의 일측에 결합되며,
상기 제2베이스는,
상기 구동풀리가 상기 일 방향으로 회전시에 상기 종동풀리에서 상기 구동풀리로 이동되는 벨트의 다른 일측에 결합되는 이동 로봇.
A body portion,
A pushing portion for moving the body portion,
A scanner unit disposed in the main body and capable of measuring a distance and a direction to a specific object,
First and second camera units disposed in the main body,
A driving unit for moving the first and second camera units so that the distance between the first and second camera units and the viewing direction are changed,
And a control unit for receiving the distance and direction information from the scanner unit and controlling the driving unit,
The driving unit includes:
First and second bases which are disposed on the main body so as to be able to approach and separate from each other and which support the first and second camera units in a rotatable manner,
A first actuator for rotating the first camera unit,
A second actuator for rotating the second camera unit,
And a third actuator for moving the first and second bases in a direction toward and away from the first and second bases,
The third actuator includes:
A drive pulley and a driven pulley,
A belt wound around the drive pulley and the driven pulley,
And a motor for rotating the drive pulley in one direction and the other direction,
The first base
Wherein the drive pulley is coupled to one side of a belt which is moved from the drive pulley to the driven pulley when the drive pulley is rotated in one direction,
The second base
Wherein the drive pulley is coupled to the other side of the belt that is moved from the driven pulley to the drive pulley when the drive pulley is rotated in the one direction.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020110017981A 2011-02-28 2011-02-28 Moving robot Expired - Fee Related KR101706222B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110017981A KR101706222B1 (en) 2011-02-28 2011-02-28 Moving robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110017981A KR101706222B1 (en) 2011-02-28 2011-02-28 Moving robot

Publications (2)

Publication Number Publication Date
KR20120098192A KR20120098192A (en) 2012-09-05
KR101706222B1 true KR101706222B1 (en) 2017-02-14

Family

ID=47109283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110017981A Expired - Fee Related KR101706222B1 (en) 2011-02-28 2011-02-28 Moving robot

Country Status (1)

Country Link
KR (1) KR101706222B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020241950A1 (en) * 2019-05-31 2020-12-03 엘지전자 주식회사 Mobile robot and method for controlling same

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102335167B1 (en) * 2015-03-17 2021-12-03 삼성전자주식회사 Image photographing apparatus and method for photographing thereof
CN108724171B (en) * 2017-09-25 2020-06-05 北京猎户星空科技有限公司 Intelligent robot control method and device and intelligent robot
KR102080515B1 (en) 2018-03-14 2020-02-24 엘지전자 주식회사 A cleaner
KR102137463B1 (en) 2018-03-29 2020-07-24 엘지전자 주식회사 A cleaner
KR102169998B1 (en) * 2019-01-23 2020-10-26 동명대학교산학협력단 articulated marine robot ship with stereo photo sensor
KR20210000153A (en) 2019-06-24 2021-01-04 엘지전자 주식회사 Method of acquiring image for position recognition and robot implementing thereof
KR102775886B1 (en) * 2022-08-31 2025-02-28 한국로봇융합연구원 Robot driving on steel wall structure
KR20240174928A (en) 2023-06-09 2024-12-18 한국해양과학기술원 Multi-camera based underwater object recognition and tracking system using a two-armed robot and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005297168A (en) * 2004-04-16 2005-10-27 Fujinon Corp Remote control robot

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100673087B1 (en) * 2005-01-21 2007-01-22 (주) 시리우스 Object recognition system for robot
KR100819802B1 (en) * 2006-03-03 2008-04-07 삼성테크윈 주식회사 Two degree of freedom drive mechanism and boundary robot
KR20090007818A (en) * 2007-07-16 2009-01-21 한국생산기술연구원 Mobile robot

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005297168A (en) * 2004-04-16 2005-10-27 Fujinon Corp Remote control robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020241950A1 (en) * 2019-05-31 2020-12-03 엘지전자 주식회사 Mobile robot and method for controlling same
US11675072B2 (en) 2019-05-31 2023-06-13 Lg Electronics Inc. Mobile robot and method of controlling the same

Also Published As

Publication number Publication date
KR20120098192A (en) 2012-09-05

Similar Documents

Publication Publication Date Title
KR101706222B1 (en) Moving robot
US11614524B2 (en) LiDAR system and method of operating the same
US4818858A (en) Visual sensor system for producing stereoscopic visual information
CN1182421C (en) Apparatus for three-dimensional measurement and with focus convergence compensation and method of use thereof
CN105744163B (en) A camera and camera method based on depth information tracking and focusing
JP2009241247A (en) Stereo-image type detection movement device
US9253470B2 (en) 3D camera
WO2015168218A2 (en) Light control systems and methods
WO2005033629A3 (en) Multi-camera inspection of underwater structures
CN103559734B (en) Binocular imaging three dimensional vision system device and control method
CN106896343A (en) A kind of servo-actuated machine vision device of servo and dynamic tracking distance-finding method
CN112584053A (en) Binocular vision laser emission system and method
US20110141241A1 (en) Module for three-dimensional camera
JP2016151566A (en) Motion tracker device
KR20200130793A (en) Lidar scanning device capable of front and rear measurement
CN206399422U (en) Multifunctional vision sensor and mobile robot
US20070140682A1 (en) Two camera stereoscopic 3D rig improvements
US20120163788A1 (en) Stereoscopic Imaging Device
US20110299163A1 (en) Three-dimensional-camera lens system
WO2021015669A1 (en) Method for aligning an autonomous mobile apparatus to a reference object, an autonomous mobile apparatus, and a guidance module thereof
FI4012531T3 (en) Autonomous system for 3d mapping of a datacenter
US10948681B2 (en) System for balancing center of gravity of a zoom lens
KR100256777B1 (en) Horizontally oriented visual angle control method and device in stereo camera
US9743069B2 (en) Camera module and apparatus for calibrating position thereof
KR101181653B1 (en) Stereo camera rig having distance measurement sensor

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20210208

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20210208