KR101769867B1 - System and method for driving robot using user terminal - Google Patents

System and method for driving robot using user terminal Download PDF

Info

Publication number
KR101769867B1
KR101769867B1 KR1020140158507A KR20140158507A KR101769867B1 KR 101769867 B1 KR101769867 B1 KR 101769867B1 KR 1020140158507 A KR1020140158507 A KR 1020140158507A KR 20140158507 A KR20140158507 A KR 20140158507A KR 101769867 B1 KR101769867 B1 KR 101769867B1
Authority
KR
South Korea
Prior art keywords
robot
user terminal
block
behavior
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020140158507A
Other languages
Korean (ko)
Other versions
KR20160057647A (en
Inventor
이창길
Original Assignee
이창길
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이창길 filed Critical 이창길
Priority to KR1020140158507A priority Critical patent/KR101769867B1/en
Publication of KR20160057647A publication Critical patent/KR20160057647A/en
Application granted granted Critical
Publication of KR101769867B1 publication Critical patent/KR101769867B1/en
Assigned to 주식회사 뉴로테크노베이트 reassignment 주식회사 뉴로테크노베이트 권리의 전부이전등록 Assignors: 이창길
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/242Means based on the reflection of waves generated by the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622Obstacle avoidance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/644Optimisation of travel parameters, e.g. of energy consumption, journey time or distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00Details of software or hardware architectures used for the control of position
    • G05D2101/10Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/30Radio signals
    • G05D2111/32Radio signals transmitted via communication networks, e.g. cellular networks or wireless local area networks [WLAN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 사용자 단말기를 이용한 로봇 구동 시스템 및 그 방법에 관한 것으로서, 로봇의 행동에 대한 파라미터 값을 행동블록으로 생성하고, 사용자 경험치 레벨에 따라 사용자 단말기별 행동블록의 사용범위를 지정하며, 새로운 레벨에 따른 행동블록 또는 로봇의 옵션 기능 수행 여부에 따라 행동블록을 추가하는 운영 서버; 전용 어플리케이션(App)을 통해 상기 운영 서버에 접속하여, 상기 운영 서버를 통해 생성된 행동블록들을 조합하여 로봇으로 전송하는 사용자 단말기; 및 상기 사용자 단말기를 통해 전송된 조합된 행동블록 정보에 따라 구동되는 로봇; 을 포함하되, 상기 운영 서버는, 상기 사용자 경험치 레벨에 따른 단계별로 로봇 행동에 대한 파라미터 값을 설정하고, 아이콘(icon)화하여 행동블록으로 생성하는 것을 특징으로 한다.The present invention relates to a robot driving system using a user terminal and a method thereof, and more particularly, it relates to a robot control system that generates a parameter value for a behavior of a robot as a behavior block, designates a use range of a behavior block for each user terminal according to a user experience value level, An action server for adding a behavior block according to whether the robot performs an optional function or not; A user terminal connected to the operation server through a dedicated application (App), combining action blocks generated through the operation server and transmitting the combined action blocks to a robot; And a robot driven according to combined action block information transmitted through the user terminal; Wherein the operation server sets a parameter value for the robot behavior in steps according to the user experience value level, and generates an action block as an icon.

Description

사용자 단말기를 이용한 로봇 구동 시스템 및 그 방법{SYSTEM AND METHOD FOR DRIVING ROBOT USING USER TERMINAL}TECHNICAL FIELD [0001] The present invention relates to a robot driving system using a user terminal,

본 발명은 사용자 단말기를 이용한 로봇 구동 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 자율 이동형 로봇 등에 적용 가능한 다양한 직관형 행동블록(action-block)을 생성하고, 생성된 행동블록을 사용자 단말기를 이용하여 다운로드 및 조합하여 자율 이동형 로봇을 구동시키는 시스템 및 그 방법에 관한 것이다. The present invention relates to a robot driving system using a user terminal and a method thereof. More particularly, the present invention relates to a robot driving system using a user terminal and various intuitive action blocks that can be applied to an autonomous mobile robot, To a system for driving an autonomous mobile robot and a method thereof.

종래의 이동형 로봇 구동 기술과 관련해서는, 한국공개특허 제10-2014-0040094호(이하, '선행문헌') 외에 다수 등록 및 공개되어 있다. Regarding the conventional mobile robot driving technology, there are a large number of registered and disclosed in addition to Korean Laid-Open Patent No. 10-2014-0040094 (hereinafter referred to as 'prior art').

상기한 선행문헌은, 도 1 에 도시된 바와 같이 원격현전 로봇(telepresence robot)으로서, 상부(upper portion)와; 상부에 회전 가능하게 결합된 하부(lower portion)와; 구동 명령어에 따라 원격현전 로봇을 이동시키도록 구성된 구동 시스템과; 구동 시스템과 통신 상태에 있는 제어 시스템으로서, 구동 시스템이 원격현전 로봇을 이동시키도록 구동 명령어를 생성하도록 구성된, 제어 시스템; 및 상부와 하부를 독립적으로 회전시킴으로써 제 1 의 진행방향으로부터 제 2 의 진행방향으로 로봇을 회전시키도록 구성된 회전 시스템을 포함하여 이루어지며, 이러한 회전 시스템은, 로봇의 상부를 제 2 의 진행방향 쪽으로 회전시키고; 로봇의 상부가 로봇의 하부에 대해 로봇의 상부의 패닝 한계(panning limit)에 도달하였음을 검출하며; 로봇의 상부의 패닝 한계에서 제 2 의 진행방향 쪽으로 로봇의 하부를 회전시키기를 시작하고; 로봇의 상부가 제 2 의 진행방향에 도달하였음을 검출하며; 로봇의 상부가 제 2 의 진행방향을 유지하도록, 로봇의 상부를 동시에 반대방향으로 회전시키면서 로봇의 하부를 제 2 의 진행방향 쪽으로 계속하여 회전시킴으로써, 로봇을 제 2 의 진행방향 쪽으로 회전시키도록 구성되는 것을 특징으로 한다. The above prior art document is a telepresence robot as shown in Fig. 1, which comprises an upper portion; A lower portion rotatably coupled to the upper portion; A drive system configured to move the remote-acting robot in accordance with a drive command; A control system in communication with a drive system, the control system being configured to generate a drive command to cause the drive system to move the remote event robot; And a rotating system configured to rotate the robot in a second traveling direction from a first traveling direction by independently rotating the upper and lower portions, wherein the rotating system is configured to move the upper portion of the robot toward the second traveling direction Rotate; Detecting that the upper portion of the robot has reached a panning limit of the upper portion of the robot with respect to the lower portion of the robot; Starting to rotate the lower portion of the robot toward the second travel direction at the panning limit of the upper portion of the robot; Detecting that the top of the robot has reached a second travel direction; The robot is rotated in the second traveling direction by continuously rotating the lower portion of the robot toward the second traveling direction while simultaneously rotating the upper portion of the robot in the opposite direction so that the upper portion of the robot is maintained in the second traveling direction .

한편, 최근 민간용, 군사용, 교육용 로봇 개발이 활발히 이루어지고 있다. Recently, civil, military, and educational robots have been actively developed.

기존의 LEGO 社의 NXT제품은 제어장치에 센서와 모터 등을 장착하여 확장성을 높으나, 높은 가격을 형성하고 있다. 또한, 국내 로보티즈 社의 올로이드 제품은 자체 개발한 서보모터를 적용하였고 기구에 대한 품질이 좋지만, 가격은 LEGO 社와 유사한 수준이다. The existing LEGO NXT products are equipped with sensors and motors in the control unit to enhance scalability, but they are priced high. In addition, domestic Robotiz's olloid products have developed self-developed servo motors, and the quality of the equipment is good, but the price is similar to that of LEGO.

이러한 기존의 제품은 대부분 고가이며, 도 2 에 도시된 바와 같이 전문지식이 필요한 프로그래밍 방식을 통해 로봇에 동작 설정을 입력하는 방식으로서, 개인적으로 제어 알고리즘을 설정하여 사용할 수 없어, 이미 설정되어 있는 알고리즘을 사용자 임의대로 변경하거나, 전문적인 지식을 가지지 못한 일반인이나 학생들이 다루기에는 매우 어려운 문제가 있다. These conventional products are mostly expensive, and as shown in FIG. 2, the operation setting is input to the robot through a programming method requiring expert knowledge. As a result, the control algorithm can not be set and used personally, And it is very difficult for ordinary people or students who do not have specialized knowledge to handle it.

이에, 로봇이 움직일 수 있는 행동방식에 대한 파라미터(Parameter)를 보다 직관적인 형태를 가지는 행동블록으로 생성하고, 생성된 행동블록을 사용자 단말기를 이용하여 다운로드 및 조합하여 자율 이동형 로봇에 직접 활용할 수 있도록 하며, 저가의 비용으로 디바이스 상에서 몇 번의 터치 또는 클릭만으로 로봇의 행동방식을 쉽게 설정할 수 있는 기술에 대한 요구가 대두되고 있다. Therefore, it is possible to create a motion block having a more intuitive form of a parameter of a behavior mode that the robot can move, and to download and combine the generated motion block using a user terminal to directly use the parameter in an autonomous mobile robot There is a demand for a technology that can easily set the behavior of the robot with a few touches or clicks on the device at a low cost.

한국공개특허 제10-2014-0040094호.Korean Patent Publication No. 10-2014-0040094.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 제 1 기술적 과제는, 로봇에 대한 행동블록을 직관적인 형태로 생성하여 선택 및 조합할 수 있도록 제공함으로써, 사용자의 개별적인 로봇의 행동방식을 구현할 수 있도록 함에 있다. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide an apparatus and method for generating a behavior block for a robot, And the like.

또한 본 발명의 제 2 기술적 과제는, 로봇에 대한 행동블록을 아이콘 형태로 생성하여, 스마트폰 등의 사용자 모바일 단말기에 적용 가능한 앱(app) 형태로 제공 가능함으로써, 사용 확장성을 높일 수 있도록 함에 있다.A second technical object of the present invention is to provide a method and apparatus for generating a behavior block for a robot in the form of an icon and providing the action block in the form of an app applicable to a user mobile terminal such as a smart phone, have.

또한 본 발명의 제 3 기술적 과제는, 사용자 단말기를 통해 조합된 행동블록 정보를 로봇으로 무선 전송함으로써, 조합된 행동블록 정보를 바탕으로 로봇을 다양한 형태의 행동방식으로 손쉽게 구동시킬 수 있으며, 로봇 본체를 카메라, 센서, 로봇팔, 휠 등이 추가될 수 있는 확장 키트(kit)가 결합될 수 있는 형태로 구성함으로써, 협동주행, 지원주행 및 야외주행 등의 다양한 미션용 옵션 기능을 수행하도록 함에 있다.According to a third aspect of the present invention, there is provided a robot control method for wirelessly transmitting behavior block information combined through a user terminal to a robot, so that the robot can be easily driven in various forms of behavior based on combined motion block information, And an extension kit to which a camera, a sensor, a robot arm, a wheel, and the like can be attached, thereby performing a variety of optional functions for cooperative travel, support travel, and outdoor travel .

그리고 본 발명의 제 4 기술적 과제는, 블루투스(Bluetooth), 와이파이(Wi-Fi) 등의 무선통신을 이용하여 로봇간 서로의 위치 및 동작상태 정보를 주고 받을 수 있으며, 각각의 로봇은 각종 센서를 통한 주변 장애물을 감지하고 로봇간 접촉 유무를 감지함으로써, 큰 장애요소 없이 사용자의 의도대로 로봇의 동작 패턴을 구현할 수 있도록 함에 있다. A fourth technical object of the present invention is to provide a wireless communication system and a wireless communication method capable of exchanging position and operation state information between robots using wireless communication such as Bluetooth and Wi-Fi, And detecting the presence or absence of contact between the robots, thereby realizing the operation pattern of the robot according to the user's intention without a great obstacle.

이러한 기술적 과제를 달성하기 위한 본 발명은 사용자 단말기를 이용한 로봇 구동 시스템에 관한 것으로서, 로봇의 행동에 대한 파라미터 값을 행동블록으로 생성하고, 사용자 경험치 레벨에 따라 사용자 단말기별 행동블록의 사용범위를 지정하며, 새로운 레벨에 따른 행동블록 또는 로봇의 옵션 기능 수행 여부에 따라 행동블록을 추가하는 운영 서버; 전용 어플리케이션(App)을 통해 상기 운영 서버에 접속하여, 상기 운영 서버를 통해 생성된 행동블록들을 조합하여 로봇으로 전송하는 사용자 단말기; 및 상기 사용자 단말기를 통해 전송된 조합된 행동블록 정보에 따라 구동되는 로봇; 을 포함하되, 상기 운영 서버는, 상기 사용자 경험치 레벨에 따른 단계별로 로봇 행동에 대한 파라미터 값을 설정하고, 아이콘(icon)화하여 행동블록으로 생성하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a robot driving system using a user terminal, the robot driving system comprising: An operation server for adding a behavior block according to a new level or an optional function of the robot; A user terminal connected to the operation server through a dedicated application (App), combining action blocks generated through the operation server and transmitting the combined action blocks to a robot; And a robot driven according to combined action block information transmitted through the user terminal; Wherein the operation server sets a parameter value for the robot behavior in steps according to the user experience value level, and generates an action block as an icon.

또한 상기 운영 서버는, 상기 사용자 경험치 레벨에 따라 단계를 구분하며, 각 단계별로 이동방향, 속도, 턴(turn), 백턴(back turn) 및 장애물 탐지거리 중, 적어도 어느 하나 이상의 로봇 행동에 대한 파라미터 값을 설정하고, 아이콘(icon)화하여 행동블록으로 생성하는 행동블록 생성부; 로봇의 기본 동작을 포함한 상기 행동블록 생성부를 통해 생성된 행동블록들을 저장하고 있는 저장부; 사용자 경험치 레벨에 따른 행동블록의 사용범위를 구분하고 있어, 행동블록 조합에 따른 상기 사용자 단말기별 로봇 주행 경험여부 및 경험여부에 따른 경험치 레벨을 확인하여, 레벨에 따른 상기 사용자 단말기별 행동블록의 사용범위를 지정하는 사용범위 지정부; 및 상기 사용자 경험치 레벨에 따라 새로운 레벨을 추가할 수 있으며, 새로운 레벨에 따른 행동블록 또는 상기 로봇의 옵션 기능 수행 여부에 따른 행동블록을 추가하는 추가부; 를 포함하는 것을 특징으로 한다. Also, the operation server may classify steps according to the level of the user experience value, and may include a parameter for at least one of robot behavior among a moving direction, a speed, a turn, a back turn, A behavior block generation unit for generating a behavior block by setting a value and making it an icon; A storage unit storing behavior blocks generated through the behavior block generation unit including a basic operation of the robot; The use range of the behavior block according to the level of the user experience value is discriminated and the experiential level according to whether or not the robot is traveling according to the user block and the experiential level according to the combination of the behavior blocks is identified, A usage scope specification unit for specifying a scope; And an additional unit that can add a new level according to the user experience value level and add a behavior block according to a new level or a behavior block according to whether an optional function of the robot is performed or not; And a control unit.

또한 상기 추가부는, 상기 사용자 단말기로부터 로봇에 대한 옵션 모듈 정보를 수신할 경우, 해당 옵션 모듈의 기능 수행을 위한 행동블록을 추가하는 것을 특징으로 한다.The adder may further include a behavior block for performing a function of the option module when receiving the option module information for the robot from the user terminal.

또한 상기 사용자 단말기는, 상기 운영 서버를 통해 생성된 행동블록을 다운로드하여 조합하는 행동블록 조합부; 및 블루투스(Bluetooth), 와이파이(Wi-Fi) 중, 적어도 하나 이상의 통신방식을 이용하여, 상기 로봇으로부터 위치 및 동작상태 정보를 수신하여 확인하며, 상기 행동블록 조합부를 통해 조합된 행동블록 정보를 상기 로봇으로 전송하는 인터페이스부; 를 포함하는 것을 특징으로 한다.The user terminal may further include a behavior block combining unit for downloading and combining the behavior blocks generated through the operation server; And receiving and verifying position and operation state information from the robot using at least one communication method among Bluetooth, Bluetooth, and Wi-Fi, and verifying the combined action block information through the action block combination unit An interface unit for transmitting to the robot; And a control unit.

또한 상기 로봇은, 옵션 기능 수행을 위한 모듈 장착이 가능하도록 확장 키트(kit)가 결합될 수 있는 형태로 구성되며, 각 면에 복수개의 홀(hole)이 형성되어 있는 몸체부; 상기 사용자 단말기로부터 조합된 행동블록 정보를 수신하는 인터페이스부; 및 상기 사용자 단말기로부터 수신한 조합된 행동블록 정보를 바탕으로 로봇을 구동시키는 구동부; 를 포함하는 것을 특징으로 한다.Also, the robot may be configured such that an extension kit can be coupled to the robot so that a module can be installed for performing an optional function, and a plurality of holes are formed on each surface of the robot. An interface for receiving combined action block information from the user terminal; And a driving unit for driving the robot based on the combined action block information received from the user terminal. And a control unit.

또한 상기 로봇은, 움직임을 감지하는 센서를 이용하여, 위치 및 동작상태 정보를 취득하는 동작상태 정보 취득부; 카메라, 적외선 센서 및 초음파 센서 중, 적어도 하나 이상의 센서를 이용하여 장애물을 감지하며, NFC 또는 RFID 태그를 이용하여 타 로봇과의 접촉 유무를 감지하는 장애물 및 접촉 감지부; 및 블루투스(Bluetooth), 와이파이(Wi-Fi) 중, 적어도 하나 이상의 통신방식을 이용하여, 위치 및 동작상태 정보에 관하여 타 로봇과 송수신하는 통신부; 를 포함하는 것을 특징으로 한다.The robot may further include an operation state information acquisition unit that acquires position and operation state information using a sensor that senses motion; An obstacle and a contact sensing unit for sensing an obstacle using at least one sensor among a camera, an infrared sensor and an ultrasonic sensor, and detecting whether or not the robot is in contact with another robot using an NFC or an RFID tag; A communication unit for transmitting and receiving position and operation status information with another robot using at least one communication method among Bluetooth, Wi-Fi, and Wi-Fi; And a control unit.

또한 상기 인터페이스부는, 상기 사용자 단말기로 로봇의 위치 및 동작상태 정보를 전송하며, 장애물 감지 여부 및 타 로봇과의 접촉 유무 정보를 전송하는 것을 특징으로 한다.In addition, the interface transmits information on the position and operation state of the robot to the user terminal, and transmits information on whether or not an obstacle is detected and whether or not the robot is in contact with another robot.

그리고 상기 사용자 경험치 레벨은, 상기 로봇에 대한 사용자 단말기를 이용한 직접 제어, 독립 자율주행, 협동주행 및 지원주행 중, 적어도 하나 이상의 주행에 대한 경험치 레벨인 것을 특징으로 한다. The user experience value level is a level of experience with at least one of the direct control, independent autonomous driving, cooperative driving, and assisted driving using the user terminal for the robot.

한편, 본 발명은 사용자 단말기를 이용한 로봇 구동 방법에 관한 것으로서, (a) 운영 서버가 사용자 경험치 레벨에 따라 단계를 구분하는 단계; (b) 상기 운영 서버가 각 단계별로 이동방향, 속도, 턴(turn), 백턴(back turn) 및 장애물 탐지거리 중, 적어도 하나 이상의 로봇 행동에 대한 파라미터 값을 설정하고, 아이콘(icon)화하여 행동블록으로 생성하는 단계; (c) 상기 운영 서버가 행동블록 조합에 따른 사용자 단말기별 로봇 주행 경험여부 및 경험여부에 따른 경험치 레벨을 확인하여, 레벨에 따른 사용자 단말기별 행동블록의 사용범위를 지정하는 단계; (d) 상기 운영 서버가 상기 사용자 단말기로부터 로봇에 대한 옵션 모듈 정보가 수신되는지 여부를 판단하는 단계; (e) 상기 (d) 단계의 판단결과, 옵션 모듈 정보가 수신될 경우, 상기 운영 서버가 해당 옵션 모듈의 기능 수행을 위한 행동블록을 추가하는 단계; (f) 상기 사용자 단말기가 운영 서버를 통해 생성된 행동블록을 다운로드 하여 조합하는 단계; (g) 상기 사용자 단말기가 조합된 행동블록 정보를 상기 로봇으로 전송하는 단계; (h) 상기 로봇이 타 로봇으로부터 위치 및 동작상태 정보가 수신되지 않았는지 여부를 판단하는 단계; 및 (i) 상기 (h) 단계의 판단결과, 상기 타 로봇으로부터 위치 및 동작상태 정보가 수신되지 않은 경우, 상기 로봇이 사용자 단말기로부터 수신한 조합된 행동블록 정보를 바탕으로 구동하는 단계; 를 포함한다.According to another aspect of the present invention, there is provided a method for driving a robot using a user terminal, the method comprising the steps of: (a) (b) The operating server sets parameter values for at least one of robot actions among a moving direction, a speed, a turn, a back turn, and an obstacle detection distance for each step, Generating a motion block; (c) identifying the experience level according to whether or not the robot is traveling according to the combination of the action blocks and the experiential level according to the combination of the action blocks, and designating the use range of the action block for each user terminal according to the level; (d) determining whether or not optional server information for the robot is received from the user terminal; (e) when the option module information is received as a result of the step (d), the operation server adds a behavior block for performing a function of the option module; (f) downloading and combining the action blocks generated by the user terminal through the operation server; (g) transmitting, by the user terminal, the combined action block information to the robot; (h) determining whether the robot has received position and operation state information from the other robot; And (i) driving the robot on the basis of the combined action block information received from the user terminal, when position and operation state information is not received from the other robot as a result of the determining in the step (h); .

또한 (j) 상기 (h) 단계의 판단결과, 타 로봇으로부터 위치 및 동작상태 정보가 수신된 경우, 상기 로봇이 타 로봇의 위치 및 동작상태 정보와 함께, 본 로봇의 위치 및 동작상태 정보, 장애물 감지 여부 및 타 로봇과의 접촉 유무 정보 중, 적어도 하나 이상의 정보를 추가 반영하여 구동하는 단계; 를 포함하는 것을 특징으로 한다.And (j) if position and operation state information is received from the other robot as a result of the determination in step (h), the robot notifies position and operation state information of the other robot, Sensing and detecting presence or absence of contact with other robots; And a control unit.

또한 상기 (h) 단계에서, 상기 로봇이 타 로봇과 블루투스(Bluetooth), 와이파이(Wi-Fi) 중, 적어도 하나 이상의 방식으로 통신하는 것을 특징으로 한다.In the step (h), the robot may communicate with another robot in at least one of Bluetooth, Wi-Fi, and the like.

그리고 상기 사용자 경험치 레벨은, 상기 로봇에 대한 사용자 단말기를 이용한 직접 제어, 독립 자율주행, 협동주행 및 지원주행 중, 적어도 하나 이상의 주행에 대한 경험치 레벨인 것을 특징으로 한다. The user experience value level is a level of experience with at least one of the direct control, independent autonomous driving, cooperative driving, and assisted driving using the user terminal for the robot.

본 발명은 로봇에 대한 행동블록을 직관적인 형태로 생성하여 선택 및 조합할 수 있도록 제공함으로써, 사용자의 개별적인 로봇의 행동방식을 구현할 수 있으며, 생성된 행동블록을 사용자 단말기를 이용하여 다운로드 및 조합하여 자율 이동형 로봇을 구동시킨다. The present invention provides a method of generating a behavior block for a robot in an intuitive form and selecting and combining the behavior block, thereby implementing a behavior method of the user's individual robot, downloading and combining the generated behavior block using a user terminal And drives the autonomous mobile robot.

상기와 같은 본 발명에 따르면, 전문지식이 필요한 프로그래밍 방식을 통해 로봇에 동작 설정을 입력함으로써 개인적으로 제어 알고리즘을 설정하여 사용할 수 없던 종래와 달리, 로봇의 움직임을 사용자가 직접 만듬으로써, 로봇에 대한 보다 다양한 동작 패턴을 설정할 수 있는 효과가 있다. According to the present invention, unlike the conventional method in which a control algorithm can not be set and used by inputting an operation setting to a robot through a programming method requiring expert knowledge, a user directly moves the robot, There is an effect that more various operation patterns can be set.

또한 본 발명에 따르면, 로봇에 대한 행동블록을 아이콘 형태로 생성하여, 스마트폰 등의 모바일 단말에 적용 가능한 앱(app) 형태로 제공 가능함으로써, 사용 확장성을 높일 수 있는 효과도 있다. In addition, according to the present invention, it is possible to generate a behavior block for a robot in the form of an icon and to provide it in the form of an app applicable to a mobile terminal such as a smart phone, thereby increasing the scalability of use.

또한 본 발명에 따르면, 사용자 단말기를 통해 조합된 행동블록 정보를 로봇으로 무선 전송함으로써, 조합된 행동블록 정보를 바탕으로 로봇을 다양한 형태의 행동방식으로 손쉽게 구동시킬 수 있는 효과도 있다. According to another aspect of the present invention, there is also provided an effect that the robot can be easily operated in various forms of behavior based on the combined action block information by wirelessly transmitting the action block information combined through the user terminal to the robot.

또한 본 발명에 따르면, 로봇 본체를 로봇팔, 확장 휠, LED, 카메라, 적외선 센서 및 초음파 센서, NFC, RFID 태그 등의 옵션 기능 수행을 위한 옵션 모듈이 추가될 수 있는 확장 키트(kit)가 결합될 수 있는 형태로 구성함으로써, 협동주행, 지원주행 및 야외주행 등의 다양한 미션용 옵션 기능을 수행할 수 있는 효과도 있다. According to the present invention, the robot body is combined with an expansion kit to which an optional module for performing optional functions such as a robot arm, an extension wheel, an LED, a camera, an infrared sensor and an ultrasonic sensor, Thereby making it possible to perform optional functions for various missions such as cooperative driving, support driving, and outdoor driving.

그리고 본 발명에 따르면, 블루투스(Bluetooth), 와이파이(Wi-Fi) 등의 무선통신을 이용하여 로봇간 서로의 위치 및 동작상태 정보를 주고 받을 수 있으며, 각각의 로봇은 각종 센서를 통한 주변 장애물을 감지하고 로봇간 접촉 유무를 감지할 수 있어, 큰 장애요소 없이 사용자의 의도대로 로봇의 동작 패턴을 구현할 수 있는 효과도 있다. In addition, according to the present invention, it is possible to exchange position and operation state information between robots using wireless communication such as Bluetooth, Wi-Fi, etc., and each robot can receive peripheral obstacles through various sensors Sensing the presence or absence of contact between the robots, and thus it is possible to implement the operation pattern of the robot according to the user's intention without a great obstacle.

도 1 은 종래의 자율 이동형 로봇에 대한 동작을 설정하기 위한 기술에 관한 구성도.
도 2 는 프로그래밍 방식을 통해 로봇에 동작 설정을 입력하는 종래 방식을 보이는 일예시도.
도 3 은 본 발명에 따른 사용자 단말기를 이용한 로봇 구동 시스템을 개념적으로 도시한 전체 구성도.
도 4 는 본 발명에 따른 기본(Basic) 단계, 표준(Standard) 단계 및 응용(Application) 단계 등으로 구분된 사용자 경험치 레벨 및 아이콘화하여 생성된 행동블록을 보이는 일예시도.
도 5 는 본 발명에 따른 행동블록 생성부가 개발자 단말기이거나, 행동블록 생성부가 개발자 단말기를 통해 생성된 행동블록을 업로드 받는 모습을 보이는 일예시도.
도 6 은 본 발명에 따른 경험치 레벨을 설명하기 위한 사용자 단말기를 이용한 직접 제어, 독립 자율주행, 협동주행 및 지원주행을 보이는 일예시도.
도 7 은 본 발명에 따른 사용자 단말기의 행동블록 조합부가 행동블록을 조합하는 모습을 보이는 일예시도.
도 8 은 본 발명에 따른 큐빅 형태를 가지는 로봇에 관한 외관도.
도 9 는 본 발명에 따른 확장 휠 및 이의 구동모듈을 장착한 모습을 보이는 일예시도.
도 10 은 본 발명에 따른 사용자 단말기를 이용한 로봇 구동 방법에 관한 전체 흐름도.
1 is a block diagram of a technique for setting an operation of a conventional autonomous mobile robot.
FIG. 2 is an example showing a conventional method of inputting an operation setting to a robot through a programming method; FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a robot driving system using a user terminal.
FIG. 4 illustrates an example of a behavior block generated by creating a user experience level level and an icon separated into a basic step, a standard step, and an application step according to the present invention.
5 is a diagram illustrating an example in which a behavior block generation unit according to the present invention is a developer terminal or a behavior block generation unit is uploaded with a behavior block generated through a developer terminal.
6 is a diagram illustrating an example of direct control, independent autonomous driving, cooperative driving, and assisted driving using a user terminal for explaining experience levels according to the present invention.
FIG. 7 illustrates an example of combining a behavior block combination by a behavior block of a user terminal according to the present invention. FIG.
8 is an external view of a robot having a cubic shape according to the present invention.
9 is an exemplary view showing a state in which the extension wheel and its driving module according to the present invention are mounted.
10 is an overall flowchart of a method of driving a robot using a user terminal according to the present invention.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. It is to be noted that the detailed description of known functions and constructions related to the present invention is omitted when it is determined that the gist of the present invention may be unnecessarily blurred.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

본 발명에 따른 사용자 단말기를 이용한 로봇 구동 시스템에 관하여 도 3 내지 도 9 를 참조하여 설명하면 다음과 같다. The robot driving system using the user terminal according to the present invention will be described with reference to FIGS. 3 to 9. FIG.

도 3 은 본 발명에 따른 사용자 단말기를 이용한 로봇 구동 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 운영 서버(100), 사용자 단말기(200) 및 로봇(300)을 포함하여 이루어진다. FIG. 3 is a block diagram conceptually showing a robot driving system S using a user terminal according to the present invention. As shown in FIG. 3, the robot 100 includes an operation server 100, a user terminal 200, and a robot 300 .

운영 서버(100)는 로봇(300)의 다양한 행동에 대한 파라미터 값을 행동블록으로 생성하고, 사용자 경험치 레벨에 따라 사용자 단말기(200)별 행동블록의 사용범위를 지정하며, 새로운 레벨에 따른 행동블록 또는 로봇(300)의 옵션 기능 수행 여부에 따라 행동블록을 추가하는 기능을 수행하는 바, 도 3 에 도시된 바와 같이 행동블록 생성부(110), 저장부(120), 사용범위 지정부(130) 및 추가부(140)를 포함한다. The operation server 100 generates a parameter value for various actions of the robot 300 as a behavior block, designates a use range of a behavior block for each user terminal 200 according to a user experience value level, 3, the behavior block generation unit 110, the storage unit 120, the use range designation unit 130 (FIG. 3) And an adder 140. [0033]

구체적으로, 행동블록 생성부(110)는 도 4 에 도시된 바와 같이, 기본(Basic) 단계, 표준(Standard) 단계 및 응용(Application) 단계 등으로 사용자 경험치 레벨에 따라 단계를 구분하며, 각 단계별로 이동방향(각도), 속도, 턴(turn), 백턴(back turn) 및 장애물 탐지거리 등의 로봇 행동에 대한 파라미터 값을 다양하게 설정하고, 전체적으로 아이콘(icon)화하여 행동블록으로 생성한다. 4, the action block generator 110 classifies the steps according to the level of the user experience value in the basic step, the standard step, and the application step, And various parameter values for the robot behavior such as the moving direction (angle), speed, turn, back turn, and obstacle detection distance are set variously and iconized as an action block.

예를 들어, 기본(basic) 단계에서, '30m/s의 속도로' , '턴(turn) 및 백턴(back turn)' 등으로 아이콘화하여 행동블록으로 생성하며, 표준(Standard) 단계에서, '장애물 끼고 턴(turn)' 등으로 다양하게 아이콘화하여 행동블록으로 생성한다. For example, in the basic step, a motion block is generated as an iconized block at a speed of '30 m / s', 'turn' and 'back turn' And 'turn with obstacles' (turn).

이때, 행동블록 생성부(110)는 도 5 의 (a) 에 도시된 바와 같이, 별도의 개발자 단말기일 수도 있으며, 도 5 의 (b) 에 도시된 바와 같이 개발자 단말기(10)를 통해 이미 생성된 행동블록을 업로드 받는 수단일 수도 있다. 참고로, 개발자 단말기(10)는 다양한 웹에 접속이 가능한 퍼스널 컴퓨터, 스마트 폰, 태블릿 PC 등을 포함하는 컴퓨터 장치이다.
5 (a), the action block generation unit 110 may be a separate developer terminal, and the behavior block generation unit 110 may generate the action block 10 through the developer terminal 10 as shown in FIG. 5 (b) Or a method for uploading the action block. For reference, the developer terminal 10 is a computer device including a personal computer, a smart phone, a tablet PC, and the like, which can be connected to various webs.

저장부(120)는 로봇(300)의 기본 동작을 포함한 행동블록 생성부(110)를 통해 생성된 행동블록들을 저장하고 있다.
The storage unit 120 stores the action blocks generated through the action block generation unit 110 including the basic operation of the robot 300.

사용범위 지정부(130)는 사용자 경험치 레벨에 따른 행동블록의 사용범위를 구분하고 있어, 행동블록 조합에 따른 사용자 단말기(200)별 로봇 주행 경험여부 및 경험여부에 따른 경험치 레벨을 확인하여, 레벨에 따른 사용자 단말기(200)별 행동블록의 사용범위를 지정한다. The use range designation unit 130 classifies the use range of the behavior block according to the user experience level and confirms the experiential level according to whether or not the robot is traveling and the experience of each user terminal 200 according to the combination of the action blocks, And a usage range of a behavior block for each user terminal 200 according to the usage range.

여기서, 사용자 경험치 레벨은, 도 6 에 도시된 바와 같이 로봇(300)에 대한 사용자 단말기를 이용한 직접 제어(도 6 의 (a)), 독립 자율주행(도 6 의 (b)), 협동주행(도 6 의 (c)) 및 지원주행(도 6 의 (d)) 등에 대한 경험치 레벨로서, 사용범위 지정부(130)은 기본(Basic) 단계에 속하는 레벨일 경우, 기본(Basic) 단계에 포함되어 있는 행동블록을 이용 가능하도록 제공한다.
Here, the user experience value level is a level of the user experiential value, as shown in FIG. 6, in which the direct control (FIG. 6A), the independent autonomous travel (FIG. 6B), the cooperative running The use range designation unit 130 may be included in the basic stage when the level belongs to the basic stage as the experiential level for the support driving (Fig. 6 (c) To be available.

추가부(140)은 사용자 경험치 레벨에 따라 새로운 레벨을 추가할 수 있으며, 새로운 레벨에 따른 행동블록 또는 로봇(300)의 옵션 기능 수행 여부에 따른 행동블록을 추가한다. The adding unit 140 may add a new level according to the user experience level and add a behavior block according to a new level or an action block according to whether the robot 300 performs an optional function.

더욱 구체적으로, 추가부(140)는 사용자 단말기(200)로부터 로봇(300)에 대한 옵션 모듈 정보를 수신할 경우, 해당 옵션 모듈의 기능 수행을 위한 행동블록을 추가할 수 있다. More specifically, when receiving the option module information for the robot 300 from the user terminal 200, the adding unit 140 may add a behavior block for performing the function of the option module.

즉, 로봇(300)에 로봇팔, 확장 휠, LED, 카메라, 적외선 센서 및 초음파 센서, NFC, RFID 태그 등의 옵션 기능 수행을 위한 옵션 모듈이 적용될 수 있으며, 예를 들어, 로봇(300)에 장애물을 확인할 수 있는 카메라, 적외선 센서 및 초음파 센서 등이 적용된 경우, 추가부(140)는 사용자 단말기(200)로부터 로봇(300)에 대한 해당 옵션 모듈 정보를 수신하며, 이에 따라 장애물 탐지거리와 같은 행동블록을 추가할 수 있다.
That is, an optional module for performing optional functions such as a robot arm, an extension wheel, an LED, a camera, an infrared sensor, an ultrasonic sensor, an NFC, and an RFID tag may be applied to the robot 300. For example, In the case where a camera, an infrared sensor, an ultrasonic sensor, or the like capable of identifying an obstacle is applied, the adding unit 140 receives the corresponding option module information for the robot 300 from the user terminal 200, You can add action blocks.

사용자 단말기(200)는 전용 어플리케이션(App)을 통해 운영 서버(100)에 접속하여, 운영 서버(100)를 통해 생성된 행동블록들을 조합하여 로봇(300)으로 전송하는 기능을 수행하는 바, 도 3 에 도시된 바와 같이 행동블록 조합부(210) 및 인터페이스부(220)를 포함한다. The user terminal 200 accesses the operation server 100 through a dedicated application and performs a function of combining the action blocks generated through the operation server 100 and transmitting the combined action blocks to the robot 300 And includes a behavior block combination unit 210 and an interface unit 220 as shown in FIG.

구체적으로, 행동블록 조합부(210)는 도 7 에 도시된 바와 같이 운영 서버(100)를 통해 생성된 복수개의 행동블록을 다운로드 하여 조합한다.
Specifically, the action block combining unit 210 downloads and combines a plurality of action blocks generated through the operation server 100 as shown in FIG.

인터페이스부(220)는 로봇(300)으로부터 로봇(300)의 위치 및 동작상태 정보를 수신하여 확인하며, 행동블록 조합부(210)를 통해 조합된 행동블록 정보를 로봇(300)으로 전송한다. 또한, 인터페이스부(220)는 로봇(300)에 대한 기본적인 구동 제어신호를 전송할 수도 있다. The interface unit 220 receives and confirms the position and operation state information of the robot 300 from the robot 300 and transmits the combined action block information to the robot 300 through the action block combining unit 210. In addition, the interface unit 220 may transmit a basic drive control signal to the robot 300.

본 실시예에서, 사용자 단말기(200)와 로봇(300)과의 통신 방식을 블루투스(Bluetooth), 와이파이(Wi-Fi) 등의 무선통신 방식으로 설정하겠으나, 본 발명이 이에 한정되는 것은 아니다.
In the present embodiment, the communication method between the user terminal 200 and the robot 300 is set to a wireless communication method such as Bluetooth, Wi-Fi, etc., but the present invention is not limited thereto.

로봇(300)은 도 8 에 도시된 바와 같이, 전체적으로 모서리가 둥근 큐빅 형태로서, 센서를 통해 감지된 정보 및 사용자 단말기(200)를 통해 전송된 조합된 행동블록 정보에 따라 구동되는 바, 도 3 에 도시된 바와 같이 몸체부(310)와, 상기 몸체부(310) 내부 또는 외부에 구비되는 동작상태 정보 취득부(320), 장애물 및 접촉 감지부(330), 인터페이스부(340), 통신부(350) 및 구동부(360)를 포함한다. 8, the robot 300 is driven in accordance with the information detected through the sensor and the combined action block information transmitted through the user terminal 200, as shown in Fig. 3 An operation state information acquisition unit 320, an obstacle and contact detection unit 330, an interface unit 340, a communication unit (not shown) 350, and a driving unit 360.

구체적으로, 몸체부(310)는 로봇팔, 확장 휠, LED, 카메라, 적외선 센서 및 초음파 센서, NFC, RFID 태그 등의 옵션 기능 수행을 위한 모듈 장착이 가능하도록 확장 키트(kit)가 결합될 수 있는 형태로 구성되며, 이를 위해 각 면에 복수개의 홀(hole)이 형성될 수 있다. Specifically, the body unit 310 may be coupled with an expansion kit such that a module for performing optional functions such as a robot arm, an extension wheel, an LED, a camera, an infrared sensor, an ultrasonic sensor, an NFC, For this, a plurality of holes may be formed on each surface.

일예로서, 야외 주행에 적합하도록 확장 휠 및 이를 위한 확장모듈을 장착한 모습은 도 9 에 도시된 바와 같다.
As an example, a configuration in which an extension wheel and an expansion module for the extension wheel are fitted so as to be suitable for outdoor driving is as shown in FIG.

동작상태 정보 취득부(320)는 가속도(Acceleration) 센서, 자이로(Gyro) 센서, 자기(magnetic) 센서 등을 이용하여, 위치 및 동작상태 정보를 취득한다.
The operation state information acquisition unit 320 acquires position and operation state information using an acceleration sensor, a gyro sensor, a magnetic sensor, or the like.

장애물 및 접촉 감지부(330)는 카메라, 적외선 센서 및 초음파 센서 등을 이용하여 장애물을 감지하며, NFC 또는 RFID 태그를 이용하여 타 로봇과의 접촉 유무를 감지한다.
The obstacle and contact sensing unit 330 senses an obstacle by using a camera, an infrared sensor, an ultrasonic sensor, or the like, and detects whether or not the robot is in contact with the other robot using an NFC or an RFID tag.

인터페이스부(340)는 사용자 단말기(200)로 동작상태 정보 취득부(320)를 통해 취득한 로봇(300)의 위치 및 동작상태 정보를 전송하며, 사용자 단말기(200)로부터 조합된 행동블록 정보를 수신한다. 또한, 인터페이스부(340)는 장애물 및 접촉 감지부(330)를 통해 감지한 장애물 감지 여부 및 타 로봇과의 접촉 유무 정보를 포함하여 전송할 수 있다.
The interface unit 340 transmits the position and operation state information of the robot 300 acquired through the operation state information acquisition unit 320 to the user terminal 200 and receives the combined action block information from the user terminal 200 do. In addition, the interface unit 340 may transmit information including whether the obstacle sensed by the obstacle and the contact sensing unit 330 and whether or not an obstacle is detected and information on whether or not an obstacle is in contact with another robot.

통신부(350)는 블루투스(Bluetooth), 와이파이(Wi-Fi) 등의 무선통신을 이용하여, 위치 및 동작상태 정보에 관하여 타 로봇과 송수신한다.
The communication unit 350 transmits and receives position and operation state information to / from another robot using wireless communication such as Bluetooth, Wi-Fi, or the like.

구동부(360)은 몸체부(310)의 하측 양단에 주행을 위한 휠 모터와 연결되어, 동작상태 정보 취득부(320) 및 장애물 및 접촉 감지부(330)를 통해 감지된 정보와, 통신부(350)를 통해 수신된 타 로봇의 위치 및 동작상태 정보, 그리고 사용자 단말기(200)로부터 수신한 조합된 행동블록 정보를 바탕으로 로봇(300)을 구동시킨다.
The driving unit 360 is connected to both ends of the lower portion of the body 310 and is connected to a wheel motor for driving and receives information sensed through the operation state information acquisition unit 320 and the obstacle and the contact sensing unit 330, The robot 300 is driven based on the position and operation state information of the other robot received through the robot 200 and the combined action block information received from the user terminal 200.

이하에서는, 상술한 시스템을 이용한 사용자 단말기를 이용한 로봇 구동 방법에 관하여 도 10 을 참조하여 설명하면 다음과 같다. Hereinafter, a robot driving method using a user terminal using the above-described system will be described with reference to FIG.

도 10 은 본 발명에 따른 사용자 단말기를 이용한 로봇 구동 방법에 관한 전체 흐름도로서, 도시된 바와 같이 운영 서버(100)의 행동블록 생성부(110)는 기본(Basic) 단계, 표준(Standrd) 단계 및 응용(Application) 단계 등으로 사용자 경험치 레벨에 따라 단계를 구분하며(S10), 각 단계별로 이동방향(각도), 속도, 턴(turn), 백턴(back turn) 및 장애물 탐지거리 등의 로봇 행동에 대한 파라미터 값을 다양하게 설정하고(S20), 전체적으로 아이콘(icon)화하여 행동블록으로 생성한다(S30).FIG. 10 is a flowchart illustrating a method of driving a robot using a user terminal according to the present invention. As shown in FIG. 10, the behavior block generation unit 110 of the operation server 100 includes a basic step, a standard step, (S10), and the robot behavior such as the moving direction (angle), the speed, the turn, the back turn, and the obstacle detection distance is divided into steps according to the user experience level by the application step (S20), and an icon is generated as a whole to generate a motion block (S30).

이후, 사용범위 지정부(130)는 행동블록 조합에 따른 사용자 단말기(200)별 로봇 주행 경험여부 및 경험여부에 따른 경험치 레벨을 확인하여(S40), 레벨에 따른 사용자 단말기(200)별 행동블록의 사용범위를 지정한다(S50). Then, the use range designation unit 130 checks the experiential level according to experience and experience of robot driving according to the combination of the action blocks (S40) (S50).

또한, 추가부(140)는 사용자 단말기(200)로부터 로봇(300)에 대한 옵션 모듈 정보가 수신되는지 여부를 판단한다(S60).Also, the adding unit 140 determines whether optional module information for the robot 300 is received from the user terminal 200 (S60).

제S60 단계의 판단결과, 옵션 모듈 정보가 수신될 경우, 추가부(140)는 해당 옵션 모듈의 기능 수행을 위한 행동블록을 추가한다(S70). If it is determined in operation S60 that the option module information is received, the adding unit 140 adds a behavior block for performing the function of the option module (S70).

뒤이어, 사용자 단말기(200)의 행동블록 조합부(210)는 운영 서버(100)를 통해 생성된 복수개의 행동블록을 다운로드하여 조합하며(S80), 인터페이스부(220)는 행동블록 조합부(210)를 통해 조합된 행동블록 정보를 로봇(300)으로 전송한다(S90). 이때, 인터페이스부(220)는 조합된 행동블록 정보를 전송하기 이전에, 로봇(300)의 위치 및 동작상태 정보를 수신하여 확인할 수도 있다. The action block combining unit 210 of the user terminal 200 downloads and combines a plurality of action blocks generated through the operation server 100 in operation S80. The interface unit 220 includes a behavior block combining unit 210 ) To the robot 300 (S90). At this time, the interface unit 220 may receive and check the position and operation state information of the robot 300 before transmitting the combined action block information.

그리고, 로봇(300)의 인터페이스부(340)는 사용자 단말기(200)로부터 조합된 행동블록 정보를 수신하며(S100), 로봇(300)의 통신부(350)는 블루투스(Bluetooth), 와이파이(Wi-Fi) 등의 무선통신을 이용하여, 타 로봇으로부터 위치 및 동작상태 정보가 수신되지 않았는지 여부를 판단한다(S110).The interface unit 340 of the robot 300 receives the combined action block information from the user terminal 200 in step S100 and the communication unit 350 of the robot 300 transmits the action block information in the form of Bluetooth, Fi or the like to determine whether position and operation state information has not been received from another robot (S110).

제S110 단계의 판단결과, 타 로봇으로부터 위치 및 동작상태 정보가 수신되지 않은 경우, 구동부(360)는 조합된 행동블록 정보를 바탕으로 로봇(300)을 구동시킨다(S120).If it is determined in operation S110 that the position and operation state information is not received from the other robot, the driving unit 360 drives the robot 300 based on the combined motion block information in operation S120.

한편, 제S110 단계의 판단결과, 타 로봇으로부터 위치 및 동작상태 정보가 수신된 경우, 통신부(350)는 수신한 타 로봇의 위치 및 동작상태 정보를 구동부(360)로 전송하며(S130), 구동부(360)는 타 로봇의 위치 및 동작상태 정보와, 동작상태 정보 취득부(320) 및 장애물 및 접촉 감지부(330)를 통해 감지된 정보를 추가 반영하여 로봇(300)을 구동시킨다(S140). If it is determined in operation S110 that the position and operation state information is received from another robot, the communication unit 350 transmits the received position and operation state information of the other robot to the driver 360 (S130) The controller 360 further reflects the position and operation state information of the other robot and information sensed by the operation state information acquisition unit 320 and the obstacle and the contact sensing unit 330 to drive the robot 300 (S140) .

그리고, 제S60 단계의 판단결과, 옵션 모듈 정보가 수신되지 않을 경우, 추가부(140)는 제S80 단계로 절차를 이행한다.
If it is determined in operation S60 that the option module information is not received, the adding unit 140 proceeds to operation S80.

지금까지 상술한 바와 같은, 본 발명에 따른 사용자 단말기를 이용한 로봇 구동 시스템 및 그 방법은, 로봇에 대한 행동블록을 직관적인 형태로 생성하여 선택 및 조합할 수 있도록 제공함으로써, 사용자의 개별적인 로봇의 행동방식을 구현할 수 있으며, 생성된 행동블록을 사용자 단말기를 이용하여 다운로드 및 조합하여 자율 이동형 로봇을 구동시킨다. As described above, the robot driving system and the method using the user terminal according to the present invention can generate and select behavior blocks for robots in an intuitive manner, Method, and drives the autonomous mobile robot by downloading and combining the generated motion block using the user terminal.

즉, 사용자의 개별적인 로봇의 행동방식을 구현할 수 있어, 사용자의 창의성, 문제해결능력, 로봇과 제어시스템에 대한 이해력을 향상시킬 수 있으며, 로봇에 대한 흥미와 이해도를 강화시킬 수 있다는 특징적인 장점을 가진다.
In other words, it is possible to implement the behavior of individual user's robots, thereby improving user's creativity, problem solving ability, understanding of robot and control system, and enhancing interest and understanding of robot I have.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다. While the present invention has been particularly shown and described with reference to preferred embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be appreciated by those skilled in the art that numerous changes and modifications may be made without departing from the invention. Accordingly, all such appropriate modifications and changes, and equivalents thereof, should be regarded as within the scope of the present invention.

100: 운영 서버 200: 사용자 단말기
300: 로봇 110: 행동블록 생성부
120: 저장부 130: 사용범위 지정부
140: 추가부 210: 행동블록 조합부
220: 인터페이스부 310: 몸체부
320: 동작상태 정보 취득부 330: 장애물 및 접촉 감지부
340: 인터페이스부 350: 통신부
360: 구동부 10: 개발자 단말기
100: Operation server 200: User terminal
300: robot 110: action block generating unit
120: storage unit 130: use range designation unit
140: adder 210: action block combination part
220: interface unit 310:
320: Operation state information acquisition unit 330: Obstacle and contact detection unit
340: interface unit 350: communication unit
360: driver 10: developer terminal

Claims (12)

로봇의 행동에 대한 파라미터 값을 행동블록으로 생성하고, 사용자 경험치 레벨에 따라 사용자 단말기별 행동블록의 사용범위를 지정하며, 새로운 레벨에 따른 행동블록 또는 로봇의 옵션 기능 수행 여부에 따라 행동블록을 추가하는 운영 서버;
전용 어플리케이션(App)을 통해 상기 운영 서버에 접속하여, 상기 운영 서버를 통해 생성된 행동블록들을 조합하여 로봇으로 전송하는 사용자 단말기; 및
상기 사용자 단말기를 통해 전송된 조합된 행동블록 정보에 따라 구동되는 로봇; 을 포함하되,
상기 운영 서버는,
상기 사용자 경험치 레벨에 따라 단계를 구분하며, 각 단계별로 이동방향, 속도, 턴(turn), 백턴(back turn) 및 장애물 탐지거리 중, 적어도 어느 하나 이상의 로봇 행동에 대한 파라미터 값을 설정하고, 아이콘(icon)화하여 행동블록으로 생성하는 행동블록 생성부;
로봇의 기본 동작을 포함한 상기 행동블록 생성부를 통해 생성된 행동블록들을 저장하고 있는 저장부;
사용자 경험치 레벨에 따른 행동블록의 사용범위를 구분하고 있어, 행동블록 조합에 따른 상기 사용자 단말기별 로봇 주행 경험여부 및 경험여부에 따른 경험치 레벨을 확인하여, 레벨에 따른 상기 사용자 단말기별 행동블록의 사용범위를 지정하는 사용범위 지정부; 및
상기 사용자 경험치 레벨에 따라 새로운 레벨을 추가할 수 있으며, 새로운 레벨에 따른 행동블록 또는 상기 로봇의 옵션 기능 수행 여부에 따른 행동블록을 추가하는 추가부;를 포함하고,
상기 사용자 경험치 레벨에 따른 단계별로 로봇 행동에 대한 파라미터 값을 설정하고, 아이콘(icon)화하여 행동블록으로 생성하는 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 시스템.
A parameter value for a robot's action is generated as a motion block, a range of use of a motion block for each user terminal is specified according to a user experience level, and a motion block according to a new level or an optional function of the robot is added An operational server;
A user terminal connected to the operation server through a dedicated application (App), combining action blocks generated through the operation server and transmitting the combined action blocks to a robot; And
A robot driven according to combined action block information transmitted through the user terminal; ≪ / RTI >
The operating server,
A parameter value is set for at least one of robot behavior among a moving direction, a speed, a turn, a back turn, and an obstacle detection distance for each step, a behavior block generation unit for generating a behavior block by converting the icon into an icon;
A storage unit storing behavior blocks generated through the behavior block generation unit including a basic operation of the robot;
The use range of the behavior block according to the level of the user experience value is discriminated and the experiential level according to whether or not the robot is traveling according to the user block and the experiential level according to the combination of the behavior blocks is identified, A usage scope specification unit for specifying a scope; And
And an additional unit that can add a new level according to the user experience value level and add a behavior block according to a new level or a behavior block according to whether an optional function of the robot is performed,
Wherein a parameter value for the robot behavior is set in a stepwise manner according to the user experience value level, and an icon is created as a behavior block.
삭제delete 제 1 항에 있어서,
상기 추가부는,
상기 사용자 단말기로부터 로봇에 대한 옵션 모듈 정보를 수신할 경우, 해당 옵션 모듈의 기능 수행을 위한 행동블록을 추가하는 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 시스템.
The method according to claim 1,
[0030]
And a behavior block for performing a function of the option module is added when the option module information for the robot is received from the user terminal.
제 1 항에 있어서,
상기 사용자 단말기는,
상기 운영 서버를 통해 생성된 행동블록을 다운로드하여 조합하는 행동블록 조합부; 및
블루투스(Bluetooth), 와이파이(Wi-Fi) 중, 적어도 하나 이상의 통신방식을 이용하여, 상기 로봇으로부터 위치 및 동작상태 정보를 수신하여 확인하며, 상기 행동블록 조합부를 통해 조합된 행동블록 정보를 상기 로봇으로 전송하는 인터페이스부; 를 포함하는 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 시스템.
The method according to claim 1,
The user terminal comprises:
A behavior block combining unit for downloading and combining the behavior blocks generated through the operation server; And
And receives and confirms position and operation state information from the robot using at least one communication method among Bluetooth, Bluetooth, and Wi-Fi, and transmits the combined action block information through the action block combination unit to the robot To an interface; And a controller for controlling the robot.
제 1 항에 있어서,
상기 로봇은,
옵션 기능 수행을 위한 모듈 장착이 가능하도록 확장 키트(kit)가 결합될 수 있는 형태로 구성되며, 각 면에 복수개의 홀(hole)이 형성되어 있는 몸체부;
상기 사용자 단말기로부터 조합된 행동블록 정보를 수신하는 인터페이스부; 및
상기 사용자 단말기로부터 수신한 조합된 행동블록 정보를 바탕으로 로봇을 구동시키는 구동부; 를 포함하는 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 시스템.
The method according to claim 1,
The robot includes:
A body portion having a shape in which an extension kit can be coupled so that a module for performing an optional function can be attached, and a plurality of holes are formed on each surface;
An interface for receiving combined action block information from the user terminal; And
A driving unit for driving the robot based on the combined action block information received from the user terminal; And a controller for controlling the robot.
제 1 항 또는 제 5 항에 있어서,
상기 로봇은,
움직임을 감지하는 센서를 이용하여, 위치 및 동작상태 정보를 취득하는 동작상태 정보 취득부;
카메라, 적외선 센서 및 초음파 센서 중, 적어도 하나 이상의 센서를 이용하여 장애물을 감지하며, NFC 또는 RFID 태그를 이용하여 타 로봇과의 접촉 유무를 감지하는 장애물 및 접촉 감지부; 및
블루투스(Bluetooth), 와이파이(Wi-Fi) 중, 적어도 하나 이상의 통신방식을 이용하여, 위치 및 동작상태 정보에 관하여 타 로봇과 송수신하는 통신부; 를 포함하는 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 시스템.
6. The method according to claim 1 or 5,
The robot includes:
An operation state information acquisition unit that acquires position and operation state information using a sensor that senses motion;
An obstacle and a contact sensing unit for sensing an obstacle using at least one sensor among a camera, an infrared sensor and an ultrasonic sensor, and detecting whether or not the robot is in contact with another robot using an NFC or an RFID tag; And
A communication unit that transmits and receives position and operation state information with another robot using at least one of Bluetooth, Wi-Fi, and the like; And a controller for controlling the robot.
제 5 항에 있어서,
상기 인터페이스부는,
상기 사용자 단말기로 로봇의 위치 및 동작상태 정보를 전송하며, 장애물 감지 여부 및 타 로봇과의 접촉 유무 정보를 전송하는 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 시스템.
6. The method of claim 5,
The interface unit includes:
Wherein the controller transmits the position and operation state information of the robot to the user terminal, and transmits information on whether or not an obstacle is detected and whether or not the robot is in contact with another robot.
제 1 항에 있어서,
상기 사용자 경험치 레벨은,
상기 로봇에 대한 사용자 단말기를 이용한 직접 제어, 독립 자율주행, 협동주행 및 지원주행 중, 적어도 하나 이상의 주행에 대한 경험치 레벨인 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 시스템.
The method according to claim 1,
The user experience value level is set to &
Wherein the robot is a level of experience with at least one of the direct control, the independent autonomous driving, the cooperative driving, and the supporting driving using the user terminal for the robot.
(a) 운영 서버가 사용자 경험치 레벨에 따라 단계를 구분하는 단계;
(b) 상기 운영 서버가 각 단계별로 이동방향, 속도, 턴(turn), 백턴(back turn) 및 장애물 탐지거리 중, 적어도 하나 이상의 로봇 행동에 대한 파라미터 값을 설정하고, 아이콘(icon)화하여 행동블록으로 생성하는 단계;
(c) 상기 운영 서버가 행동블록 조합에 따른 사용자 단말기별 로봇 주행 경험여부 및 경험여부에 따른 경험치 레벨을 확인하여, 레벨에 따른 사용자 단말기별 행동블록의 사용범위를 지정하는 단계;
(d) 상기 운영 서버가 상기 사용자 단말기로부터 로봇에 대한 옵션 모듈 정보가 수신되는지 여부를 판단하는 단계;
(e) 상기 (d) 단계의 판단결과, 옵션 모듈 정보가 수신될 경우, 상기 운영 서버가 해당 옵션 모듈의 기능 수행을 위한 행동블록을 추가하는 단계;
(f) 상기 사용자 단말기가 운영 서버를 통해 생성된 행동블록을 다운로드 하여 조합하는 단계;
(g) 상기 사용자 단말기가 조합된 행동블록 정보를 상기 로봇으로 전송하는 단계;
(h) 상기 로봇이 타 로봇으로부터 위치 및 동작상태 정보가 수신되지 않았는지 여부를 판단하는 단계; 및
(i) 상기 (h) 단계의 판단결과, 상기 타 로봇으로부터 위치 및 동작상태 정보가 수신되지 않은 경우, 상기 로봇이 사용자 단말기로부터 수신한 조합된 행동블록 정보를 바탕으로 구동하는 단계; 를 포함하는 사용자 단말기를 이용한 로봇 구동 방법.
(a) the operating server classifying steps according to a user experience level;
(b) The operating server sets parameter values for at least one of robot actions among a moving direction, a speed, a turn, a back turn, and an obstacle detection distance for each step, Generating a motion block;
(c) identifying the experience level according to whether or not the robot is traveling according to the combination of the action blocks and the experiential level according to the combination of the action blocks, and designating the use range of the action block for each user terminal according to the level;
(d) determining whether or not optional server information for the robot is received from the user terminal;
(e) when the option module information is received as a result of the step (d), the operation server adds a behavior block for performing a function of the option module;
(f) downloading and combining the action blocks generated by the user terminal through the operation server;
(g) transmitting, by the user terminal, the combined action block information to the robot;
(h) determining whether the robot has received position and operation state information from the other robot; And
(i) driving the robot based on the combined action block information received from the user terminal, when the position and operation state information is not received from the other robot as a result of the determining in the step (h); Wherein the robot is a robot.
제 9 항에 있어서,
(j) 상기 (h) 단계의 판단결과, 타 로봇으로부터 위치 및 동작상태 정보가 수신된 경우, 상기 로봇이 타 로봇의 위치 및 동작상태 정보와 함께, 본 로봇의 위치 및 동작상태 정보, 장애물 감지 여부 및 타 로봇과의 접촉 유무 정보 중, 적어도 하나 이상의 정보를 추가 반영하여 구동하는 단계; 를 포함하는 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 방법.
10. The method of claim 9,
(j) if the position and operation state information is received from the other robot as a result of the determination in step (h), the robot notifies the position and operation state information of the other robot, the position and operation state information of the robot, And information on presence or absence of contact with other robots, and further driving the robot by reflecting at least one or more pieces of information; Wherein the robot is a robot.
제 9 항에 있어서,
상기 (h) 단계에서,
상기 로봇이 타 로봇과 블루투스(Bluetooth), 와이파이(Wi-Fi) 중, 적어도 하나 이상의 방식으로 통신하는 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 방법.
10. The method of claim 9,
In the step (h)
Wherein the robot communicates with another robot in at least one of Bluetooth, Wi-Fi, and the like.
제 9 항에 있어서,
상기 사용자 경험치 레벨은,
상기 로봇에 대한 사용자 단말기를 이용한 직접 제어, 독립 자율주행, 협동주행 및 지원주행 중, 적어도 하나 이상의 주행에 대한 경험치 레벨인 것을 특징으로 하는 사용자 단말기를 이용한 로봇 구동 방법.
10. The method of claim 9,
The user experience value level is set to &
Wherein the level of experience is at least one level of experience with at least one of direct control, independent autonomous driving, cooperative driving, and assisted driving using the user terminal with respect to the robot.
KR1020140158507A 2014-11-14 2014-11-14 System and method for driving robot using user terminal Expired - Fee Related KR101769867B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140158507A KR101769867B1 (en) 2014-11-14 2014-11-14 System and method for driving robot using user terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140158507A KR101769867B1 (en) 2014-11-14 2014-11-14 System and method for driving robot using user terminal

Publications (2)

Publication Number Publication Date
KR20160057647A KR20160057647A (en) 2016-05-24
KR101769867B1 true KR101769867B1 (en) 2017-08-21

Family

ID=56113790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140158507A Expired - Fee Related KR101769867B1 (en) 2014-11-14 2014-11-14 System and method for driving robot using user terminal

Country Status (1)

Country Link
KR (1) KR101769867B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069071A (en) * 2018-12-06 2020-06-16 이동섭 A method for controlling a kit by generating a command for controlling the kit on the kit control terminal

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054909A (en) 2018-11-08 2020-05-20 엘지전자 주식회사 Mobile robot anti-theft system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457947B1 (en) * 2013-06-27 2014-11-07 한국과학기술원 Robot system and method for development and controlling of robot system through user-centric modularization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457947B1 (en) * 2013-06-27 2014-11-07 한국과학기술원 Robot system and method for development and controlling of robot system through user-centric modularization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069071A (en) * 2018-12-06 2020-06-16 이동섭 A method for controlling a kit by generating a command for controlling the kit on the kit control terminal
KR102164853B1 (en) 2018-12-06 2020-10-13 이동섭 A method for controlling a kit by generating a command for controlling the kit on the kit control terminal

Also Published As

Publication number Publication date
KR20160057647A (en) 2016-05-24

Similar Documents

Publication Publication Date Title
EP3196726B1 (en) Apparatus and system for remotely controlling a moving robot and method thereof
US9292015B2 (en) Universal construction robotics interface
KR102286137B1 (en) Artificial intelligence for guiding arrangement location of air cleaning device and operating method thereof
KR102826475B1 (en) Artificial intelligence monitoring device and operating method thereof
KR101857952B1 (en) Apparatus and System for Remotely Controlling a Robot Cleaner and Method thereof
KR102567525B1 (en) Mobile Robot System, Mobile Robot And Method Of Controlling Mobile Robot System
US10335949B2 (en) System for operating mobile robot based on complex map information and operating method thereof
EP3753688B1 (en) Mobile robot device and method for providing service to user
EP3238524A1 (en) Moving robot and control method thereof
CN107577229A (en) Mobile robot, mobile control system and control method for movement
EP3773111B1 (en) Method and apparatus for executing cleaning operation
CN117500642B (en) Systems, devices and methods for developing robotic autonomy via teleoperation
US12168291B2 (en) Method and system for controlling cleaning robot
KR20190108087A (en) Master robot for controlling slave robot and driving method thereof
CN108415675B (en) Information processing apparatus, information processing system, and information processing method
KR20210047434A (en) Robot cleaner and operating method thereof
KR101736134B1 (en) System and method for driving robot using action block
US11440189B2 (en) Method and robot device for sharing object data
KR102292619B1 (en) Method for generating color, terminal thereof, and system thereof
KR101769867B1 (en) System and method for driving robot using user terminal
CN120752690A (en) A control board embedded with AI chips and sensors, and a self-driving coding robot that uses them
KR101666488B1 (en) System and method for managing action block for autonomous movement of robot
KR101680327B1 (en) System and method for generating action block for autonomous movement of robot
US20150153715A1 (en) Rapidly programmable locations in space
CN107710083A (en) Apparatus and method for control object movement

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20200814

Year of fee payment: 4

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Not in force date: 20210815

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20210815

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000