KR101800680B1 - Drone system that provides versatility - Google Patents

Drone system that provides versatility Download PDF

Info

Publication number
KR101800680B1
KR101800680B1 KR1020160001445A KR20160001445A KR101800680B1 KR 101800680 B1 KR101800680 B1 KR 101800680B1 KR 1020160001445 A KR1020160001445 A KR 1020160001445A KR 20160001445 A KR20160001445 A KR 20160001445A KR 101800680 B1 KR101800680 B1 KR 101800680B1
Authority
KR
South Korea
Prior art keywords
flight
unit
drones
face
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020160001445A
Other languages
Korean (ko)
Other versions
KR20170082259A (en
Inventor
노윤식
주해종
박태경
박태원
박태중
Original Assignee
사단법인 한국드론협회
(주)노보솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사단법인 한국드론협회, (주)노보솔루션 filed Critical 사단법인 한국드론협회
Priority to KR1020160001445A priority Critical patent/KR101800680B1/en
Publication of KR20170082259A publication Critical patent/KR20170082259A/en
Application granted granted Critical
Publication of KR101800680B1 publication Critical patent/KR101800680B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/02Arrangements or adaptations of signal or lighting devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B64C2201/024
    • B64C2201/126
    • B64C2201/127
    • B64C2201/146
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/40Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명의 다목적 기능을 제공하는 드론 시스템은, 평상시 사용자의 신체의 일정 부분에 부착되어 있다가, 사용자가 의도한 목적에 따라 비행, 촬영, 경보 및 실시간 데이터 전송 작업을 수행하는 초소형 드론; 및 웨어러블(wearable) 타입을 가지며, 상기 초소형 드론의 비행, 촬영, 경보 및 실시간 데이터 전송 작업이 수행될 수 있도록 상기 초소형 드론을 무선으로 원격 조정하는 드론 조정기를 포함하는 기술을 제공함에 기술적 특징이 있다. The drones providing the multi-purpose function of the present invention are miniature drones which are attached to a certain part of the body of a user at all times and perform flight, shooting, alarming and real-time data transfer according to a user's intended purpose; And a droner regulator which has a wearable type and wirelessly remotely adjusts the miniature drones so that the miniature drones can be operated for flight, shooting, alarm, and real time data transfer operations .

Description

다목적 기능을 제공하는 드론 시스템{DRONE SYSTEM THAT PROVIDES VERSATILITY}[0001] DRONO SYSTEM THAT PROVIDES VERSATILITY [0002]

본 발명은 다목적 기능을 제공하는 드론 시스템에 관한 것으로, 더욱 상세하게는 평상시 사용자의 신체의 일정 부분에 부착되어 있다가, 사용자가 의도한 목적에 따라 비행, 촬영, 경보 및 실시간 데이터 전송 작업을 수행하는 초소형 드론과, 상기 초소형 드론을 무선으로 원격 조정하는 웨어러블(wearable) 타입의 드론 조정기를 이용함으로써, 원터치로 빠르고 쉽게 초소형 드론을 조정할 수 있고, 공중에서 방해요인 없이 대상자와 주변 상황을 직접 촬영하여 사각지대 없는 이동식 블랙박스의 기능을 제공할 수 있으며, 범죄, 화재, 교통사고 등의 위급 상황 시 위급상황을 외부로 실시간 알릴 수 있음으로 사용자의 신변을 다각도로 보호할 수 있는, 다목적 기능을 제공하는 드론 시스템에 관한 것이다.
The present invention relates to a drones system for providing a multipurpose function, and more particularly, to a dron system which is attached to a part of a user's body at a normal time and performs flight, photographing, alarm and real time data transfer operation according to a user's intended purpose And a wearable type dron regulator for remotely controlling the micro drones by radio, it is possible to quickly and easily adjust the micro drones with one touch, and the subject and the surrounding situation can be directly photographed without disturbance in the air It can provide the function of mobile black box without blind spot. It provides versatile function that can protect the user's various aspects by informing the emergency in real time in case of emergency such as crime, fire or traffic accident. Lt; / RTI >

영어로 수벌을 뜻하는 드론(drone)은 언뜻 보기에 장난감 같지만, 소음이 적어 펭귄이나 물개, 및 고래에게 가까이 접근하여 영향을 주지 않고 사진을 찍을 수 있다. A drone in English is a toy that looks like a toy at first glance, but because of its low noise it can be taken close to penguins, seals, and whales to take pictures without affecting them.

다시 말해, 여섯 개의 회전날개를 가진 소형 무인항공기인 드론을 이용하면 남극에 사는 펭귄 및 물개무리를 촬영하기 위하여 비행기에 탑승한 카메라 맨도, 인공위성도 필요 없다. In other words, using a drone, a small unmanned aircraft with six rotating wings, does not require an airplane cameraman or a satellite to photograph an Antarctic penguin and seals.

여기서, 드론의 내부에는 위성항법장치(GPS)와 3차원 공간에서 회전 상태를 파악하는 자이로스코프, 이동 상태를 알려주는 가속도 센서를 장착하고 있다.Inside the drones, there are a GPS (Global Positioning System), a gyroscope for detecting the rotation state in a three-dimensional space, and an acceleration sensor for indicating the moving state.

또한, 드론은 군대에서도 활용이 되며, 군대에서 드론을 쓰는 이유는 조종사가 안전한 지상 기지에서 드론이 보내온 영상을 보며 적진을 구별하고 공격 지시를 내리면 되기 때문에 인명손상에 대한 우려가 없다. Also, the drones are used in the army, and the reason for using the drone in the military is that there is no fear of human injury because the pilot can see the images sent by the drones at the safe ground base,

과학자들이 드론에 주목한 이유도 접근하기 어려운 곳에서도 귀중한 연구 정보를 얻을 수 있기 때문이다. The reason why scientists pay attention to the drones is that they can get valuable research information even in places that are difficult to access.

이제는 원래 국제분쟁 지역에서 적진을 정찰하고 파괴하는 데 주로 쓰이던 드론은, 야생동물을 관찰하고 밀렵을 감시하는 데서부터 허리케인과 화산으로 비행해 촬영하는 위험한 임무를 수행하는 데까지 광범위 하게 이용되고 있다. Now used primarily for scouting and destroying enemies in international conflict areas, the drones are widely used to monitor wildlife, monitor poaching, perform hurricanes and volcanic hazards, and perform dangerous missions.

특히, 앞으로 재난 현장에서 생존자를 찾고 의료품을 전달하는 드론들이 출현할 것으로 보이며, 현재 음식 및 신문배달과 같은 간단한 배달에 드론을 활용하는 연구가 진행 중이다. In the future, drones are expected to find survivors and deliver medicines at disaster sites, and research is underway to utilize drones for simple delivery such as food and newspaper delivery.

한편 최근 각종 범죄의 증가가 사회적 문제로 대두 되고 있고, 이를 방지하기 위해 어두운 골목이나 지하 주차장 등에 여러 대의 범죄 예방용 CCTV를 설치하여 이들 지역에서의 범죄의 발생 여부를 상시 감시하고 있다.On the other hand, in recent years, the increasing number of crimes is emerging as a social problem. In order to prevent such crimes, CCTVs for preventing crime are installed in dark alleys and underground parking lots to monitor the occurrence of crimes in these areas.

그러나, 위와 같이 골목길이나 지하 주차장 등에 여러 대의 CCTV를 설치하는 경우에도 CCTV의 촬영 범위가 미치지 않는 사각지대가 많고, 특히 도시 재개발 지역이나 옥상 등에는 그나마 CCTV 등이 설치되어 있지 않은 경우가 많기 때문에, 다른 지역에 비해 범죄 발생률이 높은 편이다.However, even when a plurality of CCTVs are installed in an alley or an underground parking lot as described above, there are many blind spots in which the shooting range of the CCTV is insufficient. In many cases, CCTVs are not installed in urban redevelopment areas or rooftops, The crime rate is higher than other regions.

이러한 이유로 정부나 지자체에서는 CCTV의 설치대수를 늘리고 방범을 확대하는 등의 방법을 통해 사각지대를 없애고자 노력하고 있으나, 막대한 비용과 인력 문제로 인해 그 확대에는 한계가 있었다.For this reason, the government and local governments are trying to eliminate blind spots by increasing the number of CCTV installations and expanding crime prevention, but the expansion of CCTV has been limited due to huge cost and manpower problems.

특히, 아파트 등의 공동주택 단지 내에 보안이 우려되는 사각지대가 존재하고, 그런 장소에서 크고 작은 사건사고가 발생하고 있으며, 일부 공간에 CCTV가 설치되긴 하지만 고정된 형태로 설치되고, 감시 지역이 특정 범위로 한정하여 촬영하기 때문에 단지 내 발생하는 범죄에 대응하기에는 미흡하였다. In particular, there is a blind spot where security is concerned in a housing complex such as an apartment, and large and small incidents occur in such a place. CCTV is installed in some spaces but is installed in a fixed form, Since it is limited to the range, it is insufficient to cope with the crime that occurs within me.

또한 종래기술은 대형 드론을 이용하여 이를테면, 택배 업무 등을 수행하는 기술을 제공하는데 그쳤고, 본원발명처럼 초소형 드론을 이용하여 공중에서 방해요인 없이 대상자와 주변 상황을 직접 촬영하여 사각지대 없는 이동식 블랙박스의 기능을 제공하고, 또한 범죄, 화재, 교통사고 등의 위급 상황 시 위급상황을 외부로 실시간 알릴 수 있음으로 사용자의 신변을 다각도로 보호할 수 있는 기술을 제공하지 못하는 문제점이 있었다.
In addition, the prior art provides a technique of performing courier service, for example, using a large-size drones, and it is possible to directly capture a subject and a surrounding situation without disturbance in the air using a micro- In addition, in case of an emergency such as a crime, a fire or a traffic accident, the emergency situation can be notified to the outside in real time, so that there is a problem in that it is not possible to provide a technique capable of protecting the user's individuality in various aspects.

대한민국 공개특허 제10-2015-0090539호Korean Patent Publication No. 10-2015-0090539

본 발명이 해결하고자 하는 기술적 과제는, 평상시 사용자의 신체의 일정 부분에 부착되어 있다가, 사용자가 의도한 목적에 따라 비행, 촬영, 경보 및 실시간 데이터 전송 작업을 수행하는 초소형 드론과, 상기 초소형 드론을 무선으로 원격 조정하는 웨어러블(wearable) 타입의 드론 조정기를 이용함으로써, 원터치로 빠르고 쉽게 초소형 드론을 조정할 수 있고, 공중에서 방해요인 없이 대상자와 주변 상황을 직접 촬영하여 사각지대 없는 이동식 블랙박스의 기능을 제공할 수 있으며, 범죄, 화재, 교통사고 등의 위급 상황 시 위급상황을 외부로 실시간 알릴 수 있음으로 사용자의 신변을 다각도로 보호할 수 있는, 다목적 기능을 제공하는 드론 시스템을 제공하는데 있다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a miniature dron which is attached to a part of a body of a user at a normal time and performs a flight, photographing, alarm and real time data transfer operation according to a user's intended purpose, The drones can be adjusted quickly and easily with one touch, and it is possible to directly capture the subject and the surrounding situation without interference in the air, so that the function of the mobile black box without a dead zone The present invention also provides a multi-purpose drones system capable of protecting the user's personalities in various ways by informing the emergency in real time in case of an emergency such as a crime, a fire or a traffic accident.

상기 기술적 과제를 이루기 위한 본 발명에 따른 다목적 기능을 제공하는 드론 시스템은, 평상시 사용자의 신체의 일정 부분에 부착되어 있다가, 사용자가 의도한 목적에 따라 비행, 촬영, 경보 및 실시간 데이터 전송 작업을 수행하는 초소형 드론; 및 웨어러블(wearable) 타입을 가지며, 상기 초소형 드론의 비행, 촬영, 경보 및 실시간 데이터 전송 작업이 수행될 수 있도록 상기 초소형 드론을 무선으로 원격 조정하는 드론 조정기를 포함하는 기술을 제공한다.
According to an aspect of the present invention, there is provided a dronesystem for providing a multipurpose function, which is attached to a predetermined portion of a user's body at a normal time, and is used for flight, shooting, Micro drones performing; And a droner regulator which wirelessly remotely adjusts the microdrill so that flying, photographing, alarming, and real time data transfer operations of the microdrill can be performed.

본 발명은 원터치로 빠르고 쉽게 초소형 드론을 조정할 수 있고, 공중에서 방해요인 없이 대상자와 주변 상황을 직접 촬영하여 사각지대 없는 이동식 블랙박스의 기능을 제공할 수 있으며, 범죄, 화재, 교통사고 등의 위급 상황 시 위급상황을 외부로 실시간 알릴 수 있음으로 사용자의 신변을 다각도로 보호할 수 있는 기술적 효과가 있다.
The present invention can quickly and easily adjust the micro-drones with one-touch operation and can provide the function of a mobile black box without a blind spot by directly shooting the subject and the surrounding situation without disturbance in the air, There is a technical effect that the user can be protected in various aspects by informing the emergency situation outside in real time in the situation.

도 1은 본 발명에 따른 초소형 드론, 드론 조정기 및 알림 단말부의 관계를 개략적으로 나타낸 것이다.
도 2는 본 발명에 따른 초소형 드론의 구성을 상세히 나타낸 것이다.
도 3a는 본 발명에 따른 일 실시예로, 초소형 드론의 형태를 나타낸 것이다.
도 3b는 본 발명에 따른 일 실시예로, 드론 조정기의 형태를 나타낸 것이다.
FIG. 1 schematically shows the relationship between the micro-drone, the dron regulator, and the communication terminal according to the present invention.
FIG. 2 shows a detailed configuration of a microdrill according to the present invention.
FIG. 3A shows an embodiment of a microdrone according to the present invention.
FIG. 3B illustrates an embodiment of the dron regulator according to the present invention.

이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명하도록 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명에 따른 초소형 드론, 드론 조정기 및 알림 단말부의 관계를 개략적으로 나타낸 것이다. FIG. 1 schematically shows the relationship between the micro-drone, the dron regulator, and the communication terminal according to the present invention.

도 1을 참조하면, 본 발명은 초소형 드론(100), 드론 조정기(200) 및 알림 단말부(300)를 포함한다. Referring to FIG. 1, the present invention includes a micro drones 100, a dron regulator 200, and a notification terminal unit 300.

초소형 드론(100)은 웨어러블(wearable)이 가능한 초소형의 드론(drone)으로, 이를테면 도 3a에 도시된 바대로 손목에 부착이 가능한 손목 시계 타입으로, 평상시 손목시계 위에 안치 되었다가 비상 상황 등이 발생한 경우 일정한 제어신호에 따라 드론의 비행을 명령할 수 있도록 실시할 수 있다. The microdroplet 100 is a small-sized drone capable of being wearable, for example, a wristwatch type that can be attached to the wrist as shown in FIG. 3A, is normally placed on a wristwatch, It is possible to instruct the drone to fly according to a certain control signal.

여기서 웨어러블(wearable)은 사람의 몸의 일부에 착용할 수 있는 모든 형태를 의미하며, 손목에 부착하는 경우 뿐 만 아니라, 목, 어깨, 머리 등에 부착하는 경우도 포함하며, 초소형은 이를테면 손목에 부착이 가능할 정도의 크기를 의미한다. Here wearable refers to all forms that can be worn on a part of a person's body and includes not only attaching to the wrist but also attaching to the neck, shoulder, head, etc., Means a size that is as large as possible.

이 경우 드론은 비행 중 고도를 유지하는 상태로 한 위치에 머무르거나, 전후좌우 및 상하 움직임이 용이한 일명'멀티콥터'형태를 가질 수 있다. In this case, the drone can stay in one position with maintaining the altitude during flight, or it can have the form of 'multi-copter' which is easy to move forward, backward, left and right and up and down.

이와 같은 멀티콥터는 다수개의 프로펠러를 갖춘 비행장비로서, 프로펠러의 개수에 따라 이를테면, 쿼드콥터(4개), 헥사콥터(6개), 옥토콥터(8개) 등을 개발할 수 있는데, 프로펠러가 많을수록 높은 출력과 안정감을 가지게 된다. Such a multi-copter is a flying device equipped with a plurality of propellers. Depending on the number of propellers, it is possible to develop four types of quad-copter (4), hexacopter (6) and octocopter (8) High output and stability.

드론 조정기(200)는 무선통신을 이용하여 상기 초소형 드론(100)의 비행, 촬영, 경보 발생 등을 원격으로 제어하는데, 이를테면 도 3b에 도시된 바대로 손목시계 타입의 원격 무선 조정기일 수 있다. The dronor regulator 200 remotely controls flying, shooting, alarm generation, etc. of the microdrinus drones 100 using wireless communication, for example, a wristwatch type remote radio remote controller as shown in FIG. 3B.

알림 단말부(300)는 초소형 드론(100)을 소지한 사용자에게 위급한 상황이 발생한 경우, 초소형 드론(100)으로부터 전송된 경보 신호를 수신하기 위한 외부 단말로 이를테면, 경찰서 단말(310), 소방서 단말(320), 보호자 단말(330) 및 보험회사 단말(340)을 포함한다. The alarm terminal unit 300 is an external terminal for receiving an alarm signal transmitted from the micro drones 100 when an emergency occurs to a user having the micro drones 100. For example, A terminal 320, a guardian terminal 330, and an insurance company terminal 340.

이 경우 경찰서 단말(310)은 사용자에게 위급한 범죄 상황이 발생된 경우 경보신호를 수신하기 위해 필요하고, 소방서 단말(320)은 사용자에게 화재 또는 구급대의 긴급 출동이 예상되는 경우 경보신호를 수신하기 위해 필요하며, 보호자 단말(330)은 사용자가 어린이 또는 노약자 등일 경우 이들의 위급 상황을 보호자가 수신하기 위해 필요하고, 보험회사 단말(340)은 사용자가 피보험자일 경우 해당 보험회사가 위급상황(이를테면 차량접촉사고 등)을 수신하기 위해 필요하다. In this case, the police terminal 310 is required to receive an alarm signal when an emergency crime situation occurs to the user, and the fire station terminal 320 receives an alarm signal when a fire or a emergency emergency is expected And the guardian terminal 330 is necessary for the guardian to receive the emergency situation of the user when the user is a child or an elderly person and the insurance company terminal 340 is required to inform the insurance company of the emergency situation Vehicle contact accident, etc.).

도 2는 본 발명에 따른 초소형 드론의 구성을 상세히 나타낸 것이다. FIG. 2 shows a detailed configuration of a microdrill according to the present invention.

도 2를 참조하면, 본 발명에 따른 초소형 드론(100)은 전력 제공부(110), 비행 조정부(120), 촬영부(130), 위치 추적부(140), 통신부(150), 얼굴 분석부(160), 경보 발생부(170), 위급 대처부(180), 데이터 저장부(190) 및 드론 제어부(100-1)를 포함한다. 2, the micro-drill 100 according to the present invention includes a power supply 110, a flight control unit 120, a photographing unit 130, a position tracking unit 140, a communication unit 150, An alarm generating unit 170, an emergency response unit 180, a data storage unit 190, and a dron control unit 100-1.

전력 제공부(110)는 전원부(111) 및 충전부(112)를 포함한다. The power supply 110 includes a power supply unit 111 and a charging unit 112.

전원부(111)는 초소형 드론(100)이 전기적으로 동작하도록 전력을 공급해 주며, 충전부(112)는 커패시터(capacitor)를 사용하여 전하를 충전시켜 2차 전지로 이용될 수 있도록 해준다. The power supply unit 111 supplies electric power to operate the microdroun 100 electrically and the charging unit 112 charges a charge using a capacitor to be used as a secondary battery.

비행 조정부(120)는 다중명령 모드를 통해 비행체가 공중에서 복수의 비행 패턴들을 자동으로 구현할 수 있도록 해주는데, 여기서 비행 패턴들은 이를테면, 곡예(acro) 비행, 스터빌라이즈(stabilize) 비행, 써클(circle) 비행, 팔로우 미(follow me) 비행, 지오펜스 앤 오토(geo fence and auto) 비행 등을 수행할 수 있도록 조정하며, 또한 GPS 위성으로부터 위치 정보를 수신 받아 미리 설정된 경비 영역 내에서 비행이 이루어 질 수 있도록 조정할 수도 있다. The flight coordinator 120 allows the flight vehicle to automatically implement a plurality of flight patterns in the air through a multi-command mode, where the flight patterns may include, for example, acro flight, stabilize flight, circle ), Follow me flight, geo fence and auto flight, and also receives the position information from the GPS satellites to make the flight within the pre-set cost zone. You can also adjust it.

특히 팔로우 미(follow me) 비행은 이동 중 셀카 촬영 시 적합한 비행인데, 이를 부연 설명하면 초소형 드론(100)이 사용자의 움직임의 속도에 맞춰 비행하면서 사용자의 머리 위에서 사용자의 모습을 자유자재로 촬영할 수 있도록 해줌으로, 셀카 봉을 별도로 준비할 필요가 없는 장점을 갖는다. In particular, the follow me flight is a suitable flight for self-photographing while on the move, and the micro-drones 100 can fly freely according to the speed of the user's movement while freely taking a picture of the user on the user's head Therefore, it is not necessary to separately prepare a self-sealing bar.

한편 초소형 드론(100)의 각종 비행 모드를 구현하기 위해, 초소형 드론(100)의 하드웨어는 오픈 소스 하드웨어들 사용함이 바람직하며, 드론 조정기(200)는 사용이 용이한 Arduino 플랫폼에 기반한 APM(ArduPilotMega)에서부터 최첨단 실시간 운용 시스템인 32 비트의 Pixhawk 까지 응용 실시할 수 있다. Meanwhile, in order to implement various flight modes of the microdroplet 100, it is preferable to use open-source hardware for the hardware of the microdroplet 100, and the dronon adjuster 200 is an ArduPilotMega (APM) based on an easy- To 32-bit Pixhawk, a state-of-the-art real-time operating system.

촬영부(130)는 광각 렌즈를 구비한 복수의 카메라 모듈을 초소형 드론(100)의 일정 영역, 이를테면 몸체 중앙, 좌우 날개 측 등에 설치되며, 비행 조정부(120)의 비행 패턴 및 촬영목적을 고려하여 주변 환경 특히 사람의 얼굴을 다각도로 근접 촬영할 수 있도록 함이 바람직한데, 이는 통상 차량용 블랙박스가 고정식 촬영으로 인해 촬영의 사각지대가 있을 수 있지만, 본 발명의 경우 초소형 드론(100)의 3~5m 높이에서 자유로운 비행과 동시에 촬영이 가능해 져 이동식 형태의 블랙박스 역할을 할 수 있기 때문이다. The photographing unit 130 includes a plurality of camera modules having a wide angle lens disposed in a predetermined area of the micro drones 100, such as the center of the body, the left and right wing sides, and the like, It is desirable that the surroundings environment, particularly the face of a person, can be taken close-up. This is because a black box for a vehicle usually has a blind spot due to a fixed photographing, but in the present invention, It is possible to fly freely at the same time as shooting at high altitude, and it can serve as a mobile black box.

이 경우 카메라 모듈은 촬영된 사진 이미지 또는 동영상을 프레임(frame) 처리하여 저장되거나 전송될 수 있도록 하기 위한 모듈로, 이를테면 렌즈, 이미지 센서, 증폭기, 아날로그/디지털 변환기 및 이미지신호 처리프로세서를 구비할 수 있다. In this case, the camera module is a module for processing a photographed image or a moving image so as to be stored or transmitted, such as a lens, an image sensor, an amplifier, an analog-to-digital converter and an image signal processing processor have.

위치 추적부(140)는 GPS 수신기를 탑재하여 인공위성으로부터 현재 비행중인 지점에 관한 GPS 위치정보를 수신한 후 이를 외부로 전송하여 현재 비행 위치를 추적할 수 있도록 해주는 데, 여기서 GPS(Global Positioning System) 위치정보는 현재 비행중인 지점의 위도, 경도, 고도에 대한 정보가 포함된다. The GPS (Global Positioning System) unit 140 receives the GPS position information about the current flying position from the satellite and transmits it to the outside to track the current flying position. The location information includes information about the latitude, longitude, and altitude of the current flight spot.

이를테면, 사용자에게 범죄 등의 위급한 상황이 발생한 경우, 현재 비행 위치를 외부의 알림 단말부(300)로 전송하면, 이를 수신한 경찰서 등에서 현재 범행 현장에 있는 사용자의 위치를 추적할 수 있게 된다. For example, when an emergency such as a crime occurs to the user, the current position of the flight is transmitted to the external notification terminal unit 300, and the location of the user at the current crime scene can be tracked at the police station or the like.

통신부(150)는 외부의 알림 단말부(300)와 원거리 또는 근거리 통신을 수행하기 위한 인터페이스를 제공하는데, 이를테면, 원거리 통신모듈로 3G, 4G, LTE, LTE-A, 와이브로(Wireless Broadband Internet), 와이파이(Wifi) 등을 사용할 수 있고, 근거리 통신모듈로 NFC(Near Field Communication), 블루투스(Bluetooth), 지그비(Zigbee), UWB(Ultra-wideband) 방식의 통신 모듈 등을 사용할 수 있지만 이에 한정되는 것은 아니다. The communication unit 150 provides an interface for performing remote or short distance communication with the external notification terminal unit 300. For example, the communication unit 150 may be a 3G, 4G, LTE, LTE-A, WiBro, WiFi or the like may be used as the wireless communication module and a communication module of NFC (Near Field Communication), Bluetooth, Zigbee, UWB (Ultra-wideband) no.

얼굴 분석부(160)는 촬영부(130)에서 촬영한 인체의 얼굴을 분석하여 사전에얼굴정보 데이터베이스에 등록된 얼굴과 동일한지를 인증하는데, 이하 얼굴 인증을 수행하는 방법에 대해 설명한다. The face analyzing unit 160 analyzes the face of the human body photographed by the photographing unit 130 and authenticates whether it is the same as the face registered in the face information database in advance. Hereinafter, a method of performing face authentication will be described.

우선 얼굴 분석부(160)는 촬영부(130)에서 촬영된 인체의 얼굴 영상에서 프레임 영상을 생성하고, 생성된 프레임 영상에서 배경을 제외시키며, 얼굴만을 추출하기 위해 얼굴영역이 지니는 색상의 특징(feature), 윤곽선(boundary) 정보, 에지(edge) 정보를 활용하여 얼굴영역 만을 배경화면에서 분리해 얼굴만을 추출하는 과정을 갖는다.First, the face analyzing unit 160 generates a frame image from the face image of the human body photographed by the photographing unit 130, excludes the background from the generated frame image, and extracts features of the color of the face region feature, boundary, and edge information to extract only the face region from the background image.

여기서, 얼굴 추출 방법으로 이를테면, 눈의 움직임을 사용하는 방법, 그룹화된 얼굴영상과 그물망 형태의 탐색영역을 사용하는 방법, 에지/컬러 정보를 이용하여 피부색으로 얼굴의 영역을 검출하는 방법, 얼굴의 직사각형 특징에 기반을 두는 AdaBoost(Adaptive Boosting) 알고리즘을 사용하는 방법 등을 사용할 수 있으나 이에 한정되는 것은 아니다. Here, there are a face extraction method such as a method of using eye movement, a method of using a grouped face image and a mesh-type search region, a method of detecting a face region by skin color using edge / color information, A method using an AdaBoost (Adaptive Boosting) algorithm based on a rectangular feature, and the like, but the present invention is not limited thereto.

다음으로, 얼굴만 추출된 영상에서 사람마다 다른 얼굴의 특징인 얼굴의 골격, 눈썹 정보, 눈과 코 사이의 거리, 입술 등의 사람의 얼굴을 식별할 수 있는 주요 세부 특징을 추출하여 특징 벡터 화 시키는 과정을 갖는다.Next, in the image extracted from the face only, the main detailed features that can identify human skeleton, eyebrow information, distance between eye and nose, lips, .

한편 얼굴 정보 데이터베이스에는 이를테면, 특정 범죄(이를테면, 유아 성범죄, 납치 등)를 저지른 범죄자들 별로 얼굴 이미지의 주요 세부 특징들이 추출되어 특징벡터 화 된 정보가 고유 ID에 매칭 되어 저장되어 있다. In the face information database, for example, key detailed features of the face image are extracted for each criminal who committed a specific crime (for example, infanticity crime, kidnapping, etc.), and the feature vectorized information is matched to the unique ID.

이에 따라, 얼굴 분석부(160)를 통해 추출된 특정인 얼굴의 특징벡터 정보와 얼굴 정보 데이터베이스에 저장된 범죄자들의 얼굴 특징벡터 정보를 각각 비교하여, 유사도가 가장 높은 특징벡터 정보에 해당하는 범죄자의 고유 ID를 추출함으로써, 범죄자의 신원을 신속히 파악할 수 있어서 경찰이 범죄자를 신속히 검거하는데 이용될 수 있다. Accordingly, the feature vector information of the specific face extracted through the facial analysis unit 160 is compared with the face feature vector information of the offenders stored in the face information database, and the unique ID of the criminal corresponding to the feature vector information having the highest similarity The criminal can be identified quickly so that the police can be used to quickly arrest the criminal.

이 경우 상호 얼굴의 특징벡터들을 비교하여 신원을 확인하는 방법으로, 이를테면 SVM(Support Vector Machine)의 방법을 사용하여 하이퍼플레인을 결정하고, 얼굴인식방법을 학습시켜 얼굴을 인식하는 방법, 계층적 주요성분 분석에 의한 방법 등을 사용할 수 있으나 이에 한정되는 것은 아니다. In this case, it is a method of verifying the identity by comparing the feature vectors of mutual faces. For example, a method of recognizing a face by determining a hyperplane using a SVM (Support Vector Machine) method, learning a face recognition method, A method based on component analysis, and the like, but the present invention is not limited thereto.

다음으로, 경보 발생부(170)는 사용자에게 위급한 상황이 발생한 경우 경보 신호를 발생시켜 외부로 위험 상태를 알리는데, 이 경우 경보수단으로 이를테면, 사이렌, 경고음성, 경고 문자, 경광등 점멸 등을 이용할 수 있지만 이에 한정되지 않는다. Next, the alarm generating unit 170 generates an alarm signal to notify the user of a dangerous situation when an emergency situation occurs to the user. In this case, the alarm generating unit 170 may notify the user of a dangerous situation such as a siren, warning voice, warning character, But are not limited thereto.

이를테면 초소형 드론(100)은 비상시에 발생된 비상 신호에 따라 공중에서 이리저리 자유 비행을 하면서, 큰 소리의 사이렌 작동 또는 LED 경광등 점멸 등을 통해 주변의 사람에게 보다 위급한 상황을 효과적으로 알릴 수 있게 된다. For example, the microminiature drones 100 can freely fly around in the air according to an emergency signal generated in an emergency, and can alert the surrounding people of a more urgent situation through a loud siren operation or LED flashing light.

위급 대처부(180)는 초소형 드론(100)의 비행 중 추락 상황이 발생되는 경우 비행체를 보호하기 위해, 추락방지 신호를 발생시켜 낙하산을 자동으로 펼칠 수 있도록 해줌으로 추락 시 지면에서의 충격을 최소화 시켜준다. The emergency countermeasure unit 180 generates a fall prevention signal to automatically protect the flying object in the event of a fall of the micro drones 100, thereby minimizing the impact on the ground during the fall I will.

여기서 추락 상황은 비행 중 물체와의 충돌, 비행 조정 미숙으로 인한 추락 등일 수 있으며, 추락방지 신호는 추락 시 지면에 자유낙하 되는 속도, 시간 등을 고려하여 일정한 조건을 만족할 경우 자동으로 발생되도록 프로그래밍 됨이 바람직하다. In this case, the fall situation may be a collision with an object during flight, a fall due to inaccurate flight adjustment, and a fall prevention signal is programmed to occur automatically when a predetermined condition is satisfied in consideration of the speed and time at which the fall- .

데이터 저장부(190)는 촬영부(130)에서 촬영한 데이터들 및 얼굴 분석부(160)에서 분석한 데이터들을 저장하며, 저장매체로 이를테면, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드마이크로 타입(multimedia card micro type), 카드 타입의 메모리(이를테면, SD 또는 XD 메모리 등), 램(RAM), 롬(ROM) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The data storage unit 190 stores data captured by the photographing unit 130 and data analyzed by the facial analysis unit 160. The data storage unit 190 stores data such as a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (such as SD or XD memory), a RAM, and a ROM .

드론 제어부(100-1)는 전력 제공부(110), 비행 조정부(120), 촬영부(130), 위치 추적부(140), 통신부(150), 얼굴 분석부(160), 경보 발생부(170), 위급 대처부(180) 및 데이터 저장부(190)를 제어한다. The drone control unit 100-1 includes a power supply unit 110, a flight control unit 120, a photographing unit 130, a position tracking unit 140, a communication unit 150, a face analysis unit 160, 170, the emergency coping unit 180, and the data storage unit 190.

이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit of the invention.

100 : 초소형 드론
110 : 전력 제공부
111 : 전원부 112 : 충전부
120 : 비행 조정부 130 : 촬영부
140 : 위치 추적부 150 : 통신부
160 : 얼굴 분석부 170 : 경보 발생부
180 : 위급 대처부 190 : 데이터 저장부
100-1 : 드론 제어부
200 : 드론 조정기
300 : 알림 단말부
310 : 경찰서 단말
320 : 소방서 단말
330 : 보호자 단말
340 : 보험회사 단말
100: ultra-small drones
110: Power supply
111: power supply unit 112:
120: flight control unit 130: photographing unit
140: Position tracking unit 150:
160: facial analysis unit 170: alarm generating unit
180: emergency countermeasure unit 190: data storage unit
100-1: Drone control
200: Drone Regulator
300:
310: Police terminal
320: Fire station terminal
330: Guardian terminal
340: Insurance company terminal

Claims (10)

평상시 사용자의 신체의 일정 부분에 부착되어 있다가, 사용자가 의도한 목적에 따라 비행, 촬영, 경보 및 실시간 데이터 전송 작업을 수행하는 초소형 드론; 및
웨어러블(wearable) 타입을 가지며, 상기 초소형 드론의 비행, 촬영, 경보 및 실시간 데이터 전송 작업이 수행될 수 있도록 상기 초소형 드론을 무선으로 원격 조정하는 드론 조정기를 포함하며,
상기 초소형 드론은,
다중명령 모드를 통해 비행체가 공중에서 복수의 비행 패턴들을 자동으로 구현할 수 있도록 해주는 비행 조정부;
광각 렌즈를 구비한 복수의 카메라 모듈을 포함하며, 상기 비행 조정부의 비행 패턴 및 촬영목적을 고려하여 주변 환경을 촬영하는 촬영부;
외부의 단말과 원거리 또는 근거리 통신을 수행하도록 인터페이스를 제공하는 통신부;
상기 촬영부에서 촬영한 인체의 얼굴을 분석하여, 사전에 얼굴정보 데이터베이스에 등록된 얼굴과 동일한지를 인증하는 얼굴 분석부;
사용자에게 위급한 상황이 발생한 경우, 경보 신호를 발생시켜 외부로 위험 상태를 알리는 경보 발생부;
비행 중 추락 상황이 발생되는 경우 비행체를 보호하기 위해, 추락방지 신호를 발생시켜 낙하산을 자동으로 펼칠 수 있도록 해주는 위급 대처부; 및
상기 비행 조정부, 상기 촬영부, 상기 통신부, 상기 얼굴 분석부, 상기 경보 발생부 및 상기 위급 대처부를 제어하는 드론 제어부를 포함하고,
상기 얼굴 분석부는,
얼굴 추출 방법으로, 눈의 움직임을 사용하는 방법, 그룹화된 얼굴영상과 그물망 형태의 탐색영역을 사용하는 방법, 에지/컬러 정보를 이용하여 피부색으로 얼굴의 영역을 검출하는 방법, 얼굴의 직사각형 특징에 기반을 두는 AdaBoost(Adaptive Boosting) 알고리즘을 사용하는 방법 중 어느 하나를 사용하고,
상호 얼굴의 특징벡터들을 비교하여 신원을 확인하는 방법으로, SVM(Support Vector Machine)의 방법을 사용하여 하이퍼플레인을 결정하고, 얼굴인식방법을 학습시켜 얼굴을 인식하는 방법 또는 계층적 주요성분 분석에 의한 방법을 사용하는 것을 특징으로 하는 다목적 기능을 제공하는 드론 시스템.
An ultra small dron which is attached to a part of the body of the user in the usual way and performs flight, shooting, alarm and real time data transfer operation according to a user's intended purpose; And
And a dron regulator having a wearable type and wirelessly remotely controlling the microdropline so that the microdrilling, flying, shooting, alarming, and real time data transfer operations can be performed,
The micro-
A flight control unit for allowing a flight vehicle to automatically implement a plurality of flight patterns in the air through a multi-command mode;
A photographing unit including a plurality of camera modules having a wide angle lens and photographing the surrounding environment in consideration of a flight pattern of the flight control unit and a photographing purpose;
A communication unit for providing an interface for performing remote or short distance communication with an external terminal;
A face analyzing unit for analyzing a face of a human body photographed by the photographing unit and authenticating whether the face is the same as a face registered in the face information database in advance;
An alarm generating unit for generating an alarm signal and notifying a dangerous state to the outside when an urgent situation occurs to the user;
Emergency response department that can generate a fall prevention signal to automatically deploy the parachute to protect the aircraft in case of a fall in flight situation; And
And a dron controller for controlling the flight control unit, the photographing unit, the communication unit, the face analyzing unit, the alarm generating unit, and the emergency coping unit,
The facial analysis unit,
The method of face extraction, using eye movements, using grouped facial images and mesh-based search areas, detecting facial regions with skin color using edge / color information, Based Adaptive Boosting (ALB) algorithm,
In this paper, we propose a method of recognizing faces by comparing feature vectors of mutual facial features. We determine the hyperplane using SVM (Support Vector Machine) method, The method of claim 1, further comprising:
삭제delete 제 1항에 있어서, 상기 비행 패턴들은,
곡예(acro) 비행, 스터빌라이즈(stabilize) 비행, 써클(circle) 비행, 팔로우 미(follow me) 비행, 지오펜스 앤 오토(geo fence and auto) 비행 중 어느 하나 이상을 포함하는 것을 특징으로 하는 다목적 기능을 제공하는 드론 시스템.
2. The method of claim 1,
And more preferably includes any one or more of acro flight, stabilize flight, circle flight, follow me flight, geo fence and auto flight. A drones system that provides versatile functionality.
제 3항에 있어서, 상기 팔로우 미(follow me) 비행은,
사용자가 이동하면서 셀카 촬영을 할 경우에 적용되는 것을 특징으로 하는 다목적 기능을 제공하는 드론 시스템.
4. The method of claim 3, wherein the follow me flight comprises:
The drones according to claim 1 or 2, wherein the drones of the drones are provided to the user.
제 1항에 있어서,
GPS 수신기를 탑재하여 인공위성으로부터 현재 비행중인 지점에 관한 GPS 위치정보를 수신한 후, 상기 위치정보를 외부로 전송하여 현재 비행 위치를 추적할 수 있도록 해주는 위치 추적부를 더 포함하는 것을 특징으로 하는 다목적 기능을 제공하는 드론 시스템.
The method according to claim 1,
Further comprising a position tracking unit for mounting a GPS receiver to receive GPS position information about a point currently flying from the satellite and then transmitting the position information to the outside to track the current flying position. .
삭제delete 제 1항에 있어서, 상기 경보 발생부는,
경보수단으로 사이렌, 경고 음성, 경고 문자, 경광등 중 어느 하나 이상을 사용하는 것을 특징으로 하는 다목적 기능을 제공하는 드론 시스템.
The apparatus according to claim 1,
Wherein at least one of a siren, a warning voice, a warning character, and a warning light is used as an alarm means.
제 1항에 있어서, 상기 초소형 드론은,
쿼드콥터, 헥사콥터, 옥토콥터 중 어느 하나를 사용하는 것을 특징으로 하는 다목적 기능을 제공하는 드론 시스템.
The micro drill according to claim 1,
A quad-copter, a hexacopter, and an octocopter.
제 1항에 있어서, 상기 드론 조정기는,
웨어러블(wearable) 타입으로 손목시계 타입을 사용하는 것을 특징으로 하는 다목적 기능을 제공하는 드론 시스템.
The drones regulator according to claim 1,
A drones system providing a multipurpose function characterized by using a wristwatch type as a wearable type.
제 1항에 있어서,
사용자에게 긴급 상황 발생 시, 상기 초소형 드론으로부터 전송된 경보 신호를 수신하기 위한 외부 단말을 더 포함하는 것을 특징으로 하는 다목적 기능을 제공하는 드론 시스템.
The method according to claim 1,
Further comprising an external terminal for receiving an alarm signal transmitted from the micro-drill when an emergency occurs to the user.
KR1020160001445A 2016-01-06 2016-01-06 Drone system that provides versatility Expired - Fee Related KR101800680B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160001445A KR101800680B1 (en) 2016-01-06 2016-01-06 Drone system that provides versatility

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160001445A KR101800680B1 (en) 2016-01-06 2016-01-06 Drone system that provides versatility

Publications (2)

Publication Number Publication Date
KR20170082259A KR20170082259A (en) 2017-07-14
KR101800680B1 true KR101800680B1 (en) 2017-11-23

Family

ID=59358735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160001445A Expired - Fee Related KR101800680B1 (en) 2016-01-06 2016-01-06 Drone system that provides versatility

Country Status (1)

Country Link
KR (1) KR101800680B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101946416B1 (en) 2018-05-21 2019-02-12 이종범 Method and device for matching a drone pilot and a job with drones

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102064182B1 (en) * 2018-09-17 2020-02-11 주식회사 호그린에어 Emergency alarm system using multiple drones
US11460867B2 (en) * 2020-06-30 2022-10-04 Sony Group Corporation System of multi-swarm drone capturing
US11458220B2 (en) 2020-11-12 2022-10-04 Singletto Inc. Microbial disinfection for personal protection equipment
US12359369B2 (en) 2022-08-11 2025-07-15 Singletto Inc. Skin protection against microbial particles

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015200209A1 (en) * 2014-06-23 2015-12-30 Nixie Labs, Inc. Wearable unmanned aerial vehicles, launch- controlled unmanned aerial vehicles, and associated systems and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015200209A1 (en) * 2014-06-23 2015-12-30 Nixie Labs, Inc. Wearable unmanned aerial vehicles, launch- controlled unmanned aerial vehicles, and associated systems and methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101946416B1 (en) 2018-05-21 2019-02-12 이종범 Method and device for matching a drone pilot and a job with drones

Also Published As

Publication number Publication date
KR20170082259A (en) 2017-07-14

Similar Documents

Publication Publication Date Title
US20240038038A1 (en) Drone based security system
US9973737B1 (en) Unmanned aerial vehicle assistant for monitoring of user activity
US20240193937A1 (en) Image capture with privacy protection
KR101690502B1 (en) System for tracking using drone
US20220284705A1 (en) Methods and systems for operating a moving platform to determine data associated with a target person or object
EP3229214B1 (en) System and method for tracking unauthorized intruders using drones integrated with a security system
KR101800680B1 (en) Drone system that provides versatility
US10514237B2 (en) Public safety smart belt
US20230409054A1 (en) Unmanned aerial vehicle event response system and method
US20240111305A1 (en) Unmanned aerial vehicle event response system and method
Tanzi et al. Towards" drone-borne" disaster management: future application scenarios
KR101802669B1 (en) Auto Monitoring System Using a Drone
KR101851237B1 (en) Drone system based on commercial mobile communication wireless network dedicated to drone
KR101832273B1 (en) Method for intelligent video surveillance using drone and Multifunctional drone for the method and Device for charging the drone
US10388132B2 (en) Systems and methods for surveillance-assisted patrol
US12073701B2 (en) Public safety smart belt
Tanzi et al. UAVs for humanitarian missions: Autonomy and reliability
US10757379B2 (en) Public safety smart belt
US11900778B1 (en) System for improving safety in schools
KR101723066B1 (en) Drone units for rescue and information providing method for rescue situation using drone units
KR20170014480A (en) A method of guiding a road using an unmanned aerial vehicle
KR20210002288A (en) Cctv surveillance system using cctv combined drones
WO2023223251A1 (en) Security system and method
KR20190097811A (en) Police Drone
KR20230090206A (en) Operating method of smart drone for crime prevention

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20221118

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20221118

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000