KR20210132552A - Adaptive switcher for day and night pedestrian detection in autonomous vehicle and pedestrian detection apparatus using thereof - Google Patents

Adaptive switcher for day and night pedestrian detection in autonomous vehicle and pedestrian detection apparatus using thereof Download PDF

Info

Publication number
KR20210132552A
KR20210132552A KR1020200051107A KR20200051107A KR20210132552A KR 20210132552 A KR20210132552 A KR 20210132552A KR 1020200051107 A KR1020200051107 A KR 1020200051107A KR 20200051107 A KR20200051107 A KR 20200051107A KR 20210132552 A KR20210132552 A KR 20210132552A
Authority
KR
South Korea
Prior art keywords
switcher
adaptive
pedestrian detection
model
night
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020200051107A
Other languages
Korean (ko)
Other versions
KR102339011B1 (en
Inventor
고병철
김상원
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020200051107A priority Critical patent/KR102339011B1/en
Publication of KR20210132552A publication Critical patent/KR20210132552A/en
Application granted granted Critical
Publication of KR102339011B1 publication Critical patent/KR102339011B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처에 관한 것으로서, 보다 구체적으로는 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(switcher)로서, 주간 학습 데이터 및 야간 학습 데이터를 사용해 주간 환경과 야간 환경을 적응적으로 판단하도록 학습되며, 학습 결과를 이용하여 입력 영상으로부터 판단한 주간 환경 또는 야간 환경에 따라 보행자 감지를 위한 주간 모델 또는 야간 모델을 선택하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처를 이용한 보행자 감지 장치에 관한 것으로서, 보다 구체적으로는 보행자 감지 장치로서, 주간 학습 데이터를 사용해 학습된 주간 모델 및 야간 학습 데이터를 사용해 학습된 야간 모델을 포함하는 보행자 감지기(detector); 및 입력 영상을 분석하여 상기 주간 모델 및 야간 모델 중 어느 하나를 선택하는 적응적 스위처(switcher)를 포함하며, 상기 보행자 감지기는, 상기 적응적 스위처의 선택에 따라 상기 주간 모델 또는 야간 모델을 이용해 보행자를 감지하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치에 따르면, 적응적 스위처가 입력 영상을 분석하고 자동으로 주간 모델과 야간 모델을 선택함으로써, 입력 영상에 따라 보행자 감지 정확도가 높은 모델로 스위칭 하여 사용할 수 있고, 주야간 판단뿐만 아니라 터널, 우천 시 등과 같이 조도가 낮은 환경을 적응적으로 판단하여 보행자를 가장 잘 감지할 수 있는 모델로 스위칭 해줌으로써, 보행자 감지 성능을 향상시킬 수 있다.
또한, 본 발명에서 제안하고 있는 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치에 따르면, 적응적 스위처를 간단한 CNN 모델로 구성함으로써, 신속하게 주간 환경 또는 야간 환경을 판단하여 전체 보행자 감지 속도에 큰 영향 없이 최적의 모델로 스위칭하는 과정을 처리할 수 있다.The present invention relates to an adaptive switcher for day and night pedestrian detection in an autonomous vehicle, and more particularly, as an adaptive switcher for day and night pedestrian detection in an autonomous vehicle, using daytime learning data and nighttime learning data to communicate with the daytime environment and It is learned to adaptively determine a night environment, and it is characterized in its configuration to select a daytime model or a nighttime model for pedestrian detection according to a daytime environment or a nighttime environment determined from an input image using the learning result.
In addition, the present invention relates to a pedestrian detection device using an adaptive switcher for day and night pedestrian detection in an autonomous vehicle, and more specifically, as a pedestrian detection device, learning using a daytime model learned using daytime learning data and nighttime learning data a pedestrian detector including a night model; and an adaptive switcher that analyzes an input image and selects any one of the daytime model and the nighttime model, wherein the pedestrian detector uses the daytime model or the nighttime model according to the selection of the adaptive switcher. It is characterized by its configuration to detect .
According to the adaptive switcher for day and night pedestrian detection in the autonomous vehicle proposed in the present invention and the pedestrian detection device using the same, the adaptive switcher analyzes the input image and automatically selects a day model and a night model, according to the input image. Pedestrian detection performance by switching to a model with high pedestrian detection accuracy can improve
In addition, according to the adaptive switcher for day and night pedestrian detection in the autonomous vehicle proposed in the present invention and the pedestrian detection device using the same, by configuring the adaptive switcher as a simple CNN model, the It can handle the process of switching to the optimal model without significantly affecting the pedestrian detection speed.

Description

자율차량에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치{ADAPTIVE SWITCHER FOR DAY AND NIGHT PEDESTRIAN DETECTION IN AUTONOMOUS VEHICLE AND PEDESTRIAN DETECTION APPARATUS USING THEREOF}ADAPTIVE SWITCHER FOR DAY AND NIGHT PEDESTRIAN DETECTION IN AUTONOMOUS VEHICLE AND PEDESTRIAN DETECTION APPARATUS USING THEREOF

본 발명은 자율차량에서 사용하는 보행자 감지 장치에 관한 것으로서, 보다 구체적으로는 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치에 관한 것이다.The present invention relates to a pedestrian detection device used in an autonomous vehicle, and more particularly, to an adaptive switcher for day and night pedestrian detection in an autonomous vehicle and a pedestrian detection device using the same.

자율 주행 차량에서 보행자 감지는 차량과 사람의 충돌을 방지하는 핵심 기능이다. 일반적으로 낮에는 카메라 기반의 보행자 감지가 수행되고 있고, 밤에는 근적외선(NIR) 또는 원적외선(FIR) 카메라를 사용한 보행자 감지가 주로 사용된다.Pedestrian detection in autonomous vehicles is a key feature in preventing collisions between vehicles and people. In general, camera-based pedestrian detection is performed during the day, and pedestrian detection using a near-infrared (NIR) or far-infrared (FIR) camera is mainly used at night.

이와 같은 보행자 감지용 센서 이외에도, 머신러닝 또는 딥러닝 기술 이용해 보행자를 감지하는 기술이 연구되고 있다. 최근에는 종래의 머신 러닝 기술 대신에 깊은 신경망 기반의 CNN(convolutional neural network)이 보행자 감지에 적용되고 있다.In addition to these sensors for detecting pedestrians, technologies for detecting pedestrians using machine learning or deep learning technologies are being studied. Recently, instead of the conventional machine learning technology, a deep neural network-based convolutional neural network (CNN) has been applied to pedestrian detection.

도 1은 CNN을 이용한 보행자 감지를 예를 들어 도시한 도면이다. 도 1에 도시된 바와 같이, 학습된 CNN을 이용해 보행자를 효과적으로 감지할 수는 있으나, 보행자들의 다양한 외형 변화, 사람과 유사 사물 구분의 어려움, 다양한 조명 조건, 사람들 간의 중첩이나 사람과 사물의 중첩 등으로 인해, 보행자 감지는 여전히 어려운 실정이다.1 is a diagram illustrating pedestrian detection using CNN as an example. As shown in FIG. 1 , a pedestrian can be effectively detected using the learned CNN, but various appearance changes of pedestrians, difficulty in distinguishing between people and similar objects, various lighting conditions, overlap between people or overlap between people and objects, etc. Therefore, it is still difficult to detect pedestrians.

특히, 야간에는 낮은 조도, 다양한 조명 조건, 가로등이나 헤드라이트 등에 의한 객체 변형 등으로 인해 야간 보행자 감지는 더욱 어렵다. 이와 같이 주간 환경과 야간 환경의 차이로 인하여, 주간 보행자 탐지를 위해 훈련된 CNN 모델은 야간 환경에 적용 시 정확도가 크게 저하된다. 따라서 종래에는 주간 CNN 모델과 야간 CNN 모델은 별도로 개발 및 적용되어 왔다.In particular, at night, it is more difficult to detect pedestrians at night due to low illumination, various lighting conditions, object deformation by street lights or headlights, and the like. As such, due to the difference between the daytime environment and the nighttime environment, the accuracy of the CNN model trained for daytime pedestrian detection is greatly reduced when applied to the nighttime environment. Therefore, in the prior art, the daytime CNN model and the nighttime CNN model have been separately developed and applied.

도 2는 주간과 야간 환경에서의 보행자 감지를 위한 종래기술을 설명한 도면이다. 도 2에 도시된 바와 같이, 주간 보행자 감지 모델(Daytime CNN)과 야간 보행자 감지 모델(Nighttime CNN)은 각각 개발되고, 주간 영상과 야간 영상 보행자 감지를 위해 각각 사용되었다.2 is a view for explaining the prior art for detecting pedestrians in day and night environments. As shown in FIG. 2 , a daytime pedestrian detection model (Daytime CNN) and a nighttime pedestrian detection model (Nighttime CNN) were developed, respectively, and used for daytime image and nighttime image pedestrian detection, respectively.

그러나 주간 및 야간 보행자 감지를 위해 두 개의 CNN 모델을 동시에 운영하는 것은 매우 비효율적이므로, 이를 해결하기 위한 기술의 개발이 필요한 실정이다.However, since it is very inefficient to simultaneously operate two CNN models for day and night pedestrian detection, it is necessary to develop a technology to solve this problem.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-2036181호(발명의 명칭: 심층신경망 및 돌출 맵을 이용한 야간 보행자 검출 방법 및 장치, 등록일자: 2019년 10월 18일) 등이 개시된 바 있다.On the other hand, as prior art related to the present invention, Patent Registration No. 10-2036181 (Title of the invention: method and apparatus for detecting a pedestrian at night using a deep neural network and saliency map, registration date: October 18, 2019), etc. are disclosed. have.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 적응적 스위처가 입력 영상을 분석하고 자동으로 주간 모델과 야간 모델을 선택함으로써, 입력 영상에 따라 보행자 감지 정확도가 높은 모델로 스위칭 하여 사용할 수 있고, 주야간 판단뿐만 아니라 터널, 우천 시 등과 같이 조도가 낮은 환경을 적응적으로 판단하여 보행자를 가장 잘 감지할 수 있는 모델로 스위칭 해줌으로써, 보행자 감지 성능을 향상시킬 수 있는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치를 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods. The adaptive switcher analyzes an input image and automatically selects a daytime model and a nighttime model, so that the pedestrian detection accuracy is high according to the input image. It can be used by switching to a model, and it is possible to improve pedestrian detection performance by switching to a model that can detect pedestrians best by adaptively determining low-illuminance environments such as tunnels and raining as well as day/night judgment. , to provide an adaptive switcher for day and night pedestrian detection in autonomous vehicles and a pedestrian detection device using the same.

또한, 본 발명은, 적응적 스위처를 간단한 CNN 모델로 구성함으로써, 신속하게 주간 환경 또는 야간 환경을 판단하여 전체 보행자 감지 속도에 큰 영향 없이 최적의 모델로 스위칭 하는 과정을 처리할 수 있는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention, by configuring the adaptive switcher as a simple CNN model, can quickly determine the daytime environment or the nighttime environment to handle the process of switching to an optimal model without significantly affecting the overall pedestrian detection speed, autonomous vehicle Another object of the present invention is to provide an adaptive switcher for day and night pedestrian detection and a pedestrian detection device using the same.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처는,An adaptive switcher for day and night pedestrian detection in an autonomous vehicle according to a feature of the present invention for achieving the above object,

자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(switcher)로서,As an adaptive switcher for day and night pedestrian detection in autonomous vehicles,

주간 학습 데이터 및 야간 학습 데이터를 사용해 주간 환경과 야간 환경을 적응적으로 판단하도록 학습되며, 학습 결과를 이용하여 입력 영상으로부터 판단한 주간 환경 또는 야간 환경에 따라 보행자 감지를 위한 주간 모델 또는 야간 모델을 선택하는 것을 그 구성상의 특징으로 한다.It learns to adaptively judge the daytime and nighttime environments using daytime learning data and nighttime learning data, and selects a daytime or nighttime model for pedestrian detection according to the daytime or nighttime environment determined from the input image using the learning results. It is characterized by its constitution.

바람직하게는, 상기 적응적 스위처는,Preferably, the adaptive switcher comprises:

복수의 레이어를 포함하는 멀티 레이어 인공신경망 모델로 구성될 수 있다.It may be configured as a multi-layer artificial neural network model including a plurality of layers.

더욱 바람직하게는, 상기 적응적 스위처는,More preferably, the adaptive switcher comprises:

6개의 레이어로 구성될 수 있다.It may consist of 6 layers.

더욱 바람직하게는, 상기 적응적 스위처는,More preferably, the adaptive switcher comprises:

CNN(Convolutional Neural Networks) 모델로 구성될 수 있다.It can be composed of a CNN (Convolutional Neural Networks) model.

더더욱 바람직하게는, 상기 적응적 스위처는,Even more preferably, the adaptive switcher comprises:

max pooling layer, atrous depth-wise separable convolution layer, convolution layer, 및 fully connected layer를 포함할 수 있다.It may include a max pooling layer, an atrous depth-wise separable convolution layer, a convolution layer, and a fully connected layer.

더더욱 바람직하게는, 상기 적응적 스위처의 각 레이어는,Even more preferably, each layer of the adaptive switcher comprises:

제1 블록 및 제2 블록으로 구성될 수 있다.It may be composed of a first block and a second block.

더더더욱 바람직하게는,Even more preferably,

상기 제1 블록은, 뎁스-와이즈 콘볼루션(depth-wise convolution), 배치 정규화(batch normalization) 및 ReLu(rectified linear unit)을 포함하여 구성되고,The first block is configured to include a depth-wise convolution, batch normalization, and a rectified linear unit (ReLu),

상기 제2 블록은, 뎁스-와이즈 atrous 콘볼루션(depth-wise atrous convolution), 배치 정규화(batch normalization) 및 ReLu을 포함하여 구성될 수 있다.The second block may include depth-wise atrous convolution, batch normalization, and ReLu.

바람직하게는, 상기 주간 모델 및 야간 모델은,Preferably, the daytime model and the nighttime model are

yolo 알고리즘 기반으로 학습된 보행자 감지 모델일 수 있다.It may be a pedestrian detection model trained based on the yolo algorithm.

바람직하게는, 상기 적응적 스위처는,Preferably, the adaptive switcher comprises:

터널 및 우천 시를 포함하는 조도가 임계값보다 낮은 환경에 대해서, 상기 주간 모델 또는 야간 모델을 적응적으로 선택하여 최적의 모델로 스위칭 할 수 있다.For an environment in which the illuminance is lower than a threshold value including a tunnel and rain, the daytime model or the nighttime model may be adaptively selected to switch to an optimal model.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처를 이용한 보행자 감지 장치는,A pedestrian detection device using an adaptive switcher for day and night pedestrian detection in an autonomous vehicle according to a feature of the present invention for achieving the above object,

보행자 감지 장치로서,A pedestrian detection device comprising:

주간 학습 데이터를 사용해 학습된 주간 모델 및 야간 학습 데이터를 사용해 학습된 야간 모델을 포함하는 보행자 감지기(detector); 및a pedestrian detector comprising a daytime model trained using the daytime training data and a nighttime model trained using the nighttime training data; and

입력 영상을 분석하여 상기 주간 모델 및 야간 모델 중 어느 하나를 선택하는 적응적 스위처(switcher)를 포함하며,It includes an adaptive switcher that analyzes the input image and selects any one of the daytime model and the nighttime model,

상기 보행자 감지기는,The pedestrian detector,

상기 적응적 스위처의 선택에 따라 상기 주간 모델 또는 야간 모델을 이용해 보행자를 감지하는 것을 그 구성상의 특징으로 한다.Detecting a pedestrian using the daytime model or the nighttime model according to the selection of the adaptive switcher is characterized in its configuration.

바람직하게는, 상기 적응적 스위처는,Preferably, the adaptive switcher comprises:

주간 학습 데이터 및 야간 학습 데이터를 사용해, 주간 환경과 야간 환경을 적응적으로 판단하도록 학습될 수 있다.By using the daytime learning data and the nighttime learning data, it may be learned to adaptively determine the daytime environment and the nighttime environment.

더욱 바람직하게는, 상기 보행자 감지기는,More preferably, the pedestrian detector,

적응적 스위처에서 입력 영상을 분석해 주간 환경으로 판단되면 상기 주간 모델을, 야간 환경으로 판단되면 상기 야간 모델을 각각 이용해 보행자를 감지할 수 있다.The adaptive switcher analyzes the input image to detect a pedestrian using the daytime model when it is determined as a daytime environment and the nighttime model when it is determined as a nighttime environment.

바람직하게는, 상기 적응적 스위처는,Preferably, the adaptive switcher comprises:

복수의 레이어를 포함하는 멀티 레이어 인공신경망 모델로 구성될 수 있다.It may be configured as a multi-layer artificial neural network model including a plurality of layers.

더욱 바람직하게는, 상기 적응적 스위처는,More preferably, the adaptive switcher comprises:

6개의 레이어로 구성될 수 있다.It may consist of 6 layers.

더욱 바람직하게는, 상기 적응적 스위처는,More preferably, the adaptive switcher comprises:

CNN(Convolutional Neural Networks) 모델로 구성될 수 있다.It can be composed of a CNN (Convolutional Neural Networks) model.

더더욱 바람직하게는, 상기 적응적 스위처는,Even more preferably, the adaptive switcher comprises:

max pooling layer, atrous depth-wise separable convolution layer, convolution layer, 및 fully connected layer를 포함할 수 있다.It may include a max pooling layer, an atrous depth-wise separable convolution layer, a convolution layer, and a fully connected layer.

더더욱 바람직하게는, 상기 적응적 스위처의 각 레이어는,Even more preferably, each layer of the adaptive switcher comprises:

제1 블록 및 제2 블록으로 구성될 수 있다.It may be composed of a first block and a second block.

더더더욱 바람직하게는,Even more preferably,

상기 제1 블록은, 뎁스-와이즈 콘볼루션(depth-wise convolution), 배치 정규화(batch normalization) 및 ReLu(rectified linear unit)을 포함하여 구성되고,The first block is configured to include a depth-wise convolution, batch normalization, and a rectified linear unit (ReLu),

상기 제2 블록은, 뎁스-와이즈 atrous 콘볼루션(depth-wise atrous convolution), 배치 정규화(batch normalization) 및 ReLu을 포함하여 구성될 수 있다.The second block may include depth-wise atrous convolution, batch normalization, and ReLu.

바람직하게는, 상기 주간 모델 및 야간 모델은,Preferably, the daytime model and the nighttime model are

yolo 알고리즘 기반으로 학습된 보행자 감지 모델일 수 있다.It may be a pedestrian detection model trained based on the yolo algorithm.

바람직하게는, 상기 적응적 스위처는,Preferably, the adaptive switcher comprises:

터널 및 우천 시를 포함하는 조도가 임계값보다 낮은 환경에 대해서, 상기 주간 모델 또는 야간 모델을 적응적으로 선택하여 최적의 모델로 스위칭 할 수 있다.For an environment in which the illuminance is lower than a threshold value including a tunnel and rain, the daytime model or the nighttime model may be adaptively selected to switch to an optimal model.

본 발명에서 제안하고 있는 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치에 따르면, 적응적 스위처가 입력 영상을 분석하고 자동으로 주간 모델과 야간 모델을 선택함으로써, 입력 영상에 따라 보행자 감지 정확도가 높은 모델로 스위칭 하여 사용할 수 있고, 주야간 판단뿐만 아니라 터널, 우천 시 등과 같이 조도가 낮은 환경을 적응적으로 판단하여 보행자를 가장 잘 감지할 수 있는 모델로 스위칭 해줌으로써, 보행자 감지 성능을 향상시킬 수 있다.According to the adaptive switcher for day and night pedestrian detection in the autonomous vehicle proposed in the present invention and the pedestrian detection device using the same, the adaptive switcher analyzes the input image and automatically selects a day model and a night model, according to the input image. Pedestrian detection performance by switching to a model with high pedestrian detection accuracy can improve

또한, 본 발명에서 제안하고 있는 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치에 따르면, 적응적 스위처를 간단한 CNN 모델로 구성함으로써, 신속하게 주간 환경 또는 야간 환경을 판단하여 전체 보행자 감지 속도에 큰 영향 없이 최적의 모델로 스위칭하는 과정을 처리할 수 있다.In addition, according to the adaptive switcher for day and night pedestrian detection in the autonomous vehicle proposed in the present invention and the pedestrian detection device using the same, by configuring the adaptive switcher as a simple CNN model, the It can handle the process of switching to the optimal model without significantly affecting the pedestrian detection speed.

도 1은 CNN을 이용한 보행자 감지를 예를 들어 도시한 도면.
도 2는 주간과 야간 환경에서의 보행자 감지를 위한 종래기술을 설명한 도면.
도 3은 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처를 설명하기 위해 도시한 도면.
도 4는 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처를 이용한 보행자 감지 장치의 전체 구성을 기능블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처를 이용한 보행자 감지 장치의 전체 구성을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처를 이용한 보행자 감지 장치를 이용한 보행자 감지를 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처를 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치의 성능을 실험하기 위해 사용한 입력 영상을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치의 주간 영상에 대한 성능 실험 결과를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치의 야간 영상에 대한 성능 실험 결과를 도시한 도면.1 is a diagram illustrating an example of pedestrian detection using CNN.
2 is a view for explaining the prior art for pedestrian detection in day and night environments.
3 is a diagram illustrating an adaptive switcher for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention;
4 is a functional block diagram illustrating the overall configuration of a pedestrian detection device using an adaptive switcher for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention.
5 is a diagram illustrating the overall configuration of a pedestrian detection device using an adaptive switcher for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention.
6 is a diagram illustrating pedestrian detection using a pedestrian detection device using an adaptive switcher for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention.
7 is a diagram illustrating an adaptive switcher for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention.
8 is a diagram illustrating an input image used to test the performance of an adaptive switcher for day/night pedestrian detection in an autonomous vehicle and a pedestrian detection device using the same in an autonomous vehicle according to an embodiment of the present invention.
9 is a view showing performance test results for a daytime image of an adaptive switcher for day and night pedestrian detection in an autonomous vehicle and a pedestrian detection device using the same in an autonomous vehicle according to an embodiment of the present invention;
FIG. 10 is a view showing performance test results of an adaptive switcher for day and night pedestrian detection in an autonomous vehicle and a night image of a pedestrian detection device using the same in an autonomous vehicle according to an embodiment of the present invention; FIG.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 3은 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 설명하기 위해 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)는, 주간 학습 데이터 및 야간 학습 데이터를 사용해 주간 환경과 야간 환경을 적응적으로 판단하도록 학습되며, 학습 결과를 이용하여 입력 영상으로부터 판단한 주간 환경 또는 야간 환경에 따라 보행자 감지를 위한 주간 모델 또는 야간 모델을 선택할 수 있다.3 is a diagram illustrating an adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention. As shown in FIG. 3 , the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention adaptively adjusts the daytime environment and the nighttime environment using daytime learning data and nighttime learning data. It is learned to judge, and a daytime model or a nighttime model for pedestrian detection can be selected according to the daytime environment or the nighttime environment determined from the input image using the learning result.

즉, 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)는, 입력 영상이 주간 영상인지 야간 영상인지 인식하여 모델을 스위칭 할 수 있고, 주간 영상이더라도 터널 및 우천 시를 포함하는 조도가 임계값보다 낮은 환경에 대해서, 주간 모델 또는 야간 모델을 적응적으로 선택하여 최적의 모델로 스위칭 할 수 있다. 또한, 해질녘이나 해가 뜰 무렵 등 시간 변화, 터널의 진출입, 갑작스러운 날씨 변화 등, 자율차량이 이동하는 중의 환경 변화에도 신속하게 모델을 스위칭 할 수 있어, 보행자 감지 성능을 극대화할 수 있다.That is, the adaptive switcher 100 for day and night pedestrian detection in the autonomous vehicle according to an embodiment of the present invention can switch the model by recognizing whether the input image is a daytime image or a nighttime image, and even if it is a daytime image, tunnel and rainy weather For an environment in which the illuminance including time is lower than the threshold, it is possible to adaptively select a daytime model or a nighttime model to switch to an optimal model. In addition, the model can be switched quickly even when the environment changes while the autonomous vehicle is moving, such as time changes such as sunset or sunrise, tunnel entry and exit, and sudden weather changes, thereby maximizing pedestrian detection performance.

한편, 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)는, 복수의 레이어를 포함하는 멀티 레이어 인공신경망 모델로 구성될 수 있으며, 보다 구체적으로는 6개의 레이어로 구성될 수 있다. 또한, 적응적 스위처(100)는, CNN(Convolutional Neural Networks) 모델로 구성될 수 있는데, 간단한 CNN 모델로 적응적 스위처(100)를 구성함으로써, 입력 영상이 주간 영상인지 야간 영상인지 신속하게 인식하여 모델을 스위칭 할 수 있다. 적응적 스위처(100)의 세부적인 구성에 대해서는 추후 도 7을 참조하여 상세히 설명하도록 한다.Meanwhile, the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention may be configured as a multi-layer artificial neural network model including a plurality of layers, and more specifically, six layers. can be composed of In addition, the adaptive switcher 100 may be composed of a CNN (Convolutional Neural Networks) model. By configuring the adaptive switcher 100 with a simple CNN model, it is possible to quickly recognize whether the input image is a daytime image or a nighttime image. You can switch models. A detailed configuration of the adaptive switcher 100 will be described in detail later with reference to FIG. 7 .

도 4는 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10)의 전체 구성을 기능블록으로 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10)의 전체 구성을 설명하기 위해 도시한 도면이다. 도 4 및 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10)는, 적응적 스위처(100) 및 보행자 감지기(200)를 포함하여 구성될 수 있으며, 보행자 감지기(200)는 주간 모델(210) 및 야간 모델(220)을 포함하여 구성될 수 있다.4 is a functional block diagram illustrating the overall configuration of a pedestrian detection device 10 using an adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention, and FIG. 5 is a view showing the present invention A diagram illustrating the overall configuration of the pedestrian detection device 10 using the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention. 4 and 5, the pedestrian detection apparatus 10 using the adaptive switcher 100 for day and night pedestrian detection in the autonomous vehicle according to an embodiment of the present invention includes the adaptive switcher 100 and It may be configured to include a pedestrian detector 200 , and the pedestrian detector 200 may be configured to include a daytime model 210 and a nighttime model 220 .

적응적 스위처(100)는, 입력 영상을 분석하여 주간 모델(210) 및 야간 모델(220) 중 어느 하나를 선택할 수 있다. 이때, 적응적 스위처(100)는, 주간 학습 데이터 및 야간 학습 데이터를 사용해, 주간 환경과 야간 환경을 적응적으로 판단하도록 학습되는 것일 수 있다. 따라서, 학습된 적응적 스위처(100)는, 입력 영상이 주간 영상인지 야간 영상인지를 식별하고, 식별 결과에 따라 모델 스위칭을 할 수 있다.The adaptive switcher 100 may select any one of the daytime model 210 and the nighttime model 220 by analyzing the input image. In this case, the adaptive switcher 100 may be learned to adaptively determine a daytime environment and a nighttime environment using the daytime learning data and the nighttime learning data. Accordingly, the learned adaptive switcher 100 may identify whether the input image is a daytime image or a nighttime image, and may perform model switching according to the identification result.

보행자 감지기(200)는, 주간 학습 데이터를 사용해 학습된 주간 모델(210) 및 야간 학습 데이터를 사용해 학습된 야간 모델(220)을 포함할 수 있고, 적응적 스위처(100)의 선택에 따라 주간 모델(210) 또는 야간 모델(220)을 이용해 보행자를 감지할 수 있다. 보다 구체적으로, 보행자 감지기(200)는, 적응적 스위처(100)에서 입력 영상을 분석해 주간 환경으로 판단되면 주간 모델(210)을, 야간 환경으로 판단되면 야간 모델(220)을 각각 이용해 보행자를 감지할 수 있다. 이때, 야간 환경은, 주간 환경이더라도 터널이나 우천 시와 같이 야간 모델(220)을 사용하는 것이 더 적합한 환경을 포함할 수 있다.The pedestrian detector 200 may include a daytime model 210 trained using the daytime learning data and a nighttime model 220 trained using the nighttime learning data, and according to the selection of the adaptive switcher 100 , the daytime model A pedestrian may be detected using the 210 or the night model 220 . More specifically, the pedestrian detector 200 analyzes the input image from the adaptive switcher 100 and detects a pedestrian using the daytime model 210 when it is determined as the daytime environment and the nighttime model 220 when it is determined as the nighttime environment, respectively. can do. In this case, the night environment may include an environment in which it is more suitable to use the night model 220 , such as a tunnel or rainy weather, even in a daytime environment.

한편, 도 5에 도시된 바와 같이, 주간 모델(210) 및 야간 모델(220)은, yolo 알고리즘 기반으로 학습된 보행자 감지 모델일 수 있다. 보다 구체적으로, yolo v3을 주간 환경 및 야간 환경에서 촬영된 영상으로 구성된 주간 학습 데이터 및 야간 학습 데이터를 각각 이용해 보행자를 감지하도록 학습된 주간 모델(210) 및 야간 모델(220)을 구성할 수 있다.Meanwhile, as shown in FIG. 5 , the daytime model 210 and the nighttime model 220 may be a pedestrian detection model learned based on the yolo algorithm. More specifically, the daytime model 210 and the nighttime model 220 can be configured to detect pedestrians using yolo v3, respectively, using daytime learning data and nighttime learning data composed of images captured in a daytime environment and a nighttime environment. .

도 6은 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10)를 이용한 보행자 감지를 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10)를 이용하면, 입력 영상이 입력된 적응적 스위처(100)가 입력 영상이 주간 환경인지 야간 환경인지를 판단하고, 보행자 감지기(200)는 적응적 스위처(100)의 판단 결과에 따라 주간 환경이면 주간 모델(210)에 입력 영상을 입력해 보행자를 감지하고, 야간 환경이면 야간 모델(220)에 입력 영상을 입력해 보행자를 감지할 수 있다. 따라서, 주간 모델(210)과 야간 모델(220)을 모두 운영할 필요가 없고, 적응적 스위처(100)가 인식된 환경에 따라 최적의 모델로 신속하게 스위칭 하여 경로를 정해주기 때문에, 효율성과 보행자 감지 정확도를 모두 향상시킬 수 있다.6 is a diagram illustrating pedestrian detection using the pedestrian detection device 10 using the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention. As shown in FIG. 6 , when the pedestrian detection device 10 using the adaptive switcher 100 for day and night pedestrian detection in the autonomous vehicle according to an embodiment of the present invention is used, the adaptive switcher to which an input image is input. (100) determines whether the input image is a daytime environment or a nighttime environment, and the pedestrian detector 200 inputs the input image to the daytime model 210 if it is a daytime environment according to the determination result of the adaptive switcher 100 to detect a pedestrian , and if it is a night environment, an input image may be input to the night model 220 to detect a pedestrian. Therefore, there is no need to operate both the daytime model 210 and the nighttime model 220, and since the adaptive switcher 100 quickly switches to an optimal model according to the recognized environment to determine a route, efficiency and pedestrian Both the detection accuracy can be improved.

도 7은 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100)는, 주간과 야간으로 분류된 학습 데이터를 학습하여, 입력 영상이 주간 영상인지 야간 영상인지를 식별할 수 있다.7 is a diagram illustrating an adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention. As shown in FIG. 7 , the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention learns learning data classified into day and night to determine whether the input image is a day image. Whether it is a night image can be identified.

도 7에 도시된 바와 같이, 적응적 스위처(100)는, max pooling layer, atrous depth-wise separable convolution layer, convolution layer, 및 fully connected layer를 포함할 수 있다. 이때, 여러 개의 max pooling layer와 atrous depth-wise separable convolution layer는 해상도가 큰 영상(이미지)에 대해 최소한의 파라미터로 최적의 성능을 내기 위해 사용될 수 있다. 도 7에서 주간은 class 0, 야간은 class 1로 레이블 된 학습 데이터가 사용될 수 있다.As shown in FIG. 7 , the adaptive switcher 100 may include a max pooling layer, an atrous depth-wise separable convolution layer, a convolution layer, and a fully connected layer. In this case, several max pooling layers and an atrous depth-wise separable convolution layer can be used to achieve optimal performance with minimum parameters for a high-resolution image (image). In FIG. 7 , learning data labeled as class 0 during the day and class 1 at night may be used.

여기서, 적응적 스위처(100)의 각 레이어는, 제1 블록 및 제2 블록으로 구성될 수 있다. 또한, 제1 블록은, 뎁스-와이즈 콘볼루션(depth-wise convolution), 배치 정규화(batch normalization) 및 ReLu(rectified linear unit)을 포함하여 구성되고, 제2 블록은, 뎁스-와이즈 atrous 콘볼루션(depth-wise atrous convolution), 배치 정규화(batch normalization) 및 ReLu을 포함하여 구성될 수 있다. 레이어 구성은, '(제1 블록)->(제1 블록)->(3개의 제2 블록)->(제1 블록을 사용한 3개의 블록들의 연결)->(제1 블록)->(글로벌 풀링(global pooling))'으로 구성될 수 있다.Here, each layer of the adaptive switcher 100 may be composed of a first block and a second block. In addition, the first block is configured to include a depth-wise convolution, batch normalization, and a rectified linear unit (ReLu), and the second block is a depth-wise atrous convolution ( It can be configured including depth-wise atrous convolution), batch normalization, and ReLu. The layer configuration is '(first block)->(first block)->(3 second blocks)->(connection of three blocks using the first block)->(first block)->( global pooling).

실험Experiment

본 발명의 일실시예에 따른 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)의 성능을 확인하기 위해, CCD 대시 캠(dash cam)을 차량에 설치하여 야간 및 주간 학습 데이터를 수집하였다. 이때, 사용한 대시 캠은 해상도(Resolution) FHD(1920×1080)@30fps, 센서 3.1 Mega-pixels CMOS, 조리개(Aperture) F2.0, FOV 135° wide angle의 사양을 가진다.In order to check the performance of the adaptive switcher 100 for day and night pedestrian detection in the autonomous vehicle according to an embodiment of the present invention and the pedestrian detection device 10 using the same, a CCD dash cam is installed in the vehicle. Night and day learning data were collected. At this time, the dash cam used has the specifications of Resolution FHD (1920×1080)@30fps, sensor 3.1 Mega-pixels CMOS, Aperture F2.0, FOV 135° wide angle.

도 8은 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)의 성능을 실험하기 위해 사용한 입력 영상을 도시한 도면이다. 도 8에 도시된 바와 같이, 대시 캠을 이용해 수집된 주간 데이터 3개, 야간 데이터 3개를 이용해 실험을 수행하였다. 측정 메트릭으로는 일반적으로 사용하는 정밀도(precision) 및 재현율(recall)을 사용하였다.8 is a diagram illustrating an input image used to test the performance of the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle and the pedestrian detection device 10 using the same in an autonomous vehicle according to an embodiment of the present invention. As shown in FIG. 8 , an experiment was performed using three daytime data and three nighttime data collected using a dash cam. As measurement metrics, commonly used precision and recall were used.

도 9는 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)의 주간 영상에 대한 성능 실험 결과를 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)는, 주간 환경의 영상에 대해서 true precision이 지배적이었으며, 전체적으로 85%의 정밀도, 77%의 재현율을 가진다.9 is a diagram illustrating performance test results for the daytime image of the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle and the pedestrian detection device 10 using the same in an autonomous vehicle according to an embodiment of the present invention. As shown in FIG. 9 , the adaptive switcher 100 for day and night pedestrian detection in the autonomous vehicle according to an embodiment of the present invention and the pedestrian detection device 10 using the same have true precision for images of the daytime environment. It was dominant, with an overall accuracy of 85% and a recall rate of 77%.

도 10은 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)의 야간 영상에 대한 성능 실험 결과를 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)는, 야간 환경 영상에 대해서도 true precision이 대부분이었다. 다만, #5 영상에 대해서는 보행자 감지가 다소 어려웠음을 알 수 있다. 전체적으로 정밀도는 80%, 재현율은 76%이었다.FIG. 10 is a diagram illustrating performance test results for nighttime images of the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle and the pedestrian detection device 10 using the same in an autonomous vehicle according to an embodiment of the present invention. As shown in FIG. 10 , the adaptive switcher 100 for day and night pedestrian detection in the autonomous vehicle according to an embodiment of the present invention and the pedestrian detection device 10 using the same have true precision for night environment images. It was. However, it can be seen that the #5 image was somewhat difficult to detect pedestrians. Overall, the precision was 80% and the recall was 76%.

실험을 통해 본 발명의 일실시예에 따른 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)는, 주간 및 야간 모두에 대해 높은 정확도를 가지는, 통합된 하나의 프레임워크를 제공할 수 있다.Through experiments, the adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle according to an embodiment of the present invention and the pedestrian detection device 10 using the same are integrated one with high accuracy for both day and night. framework can be provided.

전술한 바와 같이, 본 발명에서 제안하고 있는 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)에 따르면, 적응적 스위처(100)가 입력 영상을 분석하고 자동으로 주간 모델(210)과 야간 모델(220)을 선택함으로써, 입력 영상에 따라 보행자 감지 정확도가 높은 모델로 스위칭 하여 사용할 수 있고, 주야간 판단뿐만 아니라 터널, 우천 시 등과 같이 조도가 낮은 환경을 적응적으로 판단하여 보행자를 가장 잘 감지할 수 있는 모델로 스위칭 해줌으로써, 보행자 감지 성능을 향상시킬 수 있다.As described above, according to the adaptive switcher 100 for day and night pedestrian detection in the autonomous vehicle proposed by the present invention and the pedestrian detection device 10 using the same, the adaptive switcher 100 analyzes the input image and automatically By selecting the day model 210 and the night model 220 as By judging by this and switching to the model that can detect pedestrians best, the pedestrian detection performance can be improved.

또한, 본 발명에서 제안하고 있는 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100) 및 이를 이용한 보행자 감지 장치(10)에 따르면, 적응적 스위처(100)를 간단한 CNN 모델로 구성함으로써, 신속하게 주간 환경 또는 야간 환경을 판단하여 전체 보행자 감지 속도에 큰 영향 없이 최적의 모델로 스위칭하는 과정을 처리할 수 있다.In addition, according to the adaptive switcher 100 for day and night pedestrian detection in the autonomous vehicle proposed by the present invention and the pedestrian detection device 10 using the same, by configuring the adaptive switcher 100 as a simple CNN model, the By judging the daytime environment or the nighttime environment, it can handle the process of switching to the optimal model without significantly affecting the overall pedestrian detection speed.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

10: 보행자 감지 장치
100: 적응적 스위처
200: 보행자 감지기
210: 주간 모델
220: 야간 모델10: pedestrian detection device
100: adaptive switcher
200: pedestrian sensor
210: Weekly model
220: night model

Claims (20)

자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)(switcher)로서,
주간 학습 데이터 및 야간 학습 데이터를 사용해 주간 환경과 야간 환경을 적응적으로 판단하도록 학습되며, 학습 결과를 이용하여 입력 영상으로부터 판단한 주간 환경 또는 야간 환경에 따라 보행자 감지를 위한 주간 모델(210) 또는 야간 모델(220)을 선택하는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
As an adaptive switcher 100 (switcher) for day and night pedestrian detection in an autonomous vehicle,
It is learned to adaptively determine the daytime environment and the nighttime environment using the daytime learning data and the nighttime learning data, and the daytime model 210 for pedestrian detection or the nighttime environment according to the daytime environment or the nighttime environment determined from the input image using the learning result. Adaptive switcher (100) for day and night pedestrian detection in an autonomous vehicle, characterized in that selecting a model (220).
 제1항에 있어서, 상기 적응적 스위처(100)는,
복수의 레이어를 포함하는 멀티 레이어 인공신경망 모델로 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
According to claim 1, wherein the adaptive switcher (100),
An adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle, characterized in that it is composed of a multi-layer artificial neural network model including a plurality of layers.
 제2항에 있어서, 상기 적응적 스위처(100)는,
6개의 레이어로 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
According to claim 2, wherein the adaptive switcher (100),
An adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle, characterized in that it consists of six layers.
 제2항에 있어서, 상기 적응적 스위처(100)는,
CNN(Convolutional Neural Networks) 모델로 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
According to claim 2, wherein the adaptive switcher (100),
An adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle, characterized in that it consists of a CNN (Convolutional Neural Networks) model.
 제4항에 있어서, 상기 적응적 스위처(100)는,
max pooling layer, atrous depth-wise separable convolution layer, convolution layer, 및 fully connected layer를 포함하는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
According to claim 4, wherein the adaptive switcher (100),
An adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle, characterized in that it comprises a max pooling layer, an atrous depth-wise separable convolution layer, a convolution layer, and a fully connected layer.
 제3항에 있어서, 상기 적응적 스위처(100)의 각 레이어는,
제1 블록 및 제2 블록으로 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
The method of claim 3, wherein each layer of the adaptive switcher (100) comprises:
An adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle, characterized in that it consists of a first block and a second block.
 제6항에 있어서,
상기 제1 블록은, 뎁스-와이즈 콘볼루션(depth-wise convolution), 배치 정규화(batch normalization) 및 ReLu(rectified linear unit)을 포함하여 구성되고,
상기 제2 블록은, 뎁스-와이즈 atrous 콘볼루션(depth-wise atrous convolution), 배치 정규화(batch normalization) 및 ReLu을 포함하여 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
7. The method of claim 6,
The first block is configured to include a depth-wise convolution, batch normalization, and a rectified linear unit (ReLu),
The second block is an adaptive switcher for day and night pedestrian detection in an autonomous vehicle, characterized in that it includes depth-wise atrous convolution, batch normalization, and ReLu ( 100).
 제1항에 있어서, 상기 주간 모델(210) 및 야간 모델(220)은,
yolo 알고리즘 기반으로 학습된 보행자 감지 모델인 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
According to claim 1, wherein the daytime model (210) and the nighttime model (220),
An adaptive switcher 100 for day and night pedestrian detection in an autonomous vehicle, characterized in that it is a pedestrian detection model trained based on the yolo algorithm.
 제1항에 있어서, 상기 적응적 스위처(100)는,
터널 및 우천 시를 포함하는 조도가 임계값보다 낮은 환경에 대해서, 상기 주간 모델(210) 또는 야간 모델(220)을 적응적으로 선택하여 최적의 모델로 스위칭 하는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100).
According to claim 1, wherein the adaptive switcher (100),
For an environment in which the illuminance is lower than the threshold value, including tunnels and rain, the day/night model 210 or the night model 220 is adaptively selected and switched to an optimal model. Adaptive switcher 100 for pedestrian detection.
 보행자 감지 장치(10)로서,
주간 학습 데이터를 사용해 학습된 주간 모델(210) 및 야간 학습 데이터를 사용해 학습된 야간 모델(220)을 포함하는 보행자 감지기(200)(detector); 및
입력 영상을 분석하여 상기 주간 모델(210) 및 야간 모델(220) 중 어느 하나를 선택하는 적응적 스위처(100)(switcher)를 포함하며,
상기 보행자 감지기(200)는,
상기 적응적 스위처(100)의 선택에 따라 상기 주간 모델(210) 또는 야간 모델(220)을 이용해 보행자를 감지하는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
A pedestrian detection device (10), comprising:
a pedestrian detector 200 (detector) including a daytime model 210 trained using daytime training data and a nighttime model 220 trained using nighttime training data; and
and an adaptive switcher 100 (switcher) that analyzes the input image and selects any one of the daytime model 210 and the nighttime model 220,
The pedestrian detector 200,
Using the adaptive switcher 100 for day/night pedestrian detection in an autonomous vehicle, characterized in that the pedestrian is detected using the daytime model 210 or the nighttime model 220 according to the selection of the adaptive switcher 100 Pedestrian detection device (10).
 제10항에 있어서, 상기 적응적 스위처(100)는,
주간 학습 데이터 및 야간 학습 데이터를 사용해, 주간 환경과 야간 환경을 적응적으로 판단하도록 학습되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
11. The method of claim 10, wherein the adaptive switcher (100),
Pedestrian detection device (10) using an adaptive switcher (100) for day and night pedestrian detection in an autonomous vehicle, characterized in that it is learned to adaptively determine a daytime environment and a nighttime environment using daytime learning data and nighttime learning data .
 제11항에 있어서, 상기 보행자 감지기(200)는,
적응적 스위처(100)에서 입력 영상을 분석해 주간 환경으로 판단되면 상기 주간 모델(210)을, 야간 환경으로 판단되면 상기 야간 모델(220)을 각각 이용해 보행자를 감지하는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
According to claim 11, The pedestrian detector 200,
In an autonomous vehicle, characterized in that the adaptive switcher 100 analyzes the input image and detects a pedestrian using the daytime model 210 when it is determined as a daytime environment and the nighttime model 220 when it is determined as a nighttime environment. A pedestrian detection device (10) using an adaptive switcher (100) for day and night pedestrian detection.
 제10항에 있어서, 상기 적응적 스위처(100)는,
복수의 레이어를 포함하는 멀티 레이어 인공신경망 모델로 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
11. The method of claim 10, wherein the adaptive switcher (100),
A pedestrian detection device (10) using an adaptive switcher (100) for day and night pedestrian detection in an autonomous vehicle, characterized in that it consists of a multi-layer artificial neural network model including a plurality of layers.
 제13항에 있어서, 상기 적응적 스위처(100)는,
6개의 레이어로 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
The method of claim 13, wherein the adaptive switcher (100),
A pedestrian detection device (10) using an adaptive switcher (100) for day and night pedestrian detection in an autonomous vehicle, characterized in that it consists of six layers.
 제13항에 있어서, 상기 적응적 스위처(100)는,
CNN(Convolutional Neural Networks) 모델로 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
The method of claim 13, wherein the adaptive switcher (100),
A pedestrian detection device (10) using an adaptive switcher (100) for day and night pedestrian detection in an autonomous vehicle, characterized in that it consists of a CNN (Convolutional Neural Networks) model.
 제15항에 있어서, 상기 적응적 스위처(100)는,
max pooling layer, atrous depth-wise separable convolution layer, convolution layer, 및 fully connected layer를 포함하는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
The method of claim 15, wherein the adaptive switcher (100),
A pedestrian detection device (10) using an adaptive switcher (100) for day and night pedestrian detection in an autonomous vehicle, characterized in that it includes a max pooling layer, an atrous depth-wise separable convolution layer, a convolution layer, and a fully connected layer.
 제14항에 있어서, 상기 적응적 스위처(100)의 각 레이어는,
제1 블록 및 제2 블록으로 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
15. The method of claim 14, wherein each layer of the adaptive switcher (100),
A pedestrian detection device (10) using an adaptive switcher (100) for day and night pedestrian detection in an autonomous vehicle, characterized in that it consists of a first block and a second block.
 제17항에 있어서,
상기 제1 블록은, 뎁스-와이즈 콘볼루션(depth-wise convolution), 배치 정규화(batch normalization) 및 ReLu(rectified linear unit)을 포함하여 구성되고,
상기 제2 블록은, 뎁스-와이즈 atrous 콘볼루션(depth-wise atrous convolution), 배치 정규화(batch normalization) 및 ReLu을 포함하여 구성되는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
18. The method of claim 17,
The first block is configured to include a depth-wise convolution, batch normalization, and a rectified linear unit (ReLu),
The second block is an adaptive switcher for day and night pedestrian detection in an autonomous vehicle, characterized in that it includes depth-wise atrous convolution, batch normalization, and ReLu ( 100) using a pedestrian detection device (10).
 제10항에 있어서, 상기 주간 모델(210) 및 야간 모델(220)은,
yolo 알고리즘 기반으로 학습된 보행자 감지 모델인 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).
The method of claim 10, wherein the daytime model (210) and the nighttime model (220),
A pedestrian detection device (10) using an adaptive switcher (100) for day and night pedestrian detection in an autonomous vehicle, characterized in that it is a pedestrian detection model learned based on the yolo algorithm.
 제10항에 있어서, 상기 적응적 스위처(100)는,
터널 및 우천 시를 포함하는 조도가 임계값보다 낮은 환경에 대해서, 상기 주간 모델(210) 또는 야간 모델(220)을 적응적으로 선택하여 최적의 모델로 스위칭 하는 것을 특징으로 하는, 자율자동차에서 주야간 보행자 감지를 위한 적응적 스위처(100)를 이용한 보행자 감지 장치(10).11. The method of claim 10, wherein the adaptive switcher (100),
For an environment in which the illuminance is lower than the threshold value, including tunnels and rain, the day/night model 210 or the night model 220 is adaptively selected and switched to an optimal model. A pedestrian detection device (10) using an adaptive switcher (100) for pedestrian detection.
KR1020200051107A 2020-04-27 2020-04-27 Adaptive switcher for day and night pedestrian detection in autonomous vehicle and pedestrian detection apparatus using thereof Active KR102339011B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200051107A KR102339011B1 (en) 2020-04-27 2020-04-27 Adaptive switcher for day and night pedestrian detection in autonomous vehicle and pedestrian detection apparatus using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200051107A KR102339011B1 (en) 2020-04-27 2020-04-27 Adaptive switcher for day and night pedestrian detection in autonomous vehicle and pedestrian detection apparatus using thereof

Publications (2)

Publication Number Publication Date
KR20210132552A true KR20210132552A (en) 2021-11-04
KR102339011B1 KR102339011B1 (en) 2021-12-14

Family

ID=78521848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200051107A Active KR102339011B1 (en) 2020-04-27 2020-04-27 Adaptive switcher for day and night pedestrian detection in autonomous vehicle and pedestrian detection apparatus using thereof

Country Status (1)

Country Link
KR (1) KR102339011B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114430461A (en) * 2022-04-01 2022-05-03 深圳市一心视觉科技有限公司 Method, device, terminal and storage medium for realizing soft photosensitivity based on deep learning

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240015792A (en) * 2022-07-27 2024-02-06 재단법인 지능형자동차부품진흥원 Scenario labeling system and method using sensor data measurement of autonomous vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101771146B1 (en) * 2017-03-22 2017-08-24 광운대학교 산학협력단 Method and apparatus for detecting pedestrian and vehicle based on convolutional neural network using stereo camera
JP2018041209A (en) * 2016-09-06 2018-03-15 本田技研工業株式会社 Object recognition device, model information generation device, object recognition method, and object recognition program
KR20190087265A (en) * 2018-01-16 2019-07-24 한국과학기술원 A method and apparatus of image processing using line unit operation
KR20200018283A (en) * 2018-08-10 2020-02-19 네이버 주식회사 Method for training a convolutional recurrent neural network and for semantic segmentation of inputted video using the trained convolutional recurrent neural network
JP2020064583A (en) * 2018-10-17 2020-04-23 財団法人車輌研究測試中心 Vehicle detection method, night-time vehicle detection method and system based on dynamic light intensity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041209A (en) * 2016-09-06 2018-03-15 本田技研工業株式会社 Object recognition device, model information generation device, object recognition method, and object recognition program
KR101771146B1 (en) * 2017-03-22 2017-08-24 광운대학교 산학협력단 Method and apparatus for detecting pedestrian and vehicle based on convolutional neural network using stereo camera
KR20190087265A (en) * 2018-01-16 2019-07-24 한국과학기술원 A method and apparatus of image processing using line unit operation
KR20200018283A (en) * 2018-08-10 2020-02-19 네이버 주식회사 Method for training a convolutional recurrent neural network and for semantic segmentation of inputted video using the trained convolutional recurrent neural network
JP2020064583A (en) * 2018-10-17 2020-04-23 財団法人車輌研究測試中心 Vehicle detection method, night-time vehicle detection method and system based on dynamic light intensity

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114430461A (en) * 2022-04-01 2022-05-03 深圳市一心视觉科技有限公司 Method, device, terminal and storage medium for realizing soft photosensitivity based on deep learning
CN114430461B (en) * 2022-04-01 2022-07-19 深圳市一心视觉科技有限公司 Method, device, terminal and storage medium for realizing soft photosensitivity based on deep learning

Also Published As

Publication number Publication date
KR102339011B1 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
US10089540B2 (en) Vehicle vision system with dirt detection
US8995723B2 (en) Detecting and recognizing traffic signs
KR101630154B1 (en) Image detecting system and method for underbody of vehicle
CN107808392B (en) Automatic tracking and positioning method and system for security check vehicle in open scene
CN104050620B (en) Body detection device
EP1962226B1 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
US9787949B2 (en) Apparatus to recognize illumination environment of vehicle and control method thereof
IT201900012813A1 (en) SWITCHABLE DISPLAY DURING PARKING MANEUVERS
KR102339011B1 (en) Adaptive switcher for day and night pedestrian detection in autonomous vehicle and pedestrian detection apparatus using thereof
CN106915295B (en) The control method and device of automobile front lamp state
JP2014531641A (en) Method and camera assembly for detecting raindrops on a vehicle windshield
JP2020500391A (en) Method and system for detecting raised objects present in a parking lot
JP2014024354A (en) Wiper control device
JP2006298362A (en) Method for early detection of arrival at dark area
JP5898535B2 (en) Exposure control device for imaging unit
JP2003046843A (en) Imaging device and human body detection system in vehicle
KR20110063212A (en) How to detect climate condition of vehicle using front camera
KR101087741B1 (en) Headlight Control Device and Method
CN105745670B (en) System and method for forming nighttime images for a motor vehicle
US20250106362A1 (en) Vehicular vision system with object tracking
Chiu et al. An embedded real-time vision system for 24-hour indoor/outdoor car-counting applications
KR102416117B1 (en) Vehicle and method of controlling the same
KR101299104B1 (en) Pedestrian detecting apparatus and the method of the same
US8391558B2 (en) Method for the adaptive determination of a threshold value for the identification of vehicle lights using a camera system
JP2006012013A (en) Moving object tracking device

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5