CN112270226A - 一种基于多特征提取和多注意力机制的行人轨迹预测方法 - Google Patents

一种基于多特征提取和多注意力机制的行人轨迹预测方法 Download PDF

Info

Publication number
CN112270226A
CN112270226A CN202011108167.1A CN202011108167A CN112270226A CN 112270226 A CN112270226 A CN 112270226A CN 202011108167 A CN202011108167 A CN 202011108167A CN 112270226 A CN112270226 A CN 112270226A
Authority
CN
China
Prior art keywords
pedestrian
dynamic
static
attention
trajectory prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011108167.1A
Other languages
English (en)
Other versions
CN112270226B (zh
Inventor
姜明新
曹苏群
凯·苏嘉莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongzhuan Intellectual Property Co ltd
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202011108167.1A priority Critical patent/CN112270226B/zh
Publication of CN112270226A publication Critical patent/CN112270226A/zh
Application granted granted Critical
Publication of CN112270226B publication Critical patent/CN112270226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于多特征提取和多注意力机制的行人轨迹预测方法，首先，提取静态环境特征和动态环境特征，所述动态环境特征包括其他行人对目标的影响及非行人因素对目标的影响；其次，构建静态环境特征注意力模块和动态坏境特征注意力模块；最后，将注意力模块的输出送入长短时记忆网络实现行人轨迹预测。本发明相对于传统的行人轨迹预测方法有较高的精度，同时提高了轨迹预测的速度，在一定程度上改进了行人轨迹预测的性能。

Description

一种基于多特征提取和多注意力机制的行人轨迹预测方法
技术领域
本发明涉及一种行人轨迹预测方法，具体为一种基于多特征提取和多注意力机制的行人轨迹预测方法。
背景技术
行人轨迹预测已经成为了计算机视觉领域的热点研究课题之一，被广泛应用到智能视频目标跟踪、无人驾驶、机器人导航、人群行为分析等各种领域。国内外的研究人员已经取得了一些研究成果，对该领域的发展起到了十分重要的推动作用。但是，由于人类行为的复杂性，影响行人轨迹变化的因素较多，导致现有方法仍然存在一定程度的局限性，使得行人轨迹预测依旧是一个具有挑战性的研究课题。
近年来，行人轨迹预测方法取得了很大的进步，一些研究人员将深度学习网络应用到行人轨迹预测的过程当中，并且从多种角度来考虑影响行人运动的因素，克服早期方法中仅考虑某一方面影响因素的弱点。在一定程度上提高了行人轨迹预测的性能，但还存在一定的局限性，考虑的因素还可以更加全面。
为了克服现有方法存在的问题，提出一种基于多特征提取和多注意力机制的行人轨迹预测方法，在提取行人所在场景环境的静态深度特征的同时，也从目标周围的行人轨迹和非行人轨迹中提取动态深度特征，并且对静态深度特征和动态深度特征分配不同的注意力权重，最后，将注意力模块的输出送入LSTM网络中实现行人轨迹预测。
发明内容
发明目的：本发明提出一种基于多特征提取和多注意力机制的行人轨迹预测方法，具有较高的精度，同时提高了轨迹预测的速度，在一定程度上改进了行人轨迹预测的性能。
技术方案：本发明所述的一种基于多特征提取和多注意力机制的行人轨迹预测方法，包括以下步骤：
(1)提取静态环境特征和动态环境特征，所述动态环境特征包括其他行人对目标的影响及非行人因素对目标的影响；
(2)构建静态环境特征注意力模块和动态坏境特征注意力模块；
(3)将注意力模块的输出送入长短时记忆网络实现行人轨迹预测。
进一步地，步骤(1)所述的静态特征提取实现过程如下：
利用现有方法获得t时刻场景图像It的语义图It,semantic；采用CNN网络提取It,semantic的深度特征Ft,static：
Ft,static＝CNN(It,semantic；WCNN) (1)
其中，WCNN是权重矩阵。
进一步地，步骤(1)所述的动态特征提取实现过程如下：
采用LSTM网络从场景中出现的所有行人的历史轨迹中提取动态环境特征
Figure BDA0002727681920000027
Figure BDA0002727681920000021
t时刻第i个行人他周围的行人动态环境特征可以定义为：
Figure BDA0002727681920000022
将观测的时间间隔[1:Tobs]中所有的场景中存在的非行人目标的轨迹进行池化，得到一个池化向量Pt i，送入到多层感知层MLP提取非行人目标的动态特征：
Figure BDA0002727681920000023
其中，WMLP为多层感知层的权重矩阵。
进一步地，所述步骤(2)实现过程如下：
静态环境特征注意力模块的输入为Ft,static，输出为注意力向量
Figure BDA0002727681920000028
Figure BDA0002727681920000024
Wt,static是静态环境特征注意力模块的权重矩阵：
Figure BDA0002727681920000025
动态环境特征注意力向量为：
Figure BDA0002727681920000026
Wt,dynamic表示动态环境特征注意力模块的权重矩阵，定义为：
Wdynamic＝δ(γ(cos(Ψ))) (7)
其中，δ(·)是sigmoid激活函数,γ(·)是1×1卷积,cos(Ψ)表示其他行人或者非行人轨迹间的方位角.假设场景中行人和非行人的数量为M，
Figure BDA0002727681920000031
表示第i个行人与第j个除他以外的动态轨迹之间的方位角,则cos(Ψ)为：
Figure BDA0002727681920000032
进一步地，所述步骤(3)实现过程如下：
给定t-1时刻LSTM网络的隐藏状态
Figure BDA0002727681920000033
记忆单元
Figure BDA0002727681920000034
可以通过LSTM网络计算
Figure BDA0002727681920000035
Figure BDA0002727681920000036
Figure BDA0002727681920000037
将注意力模块的输出，送入到LSTM网络，得到预测的轨迹为：
Figure BDA0002727681920000038
Figure BDA0002727681920000039
其中，
Figure BDA00027276819200000310
为目标i在t时刻的位置,
Figure BDA00027276819200000311
为预测位置，W表示LSTM网络的权重矩阵,
Figure BDA00027276819200000312
表示LSTM网络输出层
Figure BDA00027276819200000313
和隐藏状态
Figure BDA00027276819200000314
之间的权重矩阵，bo是LSTM网络输出层的偏置项。
有益效果：与现有技术相比，本发明的有益效果：本发明相对于传统的行人轨迹预测方法有较高的精度，同时提高了轨迹预测的速度，在一定程度上改进了行人轨迹预测的性能。
附图说明
图1为本发明的流程图；
图2为静态环境特征提取示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
假设场景中有N个行人，
Figure BDA0002727681920000041
表示N个行人的轨迹，其中
Figure BDA0002727681920000042
表示第i个行人在t时刻的位置，
Figure BDA0002727681920000043
表示预测的N个行人未来的轨迹。行人轨迹预测问题是给定所有行人在观测的时间间隔[1:Tobs]内的轨迹，来预测他们在未来一段时间[Tobs+1,Tpred]内的轨迹。
本发明提供的一种基于多特征提取和多注意力机制的行人轨迹预测，包含三个主要部分：多特征提取模块，多注意力机制模块和LSTM网络。多特征提取模块提取三种特征：从行人所在的场景中提取静态环境特征，从行人的历史运动轨迹中提取动态环境特征，同时，提取当前时刻的特征。与之相应的设计三种注意力机制模块：静态环境特征注意力模块、动态坏境特征注意力模块和不同时刻特征的注意力模块。如图1所示，具体包括以下步骤：
步骤1：提取静态环境特征和动态环境特征，其中，动态环境特征不仅考虑了其他行人对目标的影响，还考虑了非行人因素对目标的影响。
行人的运动轨迹会被场景中的静态特征(道路、建筑物、人行横道、出入口、草地等等)所影响，本文定义的语义标签C＝{road,building,grass,bench,sidewalk,obstacle,car,crossroads}。提取静态环境特征的过程如图2所示：
首先，利用现有方法获得t时刻场景图像It的语义图It,semantic。然后，采用CNN(Convolutional Neural Network)网络提取It,semantic的深度特征Ft,static：
Ft,static＝CNN(It,semantic；WCNN) (1)
式中，WCNN是权重矩阵。
除了静态环境以外，动态环境对行人的运动轨迹同样会产生影响。本文所述的动态环境主要考虑两部分：行人之间的相互影响和场景中存在的其他动态因素对行人的影响。采用LSTM网络从场景中出现的所有行人的历史轨迹中提取动态环境特征
Figure BDA0002727681920000045
行人之间的动态环境特征可以反映这些行人的运动规律，对于未来轨迹的预测可以起到重要的作用。
Figure BDA0002727681920000044
t时刻第i个行人他周围的行人动态环境特征可以定义为：
Figure BDA0002727681920000051
除了行人之外，环境中存在的行驶的车辆、运动的小动物等因素的变化也同样会影响行人的运动轨迹，将[1:Tobs]中所有的场景中存在的非行人目标的轨迹进行池化，得到一个池化向量Pt i，送入到多层感知层MLP(Multi-Layer Perceptron)来提取非行人目标的动态特征：
Figure BDA0002727681920000052
式中WMLP为多层感知层的权重矩阵。
步骤2：构建静态环境特征注意力模块和动态坏境特征注意力模块。
本发明采用软注意力机制，静态环境特征注意力模块的输入为Ft,static，输出为注意力向量
Figure BDA0002727681920000053
Figure BDA0002727681920000054
Wt,static是静态环境特征注意力模块的权重矩阵：
Figure BDA0002727681920000055
动态环境特征注意力向量为：
Figure BDA0002727681920000056
Wt,dynamic表示动态环境特征注意力模块的权重矩阵，定义为：
Wdynamic＝δ(γ(cos(Ψ))) (7)
式中δ(·)是sigmoid激活函数,γ(·)是1×1卷积,cos(Ψ)表示其他行人或者非行人轨迹间的方位角.假设场景中行人和非行人的数量为M，
Figure BDA0002727681920000057
表示第i个行人与第j个除他以外的动态轨迹之间的方位角,则cos(Ψ)为:
Figure BDA0002727681920000061
步骤3：将注意力模块的输出送入长短时记忆网络实现行人轨迹预测。
目标i在t时刻的位置用
Figure BDA0002727681920000062
表示,预测位置用
Figure BDA0002727681920000063
表示。
给定t-1时刻LSTM网络的隐藏状态
Figure BDA0002727681920000064
记忆单元
Figure BDA0002727681920000065
可以通过LSTM网络计算
Figure BDA0002727681920000066
Figure BDA00027276819200000613
Figure BDA0002727681920000067
式中，W表示LSTM网络的权重矩阵,
Figure BDA0002727681920000068
表示LSTM网络输出层
Figure BDA0002727681920000069
和隐藏状态
Figure BDA00027276819200000610
之间的权重矩阵，bo是LSTM网络输出层的偏置项。
本发明选取LSTM网络进行轨迹预测，将注意力模块的输出，送入到LSTM网络，可以得到预测的轨迹为：
Figure BDA00027276819200000611
Figure BDA00027276819200000612
本发明的实现基于Ubuntu 18.04LTS操作系统，GPU选用NVIDIA GTX1080TI，采用PyTorch深度学习框架。为了更好的测试本文提出的MFMA-LSTM行人轨迹预测方法的性能，选用了两个在基线算法中普遍采用的国际公开数据集:ETH and UCY。这两个数据集包含了五个行人场景：ETH-UNIV,ETH-HOTEL,UCY-UNIV,UCY-ZARA1和UCY-ZARA2，场景中共有1536个不同运动模式的行人，视频帧速率为25fps.
选用三种具有代表性的基线算法进行性能对比，分别为：Social-LSTM，Social-GAN和STGAT，这三种基线方法与本文提出的算法具有一定程度相关性的。
与三种基线算法类似，评价指标选用平均偏移误差ADE(Average DisplacementError)和最终偏移误差FDE(Final Displacement Error)。其中，ADE表示一个时间步长内预测位置和实际位置之间的平均欧氏距离：
Figure BDA0002727681920000071
FDE表示预测位置和实际位置在预测最终时刻的欧式距离：
Figure BDA0002727681920000072
表1和表2统计了观测序列长度Tobs＝8帧，预测序列长度分别为Tpred＝8帧和Tpred＝12帧的ADE、FDE以及它们的平均值。
表1不同轨迹预测算法ADE对比结果
Figure BDA0002727681920000073
表2不同轨迹预测算法FDE对比结果
Figure BDA0002727681920000074
从表1和表2可以看出，本发明相对于传统的行人轨迹预测方法有较高的精度，改进了行人轨迹预测的性能。

Claims (5)

1.一种基于多特征提取和多注意力机制的行人轨迹预测方法，其特征在于，包括以下步骤：
(1)提取静态环境特征和动态环境特征，所述动态环境特征包括其他行人对目标的影响及非行人因素对目标的影响；
(2)构建静态环境特征注意力模块和动态坏境特征注意力模块；
(3)将注意力模块的输出送入长短时记忆网络实现行人轨迹预测。
2.根据权利要求1所述的基于多特征提取和多注意力机制的行人轨迹预测方法，其特征在于，步骤(1)所述的静态特征提取实现过程如下：
利用现有方法获得t时刻场景图像It的语义图It,semantic；采用CNN网络提取It,semantic的深度特征Ft,static：
Ft,static＝CNN(It,semantic；WCNN) (1)
其中，WCNN是权重矩阵。
3.根据权利要求1所述的基于多特征提取和多注意力机制的行人轨迹预测方法，其特征在于，步骤(1)所述的动态特征提取实现过程如下：
采用LSTM网络从场景中出现的所有行人的历史轨迹中提取动态环境特征
Figure FDA0002727681910000011
Figure FDA0002727681910000012
t时刻第i个行人他周围的行人动态环境特征可以定义为：
Figure FDA0002727681910000013
将观测的时间间隔[1:Tobs]中所有的场景中存在的非行人目标的轨迹进行池化，得到一个池化向量Pt i，送入到多层感知层MLP提取非行人目标的动态特征：
Figure FDA0002727681910000014
其中，WMLP为多层感知层的权重矩阵。
4.根据权利要求1所述的基于多特征提取和多注意力机制的行人轨迹预测方法，其特征在于，所述步骤(2)实现过程如下：
静态环境特征注意力模块的输入为Ft,static，输出为注意力向量
Figure FDA0002727681910000015
Figure FDA0002727681910000021
Wt,static是静态环境特征注意力模块的权重矩阵：
Figure FDA0002727681910000022
动态环境特征注意力向量为：
Figure FDA0002727681910000023
Wt,dynamic表示动态环境特征注意力模块的权重矩阵，定义为：
Wdynamic＝δ(γ(cos(Ψ))) (7)
其中，δ(·)是sigmoid激活函数,γ(·)是1×1卷积,cos(Ψ)表示其他行人或者非行人轨迹间的方位角.假设场景中行人和非行人的数量为M，
Figure FDA00027276819100000212
表示第i个行人与第j个除他以外的动态轨迹之间的方位角,则cos(Ψ)为：
Figure FDA0002727681910000024
5.根据权利要求1所述的基于多特征提取和多注意力机制的行人轨迹预测方法，其特征在于，所述步骤(3)实现过程如下：
给定t-1时刻LSTM网络的隐藏状态
Figure FDA0002727681910000025
记忆单元
Figure FDA0002727681910000026
可以通过LSTM网络计算
Figure FDA0002727681910000027
Figure FDA0002727681910000028
Figure FDA0002727681910000029
将注意力模块的输出，送入到LSTM网络，得到预测的轨迹为：
Figure FDA00027276819100000210
Figure FDA00027276819100000211
其中，
Figure FDA0002727681910000031
为目标i在t时刻的位置,
Figure FDA0002727681910000032
为预测位置，W表示LSTM网络的权重矩阵,
Figure FDA0002727681910000035
表示LSTM网络输出层
Figure FDA0002727681910000033
和隐藏状态
Figure FDA0002727681910000034
之间的权重矩阵，bo是LSTM网络输出层的偏置项。
CN202011108167.1A 2020-10-16 2020-10-16 一种基于多特征提取和多注意力机制的行人轨迹预测方法 Active CN112270226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011108167.1A CN112270226B (zh) 2020-10-16 2020-10-16 一种基于多特征提取和多注意力机制的行人轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011108167.1A CN112270226B (zh) 2020-10-16 2020-10-16 一种基于多特征提取和多注意力机制的行人轨迹预测方法

Publications (2)

Publication Number Publication Date
CN112270226A true CN112270226A (zh) 2021-01-26
CN112270226B CN112270226B (zh) 2024-04-02

Family

ID=74337239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011108167.1A Active CN112270226B (zh) 2020-10-16 2020-10-16 一种基于多特征提取和多注意力机制的行人轨迹预测方法

Country Status (1)

Country Link
CN (1) CN112270226B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096161A (zh) * 2021-03-31 2021-07-09 哈尔滨工业大学（深圳） 一种密集行人环境下强化学习移动机器人的导航方法及装置
CN113160269A (zh) * 2021-02-09 2021-07-23 北京工业大学 一种基于注意力机制的行人轨迹预测方法
CN113744524A (zh) * 2021-08-16 2021-12-03 武汉理工大学 一种基于车辆间协同计算通信的行人意图预测方法及系统
CN113836339A (zh) * 2021-09-01 2021-12-24 淮阴工学院 一种基于全局信息和位置嵌入的场景图生成方法
CN114297529A (zh) * 2021-12-28 2022-04-08 东北大学 一种基于空间注意力网络的移动集群轨迹预测方法
CN114387313A (zh) * 2022-01-07 2022-04-22 武汉东信同邦信息技术有限公司 一种运动轨迹预测方法、装置、设备及存储介质
CN115482573A (zh) * 2022-09-29 2022-12-16 歌尔科技有限公司 人脸表情识别方法、装置、设备及可读存储介质
CN116295496A (zh) * 2023-03-22 2023-06-23 新石器慧通（北京）科技有限公司 一种自动驾驶车辆路径规划方法、装置、设备及介质
CN116654022A (zh) * 2023-07-25 2023-08-29 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质
CN119204325A (zh) * 2024-09-23 2024-12-27 哈尔滨工业大学 一种基于多注意协同网络的多维变量场景下飞行器轨迹预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898612A (zh) * 2018-06-11 2018-11-27 淮阴工学院 基于多智能体深度增强学习的多目标跟踪方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN110378259A (zh) * 2019-07-05 2019-10-25 桂林电子科技大学 一种面向监控视频的多目标行为识别方法及系统
CN111161322A (zh) * 2019-12-31 2020-05-15 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法
US20200234066A1 (en) * 2019-01-18 2020-07-23 Toyota Research Institute, Inc. Attention-based recurrent convolutional network for vehicle taillight recognition
US20200283016A1 (en) * 2019-03-06 2020-09-10 Robert Bosch Gmbh Movement prediction of pedestrians useful for autonomous driving

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898612A (zh) * 2018-06-11 2018-11-27 淮阴工学院 基于多智能体深度增强学习的多目标跟踪方法
US20200234066A1 (en) * 2019-01-18 2020-07-23 Toyota Research Institute, Inc. Attention-based recurrent convolutional network for vehicle taillight recognition
US20200283016A1 (en) * 2019-03-06 2020-09-10 Robert Bosch Gmbh Movement prediction of pedestrians useful for autonomous driving
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN110378259A (zh) * 2019-07-05 2019-10-25 桂林电子科技大学 一种面向监控视频的多目标行为识别方法及系统
CN111161322A (zh) * 2019-12-31 2020-05-15 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
H. XUE等: ""Location-Velocity Attention for Pedestrian Trajectory Prediction"", 《2019 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》, 7 March 2019 (2019-03-07), pages 2038 - 2047 *
H. XUE等: ""SS-LSTM: A Hierarchical LSTM Model for Pedestrian Trajectory Prediction"", 《2018 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》, 7 May 2018 (2018-05-07), pages 1186 - 1194 *
刘一雄: ""基于LSTM及注意力机制的行人轨迹预测模型"", 《中国学位论文全文数据库》, 18 December 2018 (2018-12-18), pages 1 - 53 *
张睿等: ""复杂场景下行人轨迹预测方法"", 《计算机工程与应用》, 19 August 2020 (2020-08-19), pages 1 - 9 *
陈镜任: ""基于视觉跟踪的行人运动轨迹预测方法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 July 2020 (2020-07-15), pages 138 - 956 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160269A (zh) * 2021-02-09 2021-07-23 北京工业大学 一种基于注意力机制的行人轨迹预测方法
CN113160269B (zh) * 2021-02-09 2024-03-12 北京工业大学 一种基于注意力机制的行人轨迹预测方法
CN113096161A (zh) * 2021-03-31 2021-07-09 哈尔滨工业大学（深圳） 一种密集行人环境下强化学习移动机器人的导航方法及装置
CN113744524A (zh) * 2021-08-16 2021-12-03 武汉理工大学 一种基于车辆间协同计算通信的行人意图预测方法及系统
CN113836339B (zh) * 2021-09-01 2023-09-26 淮阴工学院 一种基于全局信息和位置嵌入的场景图生成方法
CN113836339A (zh) * 2021-09-01 2021-12-24 淮阴工学院 一种基于全局信息和位置嵌入的场景图生成方法
CN114297529A (zh) * 2021-12-28 2022-04-08 东北大学 一种基于空间注意力网络的移动集群轨迹预测方法
CN114297529B (zh) * 2021-12-28 2024-08-13 东北大学 一种基于空间注意力网络的移动集群轨迹预测方法
CN114387313A (zh) * 2022-01-07 2022-04-22 武汉东信同邦信息技术有限公司 一种运动轨迹预测方法、装置、设备及存储介质
CN115482573A (zh) * 2022-09-29 2022-12-16 歌尔科技有限公司 人脸表情识别方法、装置、设备及可读存储介质
CN116295496A (zh) * 2023-03-22 2023-06-23 新石器慧通（北京）科技有限公司 一种自动驾驶车辆路径规划方法、装置、设备及介质
CN116654022A (zh) * 2023-07-25 2023-08-29 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质
CN116654022B (zh) * 2023-07-25 2023-10-20 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质
CN119204325A (zh) * 2024-09-23 2024-12-27 哈尔滨工业大学 一种基于多注意协同网络的多维变量场景下飞行器轨迹预测方法

Also Published As

Publication number Publication date
CN112270226B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN112270226A (zh) 一种基于多特征提取和多注意力机制的行人轨迹预测方法
CN114372116B (zh) 一种基于lstm和时空注意力机制的车辆轨迹预测方法
CN111339867B (zh) 一种基于生成对抗网络的行人轨迹预测方法
CN110414365B (zh) 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
CN111311009B (zh) 一种基于长短期记忆的行人轨迹预测方法
Wang et al. Multi-information-based convolutional neural network with attention mechanism for pedestrian trajectory prediction
CN111460919A (zh) 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法
CN102915039A (zh) 一种仿动物空间认知的多机器人联合目标搜寻方法
CN114882351A (zh) 一种基于改进YOLO-V5s的多目标检测与跟踪方法
CN119848632B (zh) 一种融合大核卷积和注意力机制的车辆轨迹预测方法及系统
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN116448134B (zh) 基于风险场与不确定分析的车辆路径规划方法及装置
CN115690157B (zh) 一种基于Transformer的毫米波雷达行人轨迹预测方法
Meftah et al. Improving autonomous vehicles maneuverability and collision avoidance in adverse weather conditions using generative adversarial networks
CN119202892A (zh) 一种基于图交互机制的多模态车辆轨迹预测方法
CN116901997A (zh) 一种交通场景下基于自适应目标的向量化轨迹预测方法
CN109508686A (zh) 一种基于层次化特征子空间学习的人体行为识别方法
Zernetsch et al. Cyclist trajectory forecasts by incorporation of multi-view video information
CN111402632A (zh) 一种交叉口行人运动轨迹的风险预测方法
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
Guan et al. Trajectory planning in college football training using deep learning and the internet of things
CN118379332A (zh) 一种基于蒸馏的轻量化无人机单目标跟踪方法
Wu et al. DAG blockchain-assisted asynchronous federated mutual learning for autonomous driving
CN119904766B (zh) 一种基于环境复杂度的端到端无人机自主控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20241227

Address after: 613 Zhongxin Technology Building, Bagualing Industrial Zone, No. 31 Bagualing Road, Hualin Community, Yuanling Street, Futian District, Shenzhen City, Guangdong Province, 518000

Patentee after: Shenzhen Hongzhuan Intellectual Property Co.,Ltd.

Country or region after: China

Address before: 223003 No.1, Meicheng East Road, qingjiangpu District, Huai'an City, Jiangsu Province

Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY

Country or region before: China

TR01 Transfer of patent right