论文阅读：基于 Attenton

论文阅读：基于 Attenton"/>

论文阅读：基于 Attenton

论文阅读：基于 Attenton-LSTM 神经网络的船舶航行预测

论文地址：=1001.2014.3001.5501

目录

1. 摘要

2. 网络结构和训练过程

3. 实验

4. 亮点

1. 摘要

2. 网络结构和训练过程

（1）注意力机制

注意力机制被广泛应用于回归问题中。本文用到的注意力机制是点积注意力，是输入序列 X 的加权和，表示每一特征维度的权重：

我对注意力机制的了解也不是很深入，后面打算开专题学习一下注意力机制。

（2）输入输出

输入：前（β+1）个时刻的经度、纬度、航速、航向

输出：下一时刻的经度、纬度、航速、航向的预测值

（3）网络结构

模型包括：LSTM层、Attention层、全连接层，LSTM的作用是特征学习，Attention层的作用的计算出关键信息、全连接层的作用是整合特征完成预测。

（4）损失函数

采用交叉熵损失函数来评估预测结果和真实结果的差异，loss函数如下：

（5）学习率

采用适应性矩估计算法代替随机梯度下降，基于训练数据和交叉熵损失函数计算梯度估计矩阵，从而为参数设定自适应学习率。

3. 实验

（1）训练集和测试集相似性评估

选择200组AIS数据作为实验数据，前180组是训练集，后20组为测试集。为了避免因数据分布差异导致的模型误差，对数据进行了标准欧式距离计算，证明了训练集和测试集具有相似性。

（2）关键参数（拓扑结构）对模型的影响实验

考虑的参数有：神经元节点数量（LSTM和全连接层的神经元节点数量相同），考虑的历史数据时间步长，训练迭代次数。

实验方法：控制变量法，其他参数不变，改变一项参数，针对每种取值训练测试10次取误差平均值。实验结果如下：

（3）评价指标

（4）和BP网络的对比实验

4. 亮点

• 使用注意力机制对突出预测结果具有关键影响的序列（这种方式很少有人引入航迹预测，很值得借鉴）

• 参考多层自适应模块化神经网络结构，将Attention层作为LSTM层和全连接层的接口（模块化神经网络感觉也值得引入航迹预测里面）

• 提出一种观点：神经元节点数是导致“过拟合”现象的重要因素（值得思考和研究）

• 使用交叉熵作为模型的损失函数（感觉大部分都是用均方误差作为损失函数，这里用交叉熵值得做对比实验）

• 采用适应性矩阵估计算法代替随机梯度下降，计算梯度估计矩阵设定自适应学习率（不了解其中的具体方式）

• 使用标准欧式距离评价测试集和训练集是否具有相似分布

• 以“拓扑结构”称呼不同超参数的取值（很有意思的说法）