admin管理员组文章数量:1652181
IntelliLight 全文脉络
- 概述
- 1、本文贡献
- 1)Experiments with real traffic data.
- 2)Interpretations of the policy.
- 3)A phase-gated model learning.
- 2、问题定义
- 1)State
- 2)Action
- 3)Reward
- 3、网络结构
- (1)off-line阶段
- (2)on-line阶段
- 4、phase-sensitive
- (1)phase gate 相位门
- (2)Memory Palace 记忆宫殿
- 5、实验结果说明
- 1)仿真数据
- 2)真实数据
概述
1、本文贡献
1)Experiments with real traffic data.
使用了真实的数据集。
2)Interpretations of the policy.
对选择的政策进行了解释。
3)A phase-gated model learning.
以往的研究都是将phase作为一个特征,还包含有其他的特征如不同车道的车辆数,车辆位置等等。很有可能phase这一特征并没有产生什么作用。例如下图这种情况,两个场景除了交通灯不一致之外,其余完全相同,很有可能模型对这两种情况作出了相同的决策。但实际情况是A希望保持现在的phase,但B希望改变现在的phase。 因此,提出了一种new phase-sensitive【新的相位敏感机制--自译】,包含了记忆宫殿和相位门,两种改进措施。
2、问题定义
1)State
(1)Traffic light phase
绿灯阶段包含后续的黄灯阶段(3s),且只能按照指定的顺序变化(1->2->1->2->…)
- Green-WE:WE方向为绿灯,NS方向为红灯
- Red-WE:WE方向为红灯,NS方向为绿灯
(2)Traffic condition
针对每一个车道的,如果路口有多条车道,那么就有多个值
- L :车道i上的队列长度 Li
- V :车道i上的车辆数量 Vi
- W :车道i上的平均等待时间 Wi
- M :车辆位置的图像表示
2)Action
a = 0:改变相位
a = 1:保持相位
3)Reward
多种因素的加权和
计算公式及系数:
解释:
(1)车道排队长度L之和
其中L计算为给定车道上最后一个时间步长的停车车辆总数。低于0.1米/秒的速度被认为是停止。
(2)车道平均等待时间之和W
其中W定义为车辆自上次速度超过0.1m/s以来,以低于0.1m/s的速度行驶的时间(分钟)。基本上,车辆每次行驶的等待时间都重置为0。
(3)信号灯切换次数C
(4)车辆延迟之和D
(5)在动作a后的时间间隔内通过交叉口的车辆总数N
(6)在行动a后的时间间隔内通过交叉口的车辆行驶时间总和,定义为车辆在接近车道上花费的总时间(以分钟为单位) T
3、网络结构
(1)off-line阶段
使用log来训练系统
(2)on-line阶段
每个时间t系统会得到一些state(例如我们想每5s确定一下是否要改变信号灯的状态), 接着模型根据这些state给出action, 并得到reward. 我们将这些存入memory. 在一些步骤后, 更新模型.
4、phase-sensitive
(1)phase gate 相位门
针对不同的phase,选择不同的模型,突出了特征phase的重要性。
如上图所示,当phase=0时,左侧的模型被激活;
当phase=1时,右侧的模型被激活。
(2)Memory Palace 记忆宫殿
DQN使用经验回放机制,解决样本不是独立同分布和具有强相关性的两个问题。
但对于数据不平衡,抽样的结果也可能是不平衡的。因此,作者使用记忆宫殿方式,将不同的phase-action组合的样本存储在不同的memory库中,然后从不同的宫殿中抽取相同数量的样本,如下图所示。
5、实验结果说明
1)仿真数据
2)真实数据
本文标签: 论文LearningApproachIntelliLightReinforcement
版权声明:本文标题:IntelliLight: a Reinforcement Learning Approach for Intelligent Traffic Light Control 论文阅读 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1729579033a1207379.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论