参预：蒋思源、路雪、黄小天

近ㄖArtur Suilin 等人颁布了 时序竞赛的详细。他们不只果然了所有的实现代码同时还详细解释了实现的模型与经验。机器之心简要介绍了他们所实現的模型与经验更详细的代码请检察 GitHub

下面我们将简要介绍 Artur Suilin 如何修正 GRU 以完成时序竞赛。

预测有两个主要的信息源：

局部特征我们看到一個趋势时，但愿它会继续（自回归模型）朝这个趋势成长；看到流量峰值时知道它将逐渐衰减（滑动平均模型）；看到假期交通流量增加，就知道以后的假期也会呈现流量增加（季节模型）

全局特征。如果我们检察自相关（autocorrelation）函数图就会注意到年与年之间强大的自相關和季节间的自相关。

我决定使用 RNN seq2seq 模型进行预测原因如下：

RNN 可以作为 ARIMA 模型的自然扩展，但是比 ARIMA 更灵活更具表达性。

RNN 长短参数的大大簡化了学习。想象一下对 145K 时序使用差此外 ARIMA 参数

任何外源性的特征（数值或类别、时间依赖或序列依赖）都可以轻松注入该模型。

seq2seq 天然适匼该任务群名字：我们按照先前值（包孕先前预测）的联合概率（joint probability）预测下一个值使用先前预测可连结模型不变，因为误差会在每一步累积如果某一步呈现极端预测，则有可能毁了所有后续步的预测质量

此刻的深度学习呈现了太多的炒作。

RNN 足够强大来发明和学习自身特征模型的特征列表如下：

pageviews：原始值颠末 log1p() 的转换得到几乎正态的时序内值漫衍，而不是偏态漫衍

page popularity：高流量和低流量页面具有差此外流量变革模式，该特征（pageviews 的中间值）辅佐捕捉流量规模pageviews 特征丢掉了规模信息，因为每个 pageviews 序列被独立归一化至零均值和单位方差

所有特征（包孕 One-Hot 编码的特征）被归一化至零均值和单位方差。每个 pageviews 序列被独立归一化

时间依赖特征（自相关性、国家等）被「拉伸」至时序长度，即每天反复使用 tf.tile() 命令

模型在来自初始时序的随机固定长度样本长进行训练。例如如果初始时序长度是 600 天，我们使用 200 天的样本进行训練那么我们可以在前 400 天中随意选择开始采样的样本。

该采样事情是一种有效的数据增强机制：训练代码在每一步随机选择每次时序的开始点生成无限量的几乎不反复的数据。

模型主要由两部分构成即编码器和解码器。

解码器为 TF GRUBlockCell该 API 封装在 tf.while_loop() 中。循环体内的代码从上一步獲得预测并插手到当前时间步的输入特征中。

措置惩罚惩罚永劫间序列

LSTM/GRU 对付相对较短的序列（100-300 项以内）来说长短常好的但对付较长的序列来说，LSTM/GRU 仍然有效只不过会逐渐遗忘较早时间步所包罗的信息。 竞赛的时间序列长达 700 多天所以我们需要找一些要领来「加强」GRU 的记憶力。

我们第一个要领先是考虑使用一些注意力机制注意力机制可以将过去较长距离的有用信息保存到当前 RNN 单元中。对付我们的问题朂简单高效的注意力要领是使用固定权重的滑动窗口注意力机制。它在较长距离的过去时间步上有两个重要的点（考虑恒久的季节性）即 1 年前和 1 个季度前。