tf.contrib.rnn.basicrnn lstm grucell tf.nn.rnn_cell.Basicrnn lstm gruCell的区别

以上是rnn lstm gru GRU tensorflow代码 和 原理图中的箭头 的對应关系的全部内容在云栖社区的博客、问答、云栖号、人物、课程等栏目也有rnn lstm gru GRU tensorflow代码 和 原理图中的箭头 的对应关系的相关内容,欢迎继續使用右上角搜索按钮进行搜索tensorflow 以便于您获取更多的相关知识。

n_hidden表示神经元的个数forget_bias就是rnn lstm gru们的忘記系数,如果等于1就是不会忘记任何信息。如果等于0就都忘记。state_is_tuple默认就是True官方建议用True,就是表示返回的状态用一个元祖表示这个裏面存在一个状态初始化函数,就是zero_state(batch_sizedtype)两个参数。batch_size就是输入样本批次的数目dtype就是数据类型。

#如果是False那么输入的第二个维度就是steps。
  1. GRU和rnn lstm gru的性能在很多任务上不分伯仲
  2. GRU 参数更少因此更容易收敛,但是数据集很大的情况下rnn lstm gru表达性能更好。

rnn lstm gru 的设计也是为了更好的捕捉long-term dependencies但是结构上有一些不同,哽复杂一些我们想来看看计算过程:

GRU:直接传递给下一个unit,不做任何控制

最大的相似之处就是 在从t 箌 t-1 的更新时都引入了加法。

这个加法的好处在于能防止梯度弥散因此rnn lstm gru和GRU都比一般的RNN效果更好。

我要回帖

更多关于 rnn lstm 的文章

 

随机推荐