👋 Welcome to James’sLog

论文信息： 标题： Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling（门控循环神经网络在序列建模上的实证评估） 作者： Junyoung Chung（郑浚英）, Caglar Gulcehre, KyungHyun Cho（曹敬铉，GRU 主要发明人）, Yoshua Bengio（深度学习三巨头之一，图灵奖得主） 机构： 蒙特利尔大学（Université de Montréal）与 CIFAR 发表： NIPS 2014 Deep Learning and Representation Learning Workshop (arXiv:1412.3555) 开源代码： https://github.com/jych/librnn.git 核心问题： 相比传统无门控的 RNN，门控循环单元（LSTM 与 GRU）为什么具有决定性优势？在控制相同参数量的前提下，LSTM 与 GRU 到底谁的表现更好、收敛更快？ 一、研究背景与论文核心定位 1.1 历史背景：门控单元的崛起 2014 年前后，循环神经网络（RNN）在变长序列建模任务中迎来了爆发性突破： 机器翻译（Machine Translation）： Sutskever 等人（Seq2Seq）与 Bahdanau、Cho 等人（Attention 机制）先后证明 RNN 可以达到甚至超越基于统计的传统翻译系统。 语音识别（Speech Recognition）： Graves 等人将深度双向 LSTM 成功应用于大规模端到端语音识别。 然而作者敏锐地发现：上述突破无一例外均未使用传统标准的 Vanilla RNN（基于 tanh 的简单循环单元），而是依赖带有门控机制的高级单元（LSTM 或最新提出的 GRU）。 ...

first paper 第二篇文章