免费网站软件免费下载安装_如何用wordpress搭建网站_云巅seo_app推广方法

全文参考以下B站视频及《神经网络与深度学习》邱锡鹏，侧重对GPU模型的理解，初学者入门自用记录，有问题请指正【重温经典】GRU循环神经网络 —— LSTM的轻量级版本，大白话讲解_哔哩哔哩_bilibili

更新门、重置门、学习与输出

注：一般来说， $x_t$ 是在时间步 t 上的数值特征集合，比如股价预测模型中， $x_t$ 是 $t$ 时刻股价

这里为了理解，假设 $h_{t-1}$ 是已有课程的学习笔记， $x_t$ 表明我们要学习机器学习这一课程

$h_{t-1}$ = 【高数，线代，概率论，音乐欣赏，Python编程】

$x_t$ = 【机器学习】

高数、线代、概率论、Python编程与机器学习相关性较强，而音乐欣赏与之无关

故 $r_t$ = 【0.5,0.9,0.6,0,1.0】，这个向量表示对机器学习的有用程度，之后与 $h_{t-1}$ 相乘进行筛选

$h_{t-1}$ = 【高数，线代，概率论，音乐欣赏，Python编程

$z_t$ = 【1,1,1,0,1】

我的理解（不知道对不对）：重置门和更新门的计算方式类似，但神经网络训练参数不同。用处也不同，重置门用于参与本轮的学习，更新门用于判断哪些信息需要保留到未来。

（1） $r_t$ 与 $h_{t-1}$ 对应相乘，即

$r_t$ = 【0.5,0.9,0.6,0,1.0】

$h_{t-1}$ = 【高数，线代，概率论，音乐欣赏，Python编程】

$r_t \cdot h_{t-1}$ = 【0.5高数，0.9线代，0.6概率论，0，Python编程】

（2）加入 $x_t$ ，即

【0.5高数，0.9线代，0.6概率论，机器学习，Python编程】

（3）tanh相当于对以上笔记进行学习，学习的结果笔记用 $h_{t}^{'}$ 表示

$h_{t}^{'}$ = 【微积分，矩阵乘法，假设检验，决策树，Python】

对于学习后的结果与之前的笔记具有重复性，所以需要删除重复内容。删除的依据就是 $1-z_t$ ，即删除已确定有用的笔记。再与确定有用的笔记进行向量拼接。

$h_{t-1}$ =【高数，线代，概率论，音乐欣赏，Python编程】

$z_t$ = 【1,1,1,0,1】

$h_{t-1}\cdot z_t$ = 【高数，线代，概率论，0，Python编程】

$h_{t}^{'}$ = 【微积分，矩阵乘法，假设检验，决策树，Python】

$1-z_t$ = 【0,0,0,1,0】

$h_{t}^{'} \cdot (1-z_t)$ = 【0,0,0，决策树，0】

向量拼接

最终结果 $h_{t}$ =【高数，线代，概率论，决策树，Python】