1、做预测不只依赖于input， 还依赖于之前的一部分信息，会把它存在memory,变更的只是输入或者memory,自然语言处理任务中，输入和输出之间不独立,有些任务用人工神经网络、CNN解决不了,RNN的结构,为了体现RNN的循环性，可以将多层fold起来， 每个部分看做一个cell，处理过程一模一样，,我,是,中国,人,背景：要完成一个任务(Language model)：一句话知道出现的若干个词情况下，出现下一个词会出现什么。 （有一个序列，在这个序列前n个element知道情况下去推断下一个element）,是,中国,人,序列在当前step的输入,矩阵St维度 容量有限，,文本分类，在当前
2、任何部分都可以做总结，输出结果，但是不一定准确。任务是需要看完整个文本给出一个结果。,两个memory做拼接,不一样的W和V让它捕捉更多信息,Deep：五年级的知识变难了，一周内掌握不了 多思考一下,T-1 T T+1 T+2,数列 三角函数 解析几何 排列组合,做完三轮复习的知识解这道题,同一章前一轮复习 同一轮复习前一章,BPTT(BackPropagation Through Time) 基于时间的反向传播（调参）,Softmax的分类器 预测4W个词中的哪一个,每一个时间点都有一个输出 每个输出都可以去计算loss,完成整个句子预测：沿着时间轴把每个位置的 loss加在一起,梯度下降，
3、使loss值最小 要求我们去求lossfunction对于W的偏导,交叉熵损失 cross entropy loss,求偏导的过程在这一层完成不了，必须用BPTT，不能用BP,BPTT：沿着时间轴往前追溯,我们的目标是计算误差关于参数U、V和W的梯度，然后使用梯度下降法学习出好的参数。,Softmax的分类器 预测4W个词中的哪一个,交叉熵损失 cross entropy loss,t时刻上正确的词,预测出来的词,RNN与图像描述,AlexNet 来抽取特征,做一次前向运算 抽取4096*1的特征,4096*1的特征向量,文本输入 记忆 图片信息,只在第一步做，后面的每次更新都不再看图片了,最
4、后一次循环输出end token,RNN可以被训练来，通过前面的单词来预测接下来的单词。 实际上，相关信息和需要该信息的位置之间的距离可能非常的远。 不幸的是，随着距离的增大，RNN对于如何将这样的信息连接起来无能为力。,非线性处理模块,逐点运算,信息传播方向,信息拼接,信息复制,T-1时刻的记忆到现在的记忆 在传送带上往前传 发生信息的交互 可以取东西 也可以放东西上去,Cell State,做记忆的变更：要把这部分记忆存下去,LSTM的几个关键“门”与操作,上一个时刻的输出,现在的输入,以多大概率去丢掉信息,LSTM的几个关键“门”与操作,(产生一个概率值，以多少值去更新信息) 用it对C
5、t做过滤，哪一部分知识能够补充到我之前的知识体系中,Ct:六年级这一年学到了什么,LSTM的几个关键“门”与操作,通过率 旧的记忆,筛选器 新的知识,LSTM的几个关键“门”与操作,小学全六年知识,从前六年的知识中筛出来解决当前题目的知识,P(0,1),解决完了给出答案,LSTM的变种,启发式的，没有严谨的数学推导,窥视孔连接,LSTM的变种,忘记了0.3的信息 补充0.7的信息,只遗忘那些有新元素来填充的元素,LSTM的变种：GRU只有两个门，分别为更新门和重置门，即图中的zt和rt 更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越少。重置
6、门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。,ht：忘记传递下来的ht-1中的某些维度信息，并加入当前节点输入的某些维度信息,更新记忆,h主要包含了当前输入的xt 数据。把h 添加到当前的隐藏状态，相当于“记忆了当前时刻的状态”，类似于LSTM的选择记忆阶段。,LSTM的变种：SRU去掉了前后时刻输出ht计算的依赖，可以将多个时刻计算并行。 SRU 实现相比于简单的 LSTM 实现可快 5 倍。,SRU评估 http:/ Sentence-level Lipreading,encoder是Image, decoder是验证码序列。这里把decoder部分的输入用encoder（image）的最后一层复制N份作为decoder部分的每个cell的输入。,LSTM识别验证码,
