1.循环神经网络
在时间t的时候，对于单个神经元来讲它的输出y(t)如下
wx是对于输入x的权重，wy是对于上一时刻输出的权重
所以循环神经网络有两个权重。
如果有很多这样的神经元并排在一起
则在t时刻的输出y为
这时输入输出都是向量
2.记忆单元
由于循环神经网络的输入与上个时间有关，因此可以认为RNN具有记忆功能。但是RNN在最开始出现的时候，并没有很好的记忆能力，在keras中存在三种RNN，SimpleRNN，GRU，LSTM，其中SimpleRNN就存在深度学习中梯度消失的问，为了解决这个问题，出现了LSTM.
3.输入输出的序列
对于RNN，输入序列是按照[批量大小，时间步长，特征维度]输入，是一个三维矩阵。但是也可能是二维矩阵。下面分开讲解输入输出的类型
第一种:输入是三维矩阵，输出三维矩阵；
这种输入输出一般叫做序列到序列
我有32种类型的彩票，每一种彩票有100天的号码，每个号码的长度是7位数，那么把这个数据如数到RNN，输入的维度就是[32,100,,7]。
输出时第2到：101天的32种彩票的7位数号码,那么它的维度可以是[32,100,7]
第二种：输入是三维矩阵，输出是二维矩阵；
这种输入输出模式叫做
比如，我们可能只关心101天的结果，那么他就是[32,7]
第三种，输入时二维矩阵，输出是三维矩阵
这种是向量到序列的输入输出模式，但是一般来讲，输入也是一个三维矩阵
在每一个时间步长输入相同的输入向量，输出一个序列。
第四种：编码器解码器模式
这种模式就跟RNN的语言翻译一样，编码器把序列编码为向量，解码器把向量解码为序列。
在tensorflow种输入一般都是三维矩阵，如果你的数据是二维[m,n]，则将其升高一个维度就可以了，变成[m,n,1]
4.创建一个RNN网络
个人电脑很难运行起RNN，十分损耗资源。
tensorflow提供了如下几个RNN
(1).SimpleRNN
(2).GRU
(3).LSTM
其中第一个和第二个用的比较少，这是因为普通的RNN梯度不稳定，而且记忆能力十分有限，因此推出了LSTM，GRU时LSTM的简化版，计算效率高，性能虽然比不上LSTM，但是性能还不错。
关于lstm的结构不是本文的研究重点。
创建一个循环神经网络
lstm_1 = keras.layers.LSTM(100, reture_sequence=True)(last_output)
输入是上一层的输出，这里要求last_output的维度是三维
100个节点
returen_sequence:代表是否返回时间序列，如果你只关系之后一个时间，就可以选择False
如果你想写深度循环神经网络，那么就需要选择True
选择True输出就有三维，选择false输出则只有两个维度。
关于RNN的细节之后再补充，RNN的运用也是。
