刘知远LLM——神经网络基础

在这里插入图片描述

文章目录

神经网络基础
- 基本构成
- 如何训练？
Word2Vec例子
- 负采样：
循环神经网络 RNN
门控计算单元 GRU
长短时记忆网络 LSTM
- 遗忘门
- 输入门
- 输出门
- 双向RNN
- 卷积神经网络 CNN
- pytorch实战

神经网络基础

基本构成

全称：人工神经网络。启发于生物神经细胞
单个神经元
在这里插入图片描述
单层神经网络

前向计算

激活函数的作用：没有激活函数的话，多层神经网络就会退化为单层

输出层
线性输出：回归问题
sigmoid：二分类
softmax：多分类

如何训练？

训练目标：
对回归问题：计算最小均方差

对分类问题：计算交叉熵
最小化损失函数：梯度下降法

求导梯度从而进行梯度下降

求微分的链式法则

计算图

Word2Vec例子

word2Vec可以学到词与词之间的关系
例如：king-Queen 与 man-woman 近似于平行，这两对词的差异也类似
实现：两类模型

滑动窗口构造训练数据：目标词target ；其他词context
CBOW根据context预测target，skip-Gram相反
在这里插入图片描述
输出词表的概率分布，最大的概率应该对应target

skip-Gram：预测context

问题：词表非常大，计算量大。
解决方法：负采样、分层softmax

负采样：

只采样一小部分作为负例子，词频越高采样概率越大。3/4可以保证低频词也有一定的采样概率
在这里插入图片描述
只采样四个词，其他词不参与计算

循环神经网络 RNN

处理序列数据时会进行顺序记忆

网络结构

注意 $h_i$ 会有 $h_{i-1}$ 部分的输入

在这里插入图片描述

选取概率最大的词作为下一个词

应用场景：序列标注、序列预测、图片描述、文本分类
优点：处理变长数据、模型大小不会随输入增大而增大、参数共享、利用历史信息
缺点：顺序计算时间慢、后面的单元很难获得较早、时间的信息、太多链式的梯度计算–梯度爆炸/消失

变体：GRU/LTSM
核心：计算时保留周围的记忆单元进行数据处理，以捕捉到长距离的依赖性

门控计算单元 GRU

门控机制：对当前信息进行筛选，决定哪些信息会传到下一层。
更新门：当前信息 $x_i$ 和过去隐藏状态 $h_{i-1}$ 的比重问题
重置门：上一层的隐藏状态对当前状态的激活
在这里插入图片描述
重置门接近零时， $h_i$ 就和 $h_{i-1}$ 没什么关系了

在这里插入图片描述
更新门 $z_i$ 接近零时， $h_i$ 直接由当前输入得到

长短时记忆网络 LSTM

网络结构
在这里插入图片描述
关键改变：增加cell state 学习长期的依赖关系
通过门控添加cell的信息

遗忘门

来决定上一个状态有哪些信息可以从cell中移除

在这里插入图片描述

输入门

决定当前信息有哪些可以存到cell中
在这里插入图片描述

输出门

在这里插入图片描述
总结：做堆叠或者网络很深时，性能很好。缓解梯度的问题

双向RNN

不仅仅取决于过去，还会取决于未来的数据
在这里插入图片描述
总结RNN类算法：顺序记忆，但存在梯度问题

卷积神经网络 CNN

图像领域，考虑结构特殊性，也可以用于NLP，如情感分类和关系分类
在这里插入图片描述
网络结构：

输入层：

滑动卷积核

CNN擅长提取局部特征；RNN适用于变长文本

pytorch实战

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/2779698.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！