线性回归学习总结

一 、引文

1 回归分析

回归是统计学上用来分析数据的方法,以了解两个或多个变量之前的关系。通常是建立被解释变量Y和解释变量X之间关系的模型。

回归分析的最早形式是最小二乘法。

勒让德和高斯都将该方法应用于从天文观测中确定关于太阳的物体的轨道(主要是彗星,但后来是新发现的小行星)的问题。 高斯在1821年发表了最小二乘理论的进一步发展[3],包括高斯-马尔可夫定理的一个版本。

但是, 回归(regression)一词由法兰西斯·高尔顿(Francis Galton)所使用。

他在统计学方面也有贡献,高尔顿在1877年发表关于种子的研究结果,指出回归到平均值(regression toward the mean)现象的存在,这个概念与现代统计学中的“回归”并不相同,但是却是回归一词的起源。在此后的研究中,高尔顿第一次使用了相关系数(correlation coefficient)的概念。他使用字母“r”来表示相关系数,这个传统一直延续至今。

2 什么是线性(以下来自ChatGPT)

  • 在数学和统计学中,线性是一个重要的概念,指的是与直线(线性函数)具有相似性质的关系或性质。一个数学对象被称为线性,通常满足以下两个性质:
    1. 比例性质(Proportionality): 如果一个对象的变化与另一个对象的变化成正比,那么它们之间的关系就是线性的。换句话说,当一个对象发生变化时,另一个对象也以相同比例发生变化。
    2. 叠加性质(Superposition): 如果一个对象的总效应等于多个独立影响的叠加,那么这个对象的关系是线性的。换句话说,系统的响应是各个独立输入的总和。
      .
  • 在数学中,线性性质可以表示为以下形式:
    1. 线性函数(Linear Function): 一个函数如果满足以下形式,就被称为线性函数:
      f ( a x + b y ) = a f ( x ) + b f ( y ) f(ax+by)=af(x)+bf(y) f(ax+by)=af(x)+bf(y)
      其中, a a a b b b 是常数, f ( x ) f(x) f(x) f ( y ) f(y) f(y) 是函数。
    2. 线性方程(Linear Equation): 一个方程如果可以写成以下形式,就被称为线性方程:
      a x + b y = c ax+by=c ax+by=c
      其中, a a a b b b c c c 是常数, x x x y y y 是变量。

二、正文目录

1 线性回归

在这里插入图片描述

2 参数估计

2.1 最小二乘法

在这里插入图片描述

2.2 最大似然估计MLE

L ( w ) = log ⁡ p ( Y ∣ X , w ) = log ⁡ ∏ i = 1 N p ( y i ∣ x i , w ) = ∑ i = 1 N log ⁡ ( 1 2 π σ e − ( y i − w T x i ) 2 2 σ 2 ) argmax ⁡ L ( w ) w = argmin ⁡ w ∑ i = 1 N ( y i − w T x i ) 2 \begin{aligned} L(w)=\log p(Y \mid X, w) & =\log \prod_{i=1}^{N} p\left(y_{i} \mid x_{i}, w\right) \\ & =\sum_{i=1}^{N} \log \left(\frac{1}{\sqrt{2 \pi \sigma}} e^{\left.-\frac{\left(y_{i}-w^{T} x_{i}\right)^{2}}{2 \sigma^{2}}\right)}\right. \\ \underset{w}{\operatorname{argmax} L(w)} & =\underset{w}{\operatorname{argmin}} \sum_{i=1^{N}}\left(y_{i}-w^{T} x_{i}\right)^{2} \end{aligned} L(w)=logp(YX,w)wargmaxL(w)=logi=1Np(yixi,w)=i=1Nlog 2πσ 1e2σ2(yiwTxi)2)=wargmini=1N(yiwTxi)2

2.3 最大后验估计MAP

w ^ = argmax ⁡ w p ( w ∣ Y ) = argmax ⁡ w p ( Y ∣ w ) p ( w ) = argmax ⁡ w log ⁡ p ( Y ∣ w ) p ( w ) = argmax ⁡ w ( log ⁡ p ( Y ∣ w ) + log ⁡ p ( w ) ) = argmin ⁡ w [ ( y − w T x ) 2 + σ 2 σ 0 2 w T w ] \begin{aligned} \hat{w}=\underset{w}{\operatorname{argmax}} p(w \mid Y) & =\underset{w}{\operatorname{argmax}} p(Y \mid w) p(w) \\ & =\underset{w}{\operatorname{argmax}} \log p(Y \mid w) p(w) \\ & =\underset{w}{\operatorname{argmax}}(\log p(Y \mid w)+\log p(w)) \\ & =\underset{w}{\operatorname{argmin}}\left[\left(y-w^{T} x\right)^{2}+\frac{\sigma^{2}}{\sigma_{0}^{2}} w^{T} w\right] \end{aligned} w^=wargmaxp(wY)=wargmaxp(Yw)p(w)=wargmaxlogp(Yw)p(w)=wargmax(logp(Yw)+logp(w))=wargmin[(ywTx)2+σ02σ2wTw]

3 正则化

3.1 L1 正则化: Lasso 回归

3.2 L2 正则化: Ridge 回归

在这里插入图片描述

偷个懒,不重复造轮子了。主要是为了自己学习和回顾。以上相关推导公式来自视频和链接,在此感谢up主和博主的分享
Bilibili-机器学习白板系列之线性回归
机器学习-白板推导系列(三)-线性回归(Linear Regression)

三 学习总结

1 清晰几个概念:

1.1 xx分不清

此外在回归分析中,会有残差和均方误差两个词。其中残差是预测值和观测值(真实标签)之差。

  • SSE 表示的是残差平方和(Sum of Squares for Error),也称为误差平方和。
  • MSE 表示均方误差(Mean Squared Error) 均方误差是残差平方和除以样本数量的结果,表示了每个样本的预测误差的平方的平均值
  • 数学上的 误差(相对误差和绝对误差) 是实际测量值和真实值(理论值)之前的差别。
  • 统计学上,方差 是衡量数据的离散程度的,而偏差描述的是预测值(估计值)的期望与真实值之间的差距。偏差越大,越偏离真实数据。

1.2 权衡偏差和方差以最小化均方误差

偏差和方差度量着估计量的两个不同误差来源。偏差度量着偏离真实函数或参数的误差期望,而方差度量着数据上任意特定采样可能导致的估计期望的偏差 —花书《深度学习》

2 MAP 和 L2范数 正则的关系

  • 在噪声为高斯分布的时候,MLE 的解等价于最小二乘误差
  • 加上L2正则项后,最小二乘误差加上 L2 正则项 等价于 权重先验分布为高斯分布的MAP解
  • 加上 L1 正则项后,等价于 权重Laplace 先验分布。

注意这里有两个分布:

  • 一个是噪声(残差) 为高斯分布,有MLE等价于最小二乘误差。
  • 另一个是 权重(参数) 的先验分布为高斯分布,有MAP等价于 最小二乘误差 加上 L2 正则化。

所谓的先验是针对后验 p ( w ∣ Y ) p(w | Y) p(wY)来说的。这里先假设权重(参数)的先验分布为高斯分布,至于为什么这样做,这里涉及到频率派和贝叶斯派的估计方法。------先不说了😂

其实,这里给最小二乘误差(均方误差)人为加上一个正则项,也是加上了一个先验的知识,倾向于L2范数较小的权重是。而这个先验知识,和假设权重先验分布为高斯分布的最大后验估计是等价的。— —那为什么呢?先留着🤣

3 线性回归的假设条件

前提条件包括:

  • 误差项服从正态分布
  • 误差的方差在各个自变量值上是恒定的(即同方差性,homoscedasticity)
  • 自变量和误差项之间没有相关性
  • 。。。。。。

其中 异方差性 可参考:
残差分析
残差分析与残差图

残差中的非随机模式表明模型的确定部分(预测变量)没有捕获一些“泄露”到残差中的一些可解释/可预测信息

也许线性回归模型只能用来分析一下较为简单的数据,但是线性回归却为其他传统机器学习方法提供了很好的思考方向。

4 线性回归模型的不足:

  1. 线性模型往往不能很好地拟合数据,因此有三种⽅案克服这⼀劣势:
  • 对特征的维数进⾏变换,例如多项式回归模型就是在线性特征的基础上加⼊⾼次项。
  • 在线性⽅程后⾯加⼊⼀个⾮线性变换,即引⼊⼀个⾮线性的激活函数,典型的有线性分类模 型如感知机。
  • 对于⼀致的线性系数,我们进⾏多次变换,这样同⼀个特征不仅仅被单个系数影响,例如多 层感知机(深度前馈⽹络)。
  1. 线性回归在整个样本空间都是线性的,我修改这个限制,在不同区域引⼊不同的线性或⾮线性,例如线性样条回归和决策树模型。
  2. 线性回归中使⽤了所有的样本,但是对数据预先进⾏加⼯学习的效果可能更好(所谓的维数灾难, ⾼维度数据更难学习),例如 PCA 算法和流形学习

这里画个图,总结一下:
在这里插入图片描述

P: 刨根问底,刨个稀烂 🤣🤣🤣

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/1380081.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

Java-低代码平台使用H2内存数据库

一、引言 作者目前在做的平台使用到了H2,这里介绍下使用场景、使用方式,出于以下两个原因会使用H2: 1、平台化的项目一般是用户使用脚本或者sql进行通用的执行,这样可以实现低代码平台,不需要管理类之间的引入、依赖、编译&#x…

制造业企业数字化转型之设备数据采集

导 读 ( 文/ 1894 ) 随着信息技术的快速发展和制造业的转型升级,企业数字化转型已成为保持竞争力和实现可持续发展的关键。在数字化转型过程中,设备数据采集作为重要的一环,发挥着关键的作用。设备数据采集通过收集、分析和利用设备所产生的数…

怎样找回e盘删除的文件夹?分享三种恢复方法

我们都知道,电脑可以划分多个区域来存储数据,例如C盘、D盘、E盘、F盘等,而不论是存储在哪个磁盘,都容易出现文件丢失的问题,那么电脑e盘文件夹删除了怎么恢复呢?下面小编分享一些方法,一起来看下…

C#多线程开发详解

C#多线程开发详解 持续更新中。。。。。一、为什么要使用多线程开发1.提高性能2.响应性3.资源利用4.任务分解5.并行计算6.实时处理 二、多线程开发缺点1.竞态条件2.死锁和饥饿3.调试复杂性4.上下文切换开销5.线程安全性 三、多线程开发涉及的相关概念常用概念(1)lock(2)查看当前…

基于计算机的色彩描述

计算机中的色彩描述方法主要有RGB、CMY、Lab、HSB、sRGB、YUV、YCbCr、YIQ等。 CMYK色彩模式主要用于使用色料呈色的彩色设备。CMYK模式实质指的是再现色彩时单位面积上含C、M、Y、K点的百分比。 Lab色彩模式是建立在CIE 1976 L*a*b 颜色空间基础上的色彩模式,包含…

HSV色彩范围

一般对颜色空间的图像进行有效处理都是在HSV空间进行的,然后对于基本色中对应的HSV分量需要给定一个严格的范围,下面是通过实验计算的模糊范围(准确的范围在网上都没有给出)。 H: 0 — 180 S: 0 — 255 V: 0 — 255 此处把部分红色…

OBS推流时的视频色彩相关参数设置

在使用OBS进行推流直播时,特别是采集卡采集摄像机信号进行推流直播时,我们可能会遇到这样的问题:   1.为什么流信号与源信号相比有色彩偏差?   2.明暗对比较大的视频信号,比如有树荫和太阳,在摄像机上可…

视频产生的本质及色彩空间:RGB 和 YUV

一、前言 在前面几篇文章中,我们完成了音频相关基础知识的学习,从今天开始,我们要暂别音频,继续学习视频相关基础内容。 虽说声音在我们日常的生活、工作、娱乐过程中,发挥着不可替代的作用,但人们常说&a…

彩色图像色彩模型

彩色图像处理可分为两个主要领域:全彩色处理和伪彩色处理。全彩色处理通常要求图像用全彩色传感器获取,伪彩色处理是对一种特定的单色灰度活灰度范围赋予一种颜色。 定义: 亮度:具体表达了无色的强度概念,显示图像的…

ArcGIS基础:分级色彩和换行标注(VbCrLf)操作(以制作社会经济分析图为例)

我们需要用到的实验数据如下: 村(点数据和面数据),主要属性就是【人口数】、【经济总量】,如下图所示。 点数据的要使用的两个字段【人口数】、【经济总量】如下: 面数据的要使用的两个字段【人口数】、【…

计算机图像处理入门基础知识——色域,色度图,色彩空间和色彩管理

作者:❄️固态二氧化碳❄️ (主页) 链接:(原创)计算机图像处理入门基础知识——色域,色度图,色彩空间和色彩管理 - 固态二氧化碳的博客 - CSDN博客 来源:CSDN博客 发表时间:2020年06月03日 18:36:36 著作权归作者所有。商业转载请…

Photoshop CS6 实例之用色彩范围抠图并合成背景

素材 素材1 素材2 步骤 打开素材1,如下所示: 执行“选择>色彩范围”菜单命令,然后在弹出的“色彩范围”对话框中设置“选择”为“取样颜色”,然后勾选“本地化颜色簇”选项,并设置“颜色容差”为200,如下所示设置…

选择技术之颜色范围

许多人一直困惑不知道如何在PS中调色,殊不知,调色的前提条件是要选中要调色的对象。 色彩范围就是Photoshop中的一个非常好用的选择命令。 菜单:选择/色彩范围 色彩范围的主要用途 1、选择某个对象 2、选择某种颜色 3、选择人像皮肤 4、选择照…

Honeywell EPKS 系统通用备份维护手册

Document Name EPKS系统通用备份维护手册 Version 01 Date November 9, 2021 Reference System Backup 1. 介绍 本文档以EPKS R511为基础,根据Honeywell标准手册的…

惠普微型计算机怎么装机,详解hp如何安装系统

最近有位小伙伴在后台私信问小编说,惠普电脑怎么重装操作。其实不瞒大家说当我看到该问题时,是有略带吃惊的,因为小编也都不太清楚这个方面的内容,不过在经过我的一番了解后这才得知惠普电脑重装系统的方法。所以今天小编就来给大…

HP滤波

Hodrick Prescott Filter (HP滤波)

DCHP通讯协议

从通讯TCP/IP的构成传输,到IP地址的分类,再到局域网与广域网的设置。 通讯协议的构成 概述IPDHCP-设定动态IPDNS 数据的流动广域网 网关局域网 交换机NAT桥接模式实操 概述 前景知识:虚拟机与工艺库管理 扩展:NAT模式的实操。 1…

【网络编程(二)】NIO快速入门

NIO Java NIO 三大核心组件 Buffer(缓冲区):每个客户端连接都会对应一个Buffer,读写数据通过缓冲区读写。Channel(通道):每个channel用于连接Buffer和Selector,通道可以进行双向读…

Vue+SpringBoot后台管理系统:Vue3+TypeScript项目搭建(一)

写在开始:一个搬砖程序员的随缘记录文章目录 一、Node安装二、Vue CLI安装三、相关的版本四、创建Vue3TypeScript项目五、Vue项目初始化六、项目启动 一、Node安装 查看Note版本 node -v查看npm版本 npm -v然后将npm升级至最新版本 npm -g install npm将npm下载源换至http:…

docker安装Nacos的《小白专用》详细教程

1.CentOS安装docker 安装docker yum -y install docker 设置开机自启 systemctl enable docker 启动docker systemctl start docker 查看docker当前的版本 docker version做到这里呢基本上你的docker就安装了一大部分了,当然也有那些无法安装的人,那我建…