【Python实战因果推断】58_因果推理概论8

目录

Identifying the Treatment Effect

The Independence Assumption

Identification with Randomization


Identifying the Treatment Effect

现在你已经理解了问题所在,接下来该看看解决方案(至少是一个解决方案)了。识别(identification)是因果推断分析中的第一步。你在第三章会看到更多关于它的内容,但现在,了解它是什么很重要。请记住,由于只能观察到一个潜在结果,你无法直接观测到因果量。你无法直接估计类似E[Y_1-Y_0]这样的东西,因为你无法对任何一个数据点观测到这个差值。但是,也许你可以找到一些可观测的量,可以用来恢复你关心的因果量。这就是识别的过程:找出如何从可观察的数据中恢复因果量的方法。例如,如果某种奇迹发生,E[Y|T=t] 能恢复E[Y_t](即识别E[Y_t]),那么你只需简单地估计E[Y|T=1]-E[Y|T=0]就能得到E[Y_1-Y_0]这可以通过估计处理组和对照组的平均结果来完成,而这两个都是可观察的量。

你也可以将识别视为消除偏倚的过程。利用潜在结果的概念,你还可以说明使关联等于因果关系所需要的条件。如果E[Y_0|T=0]=E[Y_0|T=1],那么关联就等于因果!理解这一点不仅仅是记住方程。这里有一个强烈的直观论证。说E[Y_0|T=0]=E[Y_0|T=1]就是说无论是否接受处理,处理组和对照组是可比较的。数学上,偏倚项会消失,只留下处理效应

E[Y|T=1]-E[Y|T=0]=E[Y_1-Y_0|T=1]=ATT

此外,如果处理组和未处理组对处理的响应相似,也就是说,

E[Y_1-Y_0|T=1]=E[Y_1-Y_0|T=0]

那么(请注意这一点),平均差值变成了平均因果效应:

E[Y|T=1]-E[Y|T=0]=ATT=ATE=E[Y_1-Y_0]

尽管这里的数学看起来很复杂,但它实际上说的是,一旦你让处理组和对照组可互换,用数据中的可观察量表达因果效应就变得很简单了。应用到我们的例子中,如果降价和不降价的企业彼此相似——也就是说,可互换——那么,有促销活动和无促销活动的企业之间销售量的差异完全可以归因于价格削减。

The Independence Assumption

这种可互换性是因果推断中的核心假设。由于其重要性,不同的科学家以不同的方式表述了这一概念。我先介绍一种可能最常见的表述方式,即独立性假设。在这里,我会说潜在结果与处理是独立的(Y_{0},Y_{1})\perp T 。

这种独立性意味着E[Y_0|T]=E[Y_0],换句话说,处理本身不会提供关于潜在结果的任何信息一个单位被处理并不意味着如果它没有被处理Y_0​)它的结果会更高或更低。这仅仅是另一种方式来说E[Y_0|T=1]=E[Y_0|T=0]。在我们的商业案例中,这意味着即使所有企业都没有进行促销,你也无法区分那些选择进行促销的企业和那些没有选择的企业。除了处理及其对结果的影响外,它们彼此相似。同样,E[Y_1|T]=E[Y_1] 意味着即使所有企业都进行了促销,你也无法区分它们。简单地说,这意味着无论它们是否都接受了处理,处理组和未处理组都是可比较且无法区分的。

Identification with Randomization

在这里,我们将独立性视作一个假设。也就是说,你知道你需要将关联等同于因果关系,但你尚未学会如何使这个条件成立。回想一下,因果推断问题常常被分解为两个步骤:

  1. 识别(Identification),在这里你找出如何用可观察数据来表示你感兴趣的因果量。
  2. 估计(Estimation),在这里你实际使用数据来估计之前识别出的因果量。

为了通过一个非常简单的例子来说明这一过程,让我们假设你可以随机化处理。我知道我之前说过,在你工作的在线市场中,企业完全自主设定价格,但你仍然能找到方法来随机化处理IsOnSales。例如,假设你与企业协商,获得强迫他们降价的权利,但市场将补偿你所迫使的价格差异。好的,所以假设你现在有一种方法可以随机化销售,那又怎样呢?实际上,这是一个大问题!

首先,随机化将处理分配绑定到了抛硬币上,因此其变化与因果机制中的任何其他因素完全无关:

IsOnSales\leftarrow rand(t)\\AmountSold\leftarrow f_y\left(IsOnSales,u_y\right)

在随机化下,u_t 消失了,因为处理的分配机制变得完全已知。而且,由于处理是随机的,它变得与任何事物,包括潜在结果,都独立。随机化几乎强制实现了独立性。

为了使这一点清晰明了,让我们看看随机化是如何几乎消除了偏差的,从处理分配前开始。第一幅图展示了尚未实现的潜在结果(三角形)的世界。这在左边的图像中被描绘出来:

然后,随机地,治疗实现了一个或另一个潜在的结果。

接下来,让我们去除冗余,移除未实现的潜在结果(三角形)。现在你可以比较接受处理的与未接受处理的群体:

在这种情况下,接受处理与未接受处理群体之间的结果差异就是平均因果效应。这是因为它们之间除了处理本身外没有其他造成差异的来源。因此,你看到的所有差异都必须归因于处理。简单地说,不存在偏差如果你设置所有人都不接受处理,只观察Y0的结果,你会发现接受处理和未接受处理的群体之间没有差异:

这就是因果识别这项艰巨任务的核心所在。它关乎找到巧妙的方法来消除偏差,使接受处理和未接受处理的群体变得可比,这样你看到的所有差异都可以归因于处理效应。重要的是,识别只有在你了解(或者愿意假设)有关数据生成过程的一些信息时才可能。通常,这是关于处理如何分布或分配的。这就是我之前说过的,仅凭数据本身无法回答因果问题的原因。当然,数据对于估计因果效应很重要。但是,除了数据之外,你总是需要关于数据——特别是处理——如何产生的陈述。你可以通过你的专业知识或干预世界,影响处理并观察结果如何响应变化来获得这一陈述。

最终,因果推断是关于弄清楚世界是如何运作的,剥离所有的幻觉和误解。而现在你理解了这一点,你就可以前进,掌握一些最强大的方法来消除偏差,这些是勇敢和真实者的工具,用于识别因果效应。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/3269756.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

聊一聊知识图谱结合RAG

因为最近在做一些关于提高公司内部使用的聊天机器人的回答准确率,并且最近微软官方也是开源了一下graphrag的源码,所以想聊一聊这个知识图谱结合rag。 rag在利用私有数据增强大模型回答的领域是一种比较典型的技术,也就是我们提出问题的时候&…

网站漏洞扫描软件Burp suite和Xray安装应用及联合使用

目录 1、网站漏洞扫描软件应用-Burp suite 01 burp 扫描工具使用介绍: 02 burp 扫描工具安装过程: 1)获取扫描工具程序包 2)安装部署扫描工具 3)bp安装完毕的基础设置: 3.1)抓取浏览器访…

免费使用正版的Typora教程

1.来到Typora官网下载安装。 Typora官网: https://typoraio.cn/ 2.激活主程序 编辑修改Typora安装目录下文件 下面展示文件目录路径 : D:\SoftWare\Typora1.9.5\resources\page-dist\static\js\LicenseIndex.180dd4c7.4da8909c.chunk.js查找:e.hasAc…

huggingface里的模型如何下载呢?

HF-Mirror加速访问Hugging Face的门户。作为一个公益项目,我们致力于提供稳定、快速的镜像服务,帮助国内用户无障碍访问Hugging Face的资源。https://hf-mirror.com/ pip install -U huggingface_hub export HF_ENDPOINT=https://hf-mirror.com huggingface-cli download

别再浪费时间,快速实施项目管理软件的技巧

国内外主流的10款项目进度管理软件对比:PingCode、Worktile、蓝凌OA、用友、泛微OA、飞书、Asana、Trello、Smartsheet、Jira。 在快节奏的商业环境中,有效地管理项目进度常常是团队成功与否的关键。许多团队面临着项目管理过于复杂,难以迅速…

04 卷积神经网络

目录 1. 基本概念 1.1 卷积神经网络 1.2 卷积 1.3 汇聚(池化) 2. CNN网络架构及参数学习 2.1 网络架构 2.2 参数学习 3. 典型的卷积神经网络 3.1 LeNet-5 3.2 AlexNet 3.3 Inception网络 3.4 残差网络 4. 其他卷积方式 1. 基本概念 1.1 …

ElasticSearch搜索

ES搜索 elastic search 一套搜索引擎技术,主要技术栈包括 Elasticsearch:用于数据存储、计算和搜索 Kibana:用于数据可视化 在数据库模糊查询中,因为不走索引,所以效率很低,而在搜索引擎中,不仅效率高,而且即使出现个别错字,或者用拼音搜索,甚至用同…

LeetCode Hot100 搜索二维矩阵

给你一个满足下述两条属性的 m x n 整数矩阵: 每行中的整数从左到右按非严格递增顺序排列。每行的第一个整数大于前一行的最后一个整数。 给你一个整数 target ,如果 target 在矩阵中,返回 true ;否则,返回 false 。…

本地化部署Chatglm和防踩坑攻略

最近想搞点什么东西练练手,传统crud又没有意义,于是就看到了给介绍AI的文章,然后就慢慢自己摸索,从0到1,独自部署应用。 项目简介 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是…

CVPR`24 | 4D编辑哪家强?浙大首次提出通用指导4D编辑框架:Instruct 4D-to-4D

文章链接:https://arxiv.org/pdf/2406.09402 项目地址:https://immortalco.github.io/Instruct-4D-to-4D/ 今天和大家一起学习的是Instruct 4D-to-4D,可以通过2D扩散模型实现4D感知和时空一致性,以生成高质量的指令引导的动态场景…

selenium----CSS表达式选择元素

前面我们学习了根据 id、class属性、tag名 选择元素。 如果我们要选择的 元素 没有id、class 属性,或者有些我们不想选择的元素 也有相同的 id、class属性值,怎么办呢?这时候我们通常可以通过 CSS selector 语法选择元素。 选择元素 通过 …

22.jdk源码阅读之Thread(上)

1. 写在前面 Java 中的 Thread 类是多线程编程的基础,也是我们日常工作中用的比较多的类,但是你真的了解它吗?下面这几个问题你是否有思考过? start() 和 run() 方法有什么区别?什么是线程的生命周期?什么…

邮件攻击案例系列三:动态 IP 池爆破员工邮箱钓鱼重要客户

案例描述 2023 年 11 月,某制造业企业员工 Emily 接到海外客户电话,向其核实一封电子邮件的真实性,因为客户认为,该邮件所给出的链接不像是该公司的官网网址。Emily 查看自己的邮箱,并未发现客户所说的邮件。但从客户…

RPA:如何一次回答多个问题

洞悉技术的本质,享受科技的乐趣 先完成10%目标,迈出100%之一行动 2分钟的努力也有价值 从每天解决1个小问题开始。 本文介绍如何使用playwright来处理新页面 三句话说清楚问题 一天回答一个问题太慢了,我想一天回答 3个问题 了解基本原理 新页…

YOLOv5改进 | 卷积模块 | 即插即用的递归门控卷积gnConv

秋招面试专栏推荐 :深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 💡💡💡本专栏所有程序均经过测试,可成功执行💡💡💡 专栏目录: 《YOLOv5入门 改…

概率模拟(sigmoid、softmax)

概率模拟(sigmoid、softmax) 1. sigmoid1.1 sigmoid 定义1.2 sigmoid 主要特性1.3 sigmoid 的缺点1.4 代码画 sigmoid 函数图像 2. softmax2.1 softmax 定义与原理2.2 softmax 特点与优势2.3 softmax 应用场景2.4 softmax 实现方式2.5 softmax 注意事项2…

C++从入门到起飞之——友元内部类匿名对象 全方位剖析!

🌈个人主页:秋风起,再归来~🔥系列专栏:C从入门到起飞 🔖克心守己,律己则安 目录 1、友元 2、内部类 3. 匿名对象 4、完结散花 1、友元 • 友元提供了⼀种突破类访问限定符封装的…

在 Jetpack Compose 中使用 CameraX示例

在使用Jetpack Compose开发安卓应用,当在学习使用CameraX组件时发现官方提供的教程不是Compose的。教程地址如下: https://developer.android.com/codelabs/camerax-getting-started?hlzh-cn#1 与是我就记录一下,简单的示例。 内容参考&…

吴恩达的TranslationAgent学习

TranslationAgent构成 整个[TranslationAgent (github.com)]在流程上分为短文本的一次性翻译和长文本的分chunk翻译(按照Token进行划分)。 但是不论长文本翻译还是短文本翻译,总体流程遵循执行、纠正再执行的逻辑循环实现。 这种按照自省思路…

基于JSP的电子商城系统

你好呀,我是计算机学姐码农小野!如果有相关需求,可以私信联系我。 开发语言:Java 数据库:MySQL 技术:JSPJavaB/S架构 工具:Eclipse、Tomcat 系统展示 首页 管理员功能界面 用户功能界面 医…