《谁说菜鸟不会数据分析》学习笔记 第三章数据准备 第四章数据处理

这本书是基于Excel讲解的,顺便复习了下Excel的用法,笔记只记录我觉得有用的内容。

第一章 数据分析那些事儿
第二章 确定分析思路
第三章 数据准备
第四章 数据处理
第五章 数据分析
第六章 数据展现
第七章 图表优化
第八章 数据分析报告

第三章 数据准备

3.1 理解数据
对数据理解是数据分析的一个重要前提。
3.1.1 字段与记录
3.1.2 数据类型

常用数据类型课归结为两大类:字符型、数值型。
字符型数据
字符型数据不具有算术运算能力的文本数据类型。
字符型数据属于分类数据,即可按字符型数据进行分类统计,比如按性别、部门分类统计。
excel中字符型数据在单元格中默认左对齐
数值型数据
可进行算术运算的数据类型。
对数值型数据进行分类统计,一般先将数值型数据进行分区间处理,再按区间段进行分类统计。
excel中数值型数据在单元格中默认右对齐
3.1.3 数据表要求
在这里插入图片描述
一维表的判断标准就是看其列的内容,每一列是否是一个独立的变量,如果是,即为一维表。
在这里插入图片描述
3.2 数据来源
导入外部数据、自己录入数据
3.2.1 导入数据
这里讲的是excel操作
3.2.2 问卷录入要求
问卷的数据类型分为以下几类:
数值题
数值题一般要求被调查者填入相应的数值,或者打分,录入时只需输入被调查者实际填入的数值即可。
单选题
答案只有一个选项,录入时可采用1、2、3、4分别代表A、B、C、D四个选项。
多选题
答案有多个选项,多选题的录入有两种方式:二分法和多重分类法。
**二分法:**把每个相应选项定义为一个变量,每一个变量值均进行如下定义,“0”代表未选,“1”代表已选,示例问卷中被调查者选ACF,则在ABCDEFG的选项中分别录入1、0、1、0、0、1、0。
**多重分类法:**比如用1、2、3、4、5、6、7分别代表选项A、B、C、D、E、F、G。
排序题
排序题的录入与多重分类法类似,先定义录入的数值,然后按照被调查者填写的顺序录入选项。
开放性文字题
定性分析

第四章 数据处理

数据清洗、数据合并、数据抽取(拆分)、数据计算、数据转换
4.2 数据清洗
4.2.1 重复数据处理
1、函数法
countif()
在这里插入图片描述
在这里插入图片描述
刀住范围与不刀住范围的区别
2、高级筛选法
筛选非重复值
在这里插入图片描述
3、条件格式
4、数据透视表
行标签和值这里都用字段“编号”
在这里插入图片描述
删除重复数据:
在这里插入图片描述
4.2.2 缺失数据处理
一般情况下,可以接受的标准是缺失值在10%以下。
一般使用4种方法处理缺失值。
方法1:用一个样本统计量的值代替缺失值。最典型的做法就是使用该变量的样本平均值代替缺失值。
方法2:用一个统计模型计算出来的值去代替缺失值。常用的模型如回归模型。
方法3:将包含缺失值的记录删除,但可能会导致样本量减少,需慎用。
方法4:将包含缺失值的记录保留,仅在相应的分析中做必要的排除,在调查样本比较大,缺失值的数量又不是很多,而且变量之间也不存在高度相关的情况下,采用这种方式处理缺失值比较可行。
1、批量填充
使用定位条件功能进行批量定位选择。
开始-查找与选择-定位条件(快捷键 CTRL+G或F5)
定位条件中选择空值,确定,则找出所有空值
在这里插入图片描述
输入“=”,再按下“↑”,再按CTRL+enter,所有控制都填充为“↑”所指的单元格中的数值。
再通过复制-粘贴-值得方式批量去除公式,可以提升excel得运行速度与效率。
2、查找替换
在这里插入图片描述
4.2.3 空格数据处理
处理空格数据常用得方法有2种,一种是查找替换得方法,另一种就是使用trim函数将空格批量去除。
trim函数只会删除字符串(不限中英文)中前后的空格,字符串中间的空格不会被删除。

4.3 数据合并
4.3.1 字段合并

1、concat函数
经过concat函数连接得到的结果是字符型数据。
在这里插入图片描述
合并年月日字段,=concat(A1,’-’,B1,’-’,C1)
在这里插入图片描述
2、连接符&
不关连接的数据为数值型数据还是字符型数据,连接得到的结果都是字符型数据。
合并年月日字段,=A1&"-"&B1&’’-’’&C1
在这里插入图片描述
concat和连接符&得到的日期都是字符型数据,就不能进行日期计算了,EXCEL能识别的日期类型是date函数。
在这里插入图片描述
合并年月日,=date(A1,B1,C1)
在这里插入图片描述
4.3.2 字段匹配
vlookup函数查找匹配
根据查找值,再数据表的首列搜索制定的查找值,并返回指定的查找值所在行中的制定列处的值。
在这里插入图片描述
注意:table_array的第一列的值必须包含要查找的值(lookup_value),否则就会出现错误标识符“#N/A”,
还有两种情况会出现#N/A,
1、数据存在空格,此时可用替换功能或函数trim批量将空格去除;
2、共同的关键字段数据类型不一致,此时将类型转为一致即可。
在这里插入图片描述
4.4 数据抽取(拆分)
4.4.1 字段拆分
1、菜单法
数据-分列
在这里插入图片描述
得到的结果是数值型数据。
2、函数法
用left、right、mid函数进行字段拆分。
在这里插入图片描述
字符串开始位置为1,从身份证号中提取年份,是mid(A1,7,4)第七个数字开始取4位。
经过文本类别函数处理后的结果均为字符型数据,字符型数据在单元格中默认靠左对齐。
4.4.2 随机抽样
EXCEL随机抽样可用rand函数。
在这里插入图片描述
若要产生60~70之间的随机数,写成 =rand()*10+60,要取整的话用公式 =int( rand()*10+60)
还可使用randbetween()函数,比如=randbetween(1,23),随机生成1~23之间的序号。

4.5 数据计算
4.5.1 简单计算
简单计算就是字段通过加、减、乘、除等简单算术运算就能得到结果。
4.5.2 函数计算
1、日期计算
在这里插入图片描述
而直接相减只能得到天数。
在这里插入图片描述
2、数据分组
在EXCEL中使用IF和vlookup两个函数可实现数据分组。
IF函数分组
在这里插入图片描述
分为2组,用1个IF
在这里插入图片描述
分为3组,用2个IF
在这里插入图片描述
VLOOKUP函数分组
IF函数有嵌套层数限制,且嵌套越多越繁琐,可以使用VLOOKUP函数的模糊匹配功能进行数据分组。
第一步,准备一个分组对应表。下图中J列“阈值”是指每组覆盖的数值范围中的最低值,K列“分组”记录每一组的组名、标签。
在这里插入图片描述
这里VLOOKUP函数最后一个参数range_lookup为1,表示使用的是模糊匹配(不为0或省略)。

4.6 数据转换
4.6.1 数据表行列互换
选择性粘贴-转置
其它常用选择性粘贴
在这里插入图片描述
4.6.2 二维表转一维表
利用数据透视表实现,这里很神奇
ALT+D,P 打开“数据透视表及数据透视图导向”,选择“多重合并计算数据区域”
在这里插入图片描述
在这里插入图片描述
选中数据源,添加,下一步
在这里插入图片描述
生成下表,双击E10单元格,数据透视表变为普通表格,并得到一维表
在这里插入图片描述
在这里插入图片描述

4.6.3 数据类型转换
1、文本转数值
数据-分列,并非真的分列,而是改成常规数据类型
在这里插入图片描述
还可用value函数、或者对它自己本身做一个不改变大小的运算,如加0,减0,乘1,除1,数据量大时,使用分列功能效率最高。
2、数值转文本
数据-分列,改变为文本数据类型
在这里插入图片描述
还可用text函数。
3、数值转日期
数据-分列,换成日期型
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/353259.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

谁说菜鸟不会数据分析-入门篇

第一章 数据分析那些事儿 1.1 数据分析是“神马” 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将他们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。数据分析是 为了提取有用信息和形成结论而对数据…

超级菜鸟怎么学习数据分析?

作者:陈老师,在咨询行业打拼了9年,在如何诊断经营问题、建立分析体系、解决专项问题上有超过30个大型项目积累与实战,天善智能特邀专家。 个人公众号:接地气学堂 博客:https://ask.hellobi.com/blog/chenwe…

Spyder 入门基础学习《谁说菜鸟不会数据分析》-方小敏著 读书笔记

写在前面:本文作者购买了《谁说菜鸟不会数据分析》-方小敏著 这本书,感觉写的非常好,遂作为日常读书笔记进行了记录。推荐使用python进行数据分析的初学者购买此书学习。 (文章中部分内容来自推荐图书《谁说菜鸟不会数据分析》方…

谁说菜鸟不会数据分析python pdf_《谁说菜鸟不会数据分析》系列

2.png 3.png 4.png 5.png 6.png 7.png 1.png 什么是数据分析 用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能 数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概况总结的过程 …

Python实现《谁说菜鸟不会数据分析(入门篇)》的案例

这段时间在学习Excel和Python相关内容,Excel数据分析入门有一本《谁说菜鸟不会数据分析(入门篇)》,内容细致,简洁易懂,注重培养分析的思维而不仅仅是告知方法。在学习Python过程中萌发了通过使用Python的方…

《谁说菜鸟不会数据分析》之数据分析

什么是数据分析? 顾名思义,数据分析就是对数据进行分析。 可是,数据分析的真正定义是什么呢? 数据分析是指利用适当的统计分析方法对收集来的大量数据进行分析,将他们加以汇总消化并理解,以最大化地开发…

Python 中的 SOLID 原则

💂 个人网站:【海拥】【摸鱼游戏】【神级源码资源网】🤟 前端学习课程:👉【28个案例趣学前端】【400个JS面试题】💅 想寻找共同学习交流、摸鱼划水的小伙伴,请点击【摸鱼学习交流群】 SOLID 是一组面向对象…

谁说菜鸟不会数据分析(工具篇)

《谁说菜鸟不会数据分析(工具篇)》 基本信息 作者: 张文霖 狄松 林凤琼 出版社:电子工业出版社 ISBN:9787121204098 上架时间:2013-6-14 出版日期:2013 年6月 开本:16开 页码&#x…

谁说菜鸟不会数据分析,不用Python,不用代码,学会这些技能,让你秒变分析大神

作为一个菜鸟,你可能觉得数据分析就是做表格的,或者觉得搞个报表很简单。实际上,当前有规模的公司任何一个岗位如果没有数据分析的思维和能力,都会被淘汰,数据驱动分析是解决日常问题的重点方式。 很多时候&#xff0…

《谁说菜鸟不会数据分析》学习笔记 第一章总览 第二章数据分析思路

网上的信息太琐碎了,根本没搞懂什么是数据分析方法什么是数据分析方法论,所以找了一本比较简单的书来系统学习一下,本来打算粗略看完,但是觉得这本书知识还是不错的,所以决定在未来一周把这本书用心学一下。 这本书是基…

《谁说菜鸟不会数据分析》学习笔记 第八章数据分析报告

第8章 数据分析报告 8.1 什么是数据分析报告 8.1.1 数据分析报告是什么 数据分析报告是用于研究事物的现状、问题原因,并得出结论,提出解决方案的一种应用文体。 是决策者认识事物、了解事物、掌握信息的主要工具之一。 8.1.2 数据分析报告的原则 &…

谁说菜鸟不会数据分析(入门篇)----- 学习笔记4(数据分析方法)

1、数据分析方法 数据分析作用与对应的分析方法 数据分析作用基本方法数据分析方法现状分析对比 对比分析、平均分析、总和评价分析 原因分析细分 分组分析、结构分析、交叉分析、杜邦分析 漏斗图分析、矩阵关联分析、聚类分析 预测分析预测 回归分析、时间序列、决策树、神经网…

《谁说菜鸟不会数据分析》学习笔记 第五章数据分析

第五章 数据分析 5.1 数据分析方法现状分析5.1.1 对比分析法5.1.2 分组分析法5.1.3 结构分析法5.1.4 分布分析法5.1.5 交叉分析法5.1.6 RFM分析法5.1.7 矩阵关联分析法5.1.8 综合评价分析法 原因分析5.1.9 结构分解法5.1.10 因素分解法5.1.11 漏斗图分析法 预测分析5.1.12 趋势…

产品读书《谁说菜鸟不会数据分析(工具篇)》

系列二:谁说菜鸟不会数据分析(工具篇) PPT查看1 、PPT查看2 第一章 : 高效处理数据 查询语法: SELECT 字段1,字段2,字段3 FROM 表 WHERE 条件1 AND 条件2 AND 字段 IN(条件1,条件2,条件3) O…

《谁说菜鸟不会数据分析》之探索性数据分析

探索性数据分析是运用一些分析方法从大量的数据中发现未知且有价值信息的过程。 分类 探索性数据分析可分为以下4种: * RFM分析 * 聚类分析 * 因子分析 * 对应分析 RFM分析 RFM分析是针对销售行为的一种分析方法,在SPSS中有对应的分析模块&#…

产品读书《谁说菜鸟不会数据分析(入门篇)》

PPT查看1 PPT查看2 思维导图下载 ppt下载 什么是数据分析?怎么样才是数据分析的思维?数据分析的流程有哪些?常用的数据方法又有哪些?工具呢?可以学习的网站有哪些?我觉得《谁说菜鸟不会数据分析&#…

谁说菜鸟不会数据分析,不用Python,不用代码也轻松搞定

作为一个菜鸟,你可能觉得数据分析就是做表格的,或者觉得搞个报表很简单。实际上,当前有规模的公司任何一个岗位如果没有数据分析的思维和能力,都会被淘汰,数据驱动分析是解决日常问题的重点方式。 很多时候&#xff0c…

【HTML】第 1 节 - HTML 初体验

欢迎来到博主 Apeiron 的博客,祝您旅程愉快 。 时止则止,时行则行。动静不失其时,其道光明。 目录 1、缘起 2、HTML 概念 2.1、HTML 定义 2.2、标签语法 3、HTML 基本骨架 4、标签的关系 5、注释 6、总结 1、缘起 最近在学习微信小程…

《谁说菜鸟不会数据分析(入门篇)》总结

一、数据分析方法论 营销方面:4P、用户使用行为、STP理论、SWOT 管理方面的理论模型:PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则等 PEST(宏观环境分析)P(political)政治环境(社会性质、执政党性质…

《谁说菜鸟不会数据分析》

一、数据分析概况 (一)、数据分析是“神马”? 1.数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将他们进行汇总、理解并消化, 以求最大化的开发数据的功能 ,发回数据的作用。 2.数据分析…