《谁说菜鸟不会数据分析(入门篇)》总结

一、数据分析方法论

营销方面:4P、用户使用行为、STP理论、SWOT

管理方面的理论模型:PEST5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则等

PEST宏观环境分析

P(political)

政治环境社会性质、执政党性质、方针、政策、法令

政治经济体制、财政税收政策、产业政策等

E(economic)

经济环境

宏观

GDP及其增长率、进出口总额、利率、税率、通货膨胀率、

微观

消费价格指数、居民可支配收入、失业率、劳动生产率

S(social)

社会环境(人口、性别比例、出生率和死亡率、种族结构、生活方式、教育状况、城市特点、宗教信仰等)

T(technological)

技术环境(新技术的发明和发展、折旧和报废速度、技术更新速度、技术传播速度、技术商品化速度、国家重点支持项目、国家投入的研发费用、专利个数和保护情况等)

v PEST——行业分析

v 5W2H——用户行为分析、业务问题专题分析

Why+what+who+when+where

How+how much

逻辑树——业务问题专题分析

要素化:相同问题总结归纳成要素

框架化:要素组织成框架,不重不漏

关联化:框架内的各要素保持必要的相互关系,简单不孤立

v 4P——可了解公司的整体运营情况

产品(有形产品、人员、组织、服务等)、

价格(需求、成本、竞争)、

渠道(生产到用户中间的各个环节)、

促销(广告、宣传推广、人员推销、销售促进)

用户行为理论——用户行为分析

用户使用行为的完整过程:

 

 

二、数据处理

1.数据清洗

清除不必要的重复数据

(1)Excel中的方法

Ø Countif(区域,条件)

编号

重复标记

第二次重复标记

A667708

1

1

A310882

1

1

A520304

1

1

A356517

1

1

A776477

2

1

A466074

3

1

A466074

3

2

A466074

3

3

A776477

2

2

A218912

1

1

Ø 利用excel的高级筛选功能

选择待筛选数据,‘数据’—排序和筛选中’高级’—勾选‘选择不重复的记录’

Ø 条件格式法

选中待筛选数据,‘条件格式’—‘突出显示单元格规则’—‘重复值’

Ø 数据表透视法

选中待筛选数据,分别拖至‘行’和‘数值’

(2)sql

select Email from Person where Id  in (select Id from Person group by Email having count(*)>=2)

(3)删除重复数据

Ø Sql

delete from person where Id not in (select * from (select min(Id) as Id from Person group by Email having count(*)>=1) a)

Ø Excel

选中待筛选数据,‘数据’—‘删除重复项’

填充缺失的数据

平均值/删除/模型训练出的数据/保留缺失记录(样本大,缺失占比小)

(1)EXCEL

Ctrl+G 定位空值

Ctrl+Enter 不连续区域中同时输入同一个数据或公式

查找和替换

检测逻辑错误的数据

Excel中:

If+countif

条件格式:标出逻辑错误的数据

or(逻辑值1,逻辑值2...

and(逻辑值1,逻辑值2...

2. 数据加工

数据抽取

主要工作:

Ø 合并字段

& 运算符

Concatenate(text1text2,text3,text4......)

Texttext,格式)连接文本与数字时,指定数字的显示格式

Ø 截取部分字段(字段分列)

Excel中的分列

Ø 字段匹配

Vlookup(要查找的vlaue,单个区域期中第一列必须是要查找的值area,希望匹配的列序号,近似匹配1精确匹配0)

精确匹配就是指值必须相等

近似匹配指在待查找区域area的第一列找接近又不大于area的值

数据计算

加减乘除、自动求和、求平均值、

日期的加减法:

Today()

返回当前时间

2018/4/7

now()

返回当前时间

2018/4/7 9:55

Ctrl+;

返回当前时间

2018/4/7

Date(year,month,day)

返回指定日期(可用来进行加减)

=DATE(2017,2,8)

2017/2/8

=DATE(YEAR(G6)+10,MONTH(G6)+6,DAY(G6)+10)

2027/8/18(比上一个多了10年,6个月,10天)

 

Datedif(起始日子,结束日期,unit)

返回两个日期之间的年//日间隔数

Unit取值:

Y:相差年份

M:相差月份

D:相差天数

YM:相差月份(忽略了年份和天数)

MD:相差天数(忽略了年份和月份)

YD:相差天数(忽略了年份)

=DATEDIF(G6,H6,"Y")&""

10

=DATEDIF(G6,H6,"MD")&"天(忽略年份和月份的天数)"

10天(忽略年份和月份的天数)

=DATEDIF(G6,H6,"YM")&"月(忽略年份和天数)"

6月(忽略年份和天数)

=DATEDIF(G6,H6,"YD")&"天(忽略年份天数)"

191天(忽略年份天数)

=DATEDIF(G6,H6,"D")&""

3843

 数据分组

vlookup

数据转换

‘选择性粘贴’—‘转置’

多选转化为0-1

=IF(ISNUMBER(HLOOKUP(find_value,area,列序号,0/1)),1,0)

=IF(ISNUMBER(SEARCH(find_value,with_text)),1,0)

数据抽样

Rand()函数

返回(0,1)的均匀分布随机数,每次计算工作表时都将返回一个新的数值

数据分析方法

数据分析的作用:现状分析、原因分析、预测分析

三大作用对应的分析思路:对比、细分、预测

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/353235.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

《谁说菜鸟不会数据分析》

一、数据分析概况 (一)、数据分析是“神马”? 1.数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将他们进行汇总、理解并消化, 以求最大化的开发数据的功能 ,发回数据的作用。 2.数据分析…

谁说菜鸟不会数据分析(SPSS篇)----- 学习笔记

SPSS变量尺度跟数据类型百分位值:将数据从小到大排序,用n-1个数据点将数据分成n等份集中趋势:反映数据向其中心值凝聚的程度,对数据一般水平的概括性度量离散趋势:反映数据偏离中心值的程度,是衡量集中趋势…

谁说菜鸟不会数据分析 | 学习笔记 (全)

一.前言 数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程 数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来,总结出所研究对象的内在规律。在实际工作中,数据分析能够帮助管理者进行判断和决策&…

java SSM 互助旅游管理系统myeclipse开发mysql数据库springMVC模式java编程计算机网页设计

一、源码特点 java SSM 互助旅游管理系统是一套完善的web设计系统(系统采用SSM框架进行设计开发,springspringMVCmybatis),对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采…

元宇宙,现状,路径与未来

现在,如果你还不知道元宇宙这个词,那应该直接投诉村村通工程怎么还没修到乡下..…事实上,自从半年前,当已经头发斑白的路边大爷摇在躺椅上一边喝着茶一边问我什么是元宇宙时,我就察觉到元宇宙在各种人士的吹捧下已经火…

Linux 如何查看 隐藏文件大小,某个文件大小,文件夹大小

du -sh dir or file du -sh 后面跟目录或者文件,你要看哪个文件或者文件夹的大小,后面就跟上名字就好,可以写n个。 我截图的后面就是一下看了四个文件夹的大小 命令是简单,记录一下,免得下次用的时候,又…

win11怎么查看隐藏文件

出于隐私等方面的考虑,有些网友给自己的文件做了一些隐藏的处理,但是时间久后就不知道隐藏文件在哪里,该怎么找到win11隐藏文件。那么win11怎么查看隐藏文件?下面小编就教下大家查看win11隐藏文件的方法。 我们需要先取消文件隐藏…

查看计算机桌面隐藏文件夹,电脑怎么查看隐藏文件(隐藏文件夹显示方法)

很多朋友在使用电脑的时候,都会将一些较隐私的文件给隐藏起来,怎么隐藏文件相信都难不倒大家。但是该如何将隐藏文件显示出来呢?这可以说是难道了一大片朋友,针对这一问题,这里小编就给大家介绍显示隐藏文件夹的操作方法。 相信大…

Linux下查看隐藏文件命令

参考 Linux下查看隐藏文件命令 - 云社区 - 腾讯云 一般的Linux下的隐藏目录使用命令ls -l是查看不出来的,只能查看到文件及文件夹 查看Linux下的隐藏文件需要用到命令 ls -al 其他查看文件目录命令: ls -lll ls -l /

macOS: 查看隐藏文件

在Mac下,如果无法显示隐藏文件: 按 command shift . 即可显示隐藏文件: 复按 command shift . 即可再次将之隐藏:

winscp 查看隐藏文件

WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端,个人觉得非常好用,下面讲一下我遇到的问题吧今天要修改.htaccess 问题,之前使用WinSCP都没有发现这个问题,今天发现没有办法在远程的目录里找到隐藏的.htaccess这里解释一…

跟着LearnOpenGL学习6--变换

文章目录 一、前言二、向量2.1、向量与标量运算2.2、向量取反2.3、向量加减2.4、长度2.5、向量相乘 三、矩阵3.1、矩阵的加减3.2、矩阵的数乘3.3、矩阵相乘 四、矩阵与向量相乘4.1、单位矩阵4.2、缩放4.3、位移4.4、旋转4.5、矩阵的组合 五、变换实战5.1、GLM配置5.2、GLM测试5…

流氓软件篡改微软EDGE浏览器主页面的那些伎俩

微软的EDGE浏览器很好用,但也很容易被绑架,在网上下载各类免费软件,只要你安装完,十有八九就给你把主页改成某某导航了。尽管打开EDGE直接进入360、毒霸、好123等链接对上网影响也不大,打开这些导航页面后,…

npm install报错 -> npm ERR! Unexpected token ‘.‘ 报错解决办法

原因: 我遇到这个问题的场景是用nvm1.1.7的版本安装了16.x以上的node, 然后再下载依赖的时候就报错了 总结一下就是nvm版本太低了,他的里面没有集成高版本node导致的 解决: 我们把nvm版本换到最新的就可以了 1. 卸载掉当前所有的node nvm …

如何不出国一年内拿到加拿大女王大学金融硕士学位证书?

作为加拿大最好的公立大学之一,QueensUniversity位于安大略省的金斯顿市。最近,它在QS全球大学排名中跻身第209位,同时在加拿大的综合排名中名列第7位。这表明女王大学在学术研究和教育方面都有着出色的表现。Queens University坐落于安大略省…

跨境电商如何进行仓储物流管理?

跨境电商如何进行仓储物流管理? 01跨境电商仓储物流管理痛点在哪? 供应链不稳定:因为要涉及多个国家的生产和供应环节,跨境物流的过程中还需要遵守目的地国家和货物品类的规定,这会增加仓储和物流成本,并…

图像压缩编码基础——笔记整理

图像压缩基础 1)压缩的原因:数字视频码率高达216Mb/s。数据量之大,无论是网络传输,还是存储都构成巨大压力。在保持信号质量的前提,要降低码率及数据量。 2)压缩的原理: 图像信息存在着大量的规律性或相关性,在传输的前一个样值中…

批量图片压缩解决方案之Imagine

背景: 一个网站或者App,在运维过程中,为了节省流量,提升页面响应时间,往往会对图片进行批量压缩,从而减少浏览器加载一个页面的整体体积。而图片压缩之后又要保证图片尺寸不变,质量损失较小&…

ImageIO的图片压缩算法

调用CompressPictureUtils.compress(要压缩的图片路径,保存的图片路径)可以对图片进行压缩。 左边的原图,右边是压缩后的图片。 调用函数的方法: public static void main(String[] args) {CompressPictureUtils.compress("D:\\1.jpg&q…

图像压缩原理

原文网址:http://blog.csdn.net/newchenxf/article/details/51693753 转载请注明出处。 1 图像可压缩的原因 一张原始图像(1920x1080),如果每个像素32bit表示(RGBA),那么,图像需要的内存大小 1920x1080x4 …