搜索

数据分析入门总结-不定时更新

gecimao 发表于 2019-08-25 09:41 | 查看: | 回复:

  :对于一个转行做数据分析的我来说,最让自己头疼的是搞不清数据分析的流程、方式,不知道该怎么开始一个练手项目。逛知乎、找度娘、看数据分析书籍,写这篇文章目的是想巩固知识,让自己不断复习!

  注:如果是自己提出的需求,需要注意以下三点a.选择感兴趣的行业b.保证有准确数据供应c.选择细分切入

  a.数据获取:公开网站(国家统计局、各行业网站等),专门做数据整理的网站(淘宝),自行搜索收集(调查问卷、复制粘贴)

  b.数据清洗整理:数据异常值、缺失值、重复记录、非数值型数据转标签数据等;

  3西格玛原则:如果数据服从正态分布,异常值被定义为一组测定值中与平均值的偏差超过3倍的值 → p(x - μ 3σ) ≤ 0.003

  箱型图:四分位=i(n+1)/4,如果上四分位=6.75,那么上四分位=第六个值0.65+第七个值0.25;

  内限:Q3+1.5IQR与剔除异常值的最大值两者取小,Q1-1.5IQR与剔除异常值的最小值两者取大;

  外限:Q3+3IQR与剔除异常值的最大值两者取小,Q1-3IQR与剔除异常值的最小值两者取大;

  比如:八个产品有两个指标AB,A权重0.6,B权重0.4,判断哪个产品综合指标最好

  方法:先定义区间分组,再画直方图,求频率.value_counts后得到频数,频率=频数/频数的总数,累计频数/累计频率.cumsum()

  b.定性数据:除去极差,直接看频数频率累计频数累计频率,画直方图df[].plot(kind=bar),画饼图plt.pie

  a.绝对数比较:相减,适用于量级上差距不大。如AB产品的销量,用折线图、多元柱状图、正负堆叠图、差值折线图

  aa.纵向对比:累计增长量 = 报告期水平 - 固定基期水平;逐期增长量 = 报告期水平 - 报告期前一期水平;定基增长速度=累计增长量/固定基期水平;环比增长速度=逐期增长量/报告前一期水平;

  cc.比例比较:各项与各项比较。比如:工资与消费的比例[].plot.area;

  dd.结构比较:各项占总体的比重,反应总体内部结构。比如:1号产品A销售在一周内的占比;

  步骤:(1)累计频率分布:次数、累计次数、累计频率(2)标准化取值-把非正态分布变成正态分布:(值-均值u)/std标准差(3)查阅标准正态分布,对应出理论值(4)D=累计频率-理论分布的最大值(5)所得出的最大值对照显著性对照表,求出p值是否大于0.05,若大于则满足g(x)

  a.pearson相关系数:必须满足正态分布,通过公式得到系数0.5就相关

  b.sperman相关系数:适用于非正态分布,通过公式得到系数0.5就相关

  如果一个样本在特征空间中k个最邻近的样本中大多数属于某一列,那么该样本也属于那一列。所以,KNN算法结果取决于k的选择;

  强关联规则:大于或等于最小支持度阈值和最小置信度阈值的规则叫做强关联规则。

  区别:apriori算法多次扫描交易数据库,每次利用候选频繁集产生频繁集;而FP-growth则利用树形结构,无需产生候选频繁集而是直接得到频繁集,大大减少扫描交易数据库的次数,从而提高了算法的效率。但是apriori的算法扩展性较好,可以用于并行计算等领域

  1. 关于诊断X线机准直器的作用,错误的是()。 (6.0 分) A. 显示照射野 B. 显示中心线 C. 屏蔽多余原射线 D. 吸收有用射束产生的二次射线 E. 把病人接受剂量限制到最低 参考答案: D 本题解释 2# 2. 影像增强器的工作原理,错误的是()。 (6.0...

  1. 下列叙述错误的是()。 (2.0 分) A. 质量管理包括QA和QC一切活动的全部过程 B. 影像质量是指对诊断的价值 C. 质量管理是指制订质量计划并为实现该计划所开展的一切活动的总和 D. 管理是指导和控制各组织的相互协调活动 E. TQM是指质量管理 参考答案:...

  数据分析方法分为四大类: 1、单纯的数据加工方法 a.描述性统计分析(集中、离中趋势分析和数据分布) b.相关性分析 2、基于数理统计的数据分析方法 方差分析、回归分析(特指一元线、基于数据挖掘的数据分析方法 a.聚类分析 b.分类分析(决策树、人工神...

  国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 by Dr_Ting公众号:庭说移步获得更友好的阅读体验 Q/GDW XXXX-201X《面向对象的用电信息数据交换协议》是根据《国家...

  如今,智能魔镜就是人们将传说中的魔镜在现实生活中打造出来的新科技产品,而且逐渐走进千家万户。 智能魔镜,它是一面镜子,但又不仅仅是一面镜子。因为在镜面显示器后面植入了智能系统,能够帮助你解决各种问题,堪称家庭生活的“智能管家”。 它可以是墙上的装饰物,发挥镜子的本职工作。当...

  1. 关于学校面试问题,给我一个不录取你的理由 不够努力不够上进,对学习充满了反感,只要思想积极努力上进,我相信耿丹学院很欢迎你的到来。 2. 学校录取分数线是多少 耿丹学院是一所三本院校,北京市的理科省控线分,文科省控线分,其他省市的根据各地方三本院校的录...

  读读历史,哪有什么英雄豪杰。想来金庸先生也是这样想的,于是他创造了一个武侠世界,让我们去感叹乔大侠和郭大侠! 看看朝廷之上,有多少恩恩怨怨,奸奸恶恶!哪里来的为国捐躯为民请命的正人君子! 历史悠久积重难返,可是难道真的没有一个美好的明天吗? 种瓜得瓜 种豆得豆!

  下班时,天开始下雨。 但天气预报说,天不会下雨。我看,不是老天爷不靠谱,而是了解老天爷,实在太难。这就好比人要小便,你不能准确说,某人一定会在几点几分尿出来。 不过还好,我带着雨衣。虽然很旧,但这个雨衣的颜色却很喜庆。还有一个帽沿,雨衣的前部还可以套在车子把上,这对我来说已...

  如果问有没什么菜,可以让人觉得你很厉害,但实际上却不复杂的菜,那么我会推荐卤牛肉。 这道菜,只有按一个靠谱的方子,把食材按重量称好,两三个步骤一步步做完,出品必然惊艳。 而关键,就在于要有一个靠谱的方子。 那么靠谱的方子在哪呢? 这篇文章就是。 首先,卤牛肉,选材很重要。 ...

本文链接:http://kingstonflowers.net/dingshifenxi/1093.html
随机为您推荐歌词

联系我们 | 关于我们 | 网友投稿 | 版权声明 | 广告服务 | 站点统计 | 网站地图

版权声明:本站资源均来自互联网,如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

Copyright @ 2012-2013 织梦猫 版权所有  Powered by Dedecms 5.7
渝ICP备10013703号  

回顶部