1、六西格玛统计工具介绍（二）,2014年2月,精益六西格玛理论体系全景图,客户,流程描述,控制计划,测量系统控制,过程能力分析,多变量分析,实验设计,VoC分析,失效模式分析,流程图（I/O）,因果矩阵,统计过程控制,定性分析,定量分析,头脑风暴+KJ失效树鱼骨图Why-Why分析PFMEA对标分析访谈现场调研流程观察,回归分析,软件使用,项目管理,精益六西格玛意识,统计基础,精益工具,基本图表,精益六西格玛持续改进体系,精益六西格玛推行综合管理,课程大纲,假设检验概述相关与回归,统计基础-数据类型,计数型数据（离散型数据，属性型数据）：通常表示事物的分类不良品数量/不良率缺陷品数量/缺陷率机器
2、 A, 机器 B, 机器 C白班/中班/夜班计量型数据 （连续型数据）：通常是通过测量仪器测量得到的数据压力时间长度重量,目录,假设检验相关基础概念总体参数及样本统计量推定置信区间假设检验介绍目的与意义假设检验概念介绍假设检验原理假设检验步骤假设检验常见路径双样本T 与配对T的区别 讨论及问答,假设检验相关基础概念,总体参数与样本统计量,s,= 样本标准差,X,= 样本平均值,参数 估计 统计量,= 总体平均值,= 总体标准差,抽样(Sampling),A,A,B,D,D,D,C,C,C,C,B,标本,估计的概念,点估计：通过抽样用一个具体的值估计总体的参数举例：通过抽样调查中秋月饼的保质期是
3、3个月点估计的种类：平均的估计、标准差、方差的估计、比率的估计等区间估计：通过抽样用一个具体的值估计总体的参数举例：通过抽样调查中秋的月饼的保质期是1-6个月,置信区间,置信区间的概念（Confidence Interval）误差是，相同样本量的样本重复抽样测量样本中存在实际总体参数的可能性的区间，即100（1- ）%置信水平（Confidence Level）是指区间估计时，能够包含总体参数的能力水平，即1- 。,置信区间,90%的置信区间举例如下图如下图总体平均为，连续抽取10个样本，其中有一个样本不包含总体平均95%置信区间的解释：大约100个置信区间中有95个会包含总体参数, 或者我们
4、有95%的把握确定总体参数在置信区间内通常我们计算95%的置信区间,置信区间,置信区间的计算通用公式：置信区间C.I.=统计量K*S（标准偏差）统计量=平均值、方差、Cp等K=统计分布常数正态分布的置信区间公式（ 知道的时候）：样本的置信区间公式（不知道，只能计算S）：样本的平均遵循t分布,置信区间,Minitab中置信区间的计算,这些都可以计算出置信区间,假设检验,假设检验的目的假设检验是对差异较小的情形进行差异性比较，从而通过数据作出客观的判断。是为了解决选择的困难性假设检验的意义用统计的方法，通过数据进行客观的判断把我决策的风险，提高决策水准假设检验是我们政府部门最需要的工具之一。,假设
5、检验,假设检验的概念对观测的样本资料分析后对总体差异的估计是作出选择与否判断的统计性方法假设检验术语假设设定：对要进行判断的情况进行假设设定H0 -Null Hypothesis：说明没有变化或者差异的设定Ha- Alternative Hypothesis：说明有变化或者差异的设定假设设定练习：为了确认小学生男女身高是否有差异为了确认小学生男生比女生高为了确认小学生身高和性别是否有相关性,假设检验,假设检验的种类单边检验 One-sided hypothesis双边检验 Two-sided hypothesis,假设检验的两种错误第1种 错误 (TypeError， -风险)不顾Null H
6、ypothesis 真实. Null Hypothesis放弃的错误 把良品判断为不良的时候（误判） 既, 可以说生产者危险1- 就是置信区间 第2种 错误 ( TypeError， -风险) : 不顾Null Hypothesis 假的. Null Hypothesis接受的错误 不良品当成良品的时候( 漏失 ) 即, 可以说顾客危险1- 是检定力，即检出能力,假设检验的两种错误说明,假设检验的两种错误举例,陪审团的判决,他无罪,事实,实际清白,他有罪,实际有罪,正确,正确,清白的人进监狱,罪犯逍遥法外,I类错误 （-风险）,II 类错误 （-风险）,假设检验,假设检验原理假设检验其实是个比
7、较的过程两种假设的比较，是A还是B？我们总是用H0 来说话我们的初衷多数时候是想看区别和差异，所以我们总是想放弃H0 放弃H0 的决策不会总是正确的 ，任何决定都会有风险但风险的高低及严重度，会影响我们决策于是我们很急切的指导，我们做出放弃H0 的决策的风险有多大？于是我们通过抽样数据进行运算，算出放弃H0 的决策的风险的大小就是我们长见的 P值（P-value）,假设检验,假设检验原理(续)知道了做出放弃H0 的决策的风险的大小，那么风险小于多少时我们才敢于做出放弃H0 的决策呢？于是我们需要提前设定一个风险判断标准 而根据我们承受力的大小及后果的严重度，这个标准各有不同，0.01 、0.0
8、5、0.1 等但我们通常设定 为0.05这也就是我们通常拿P值和0.05 进行大小比较的原因。如果P0.05 接受H0; P0.05 放弃H0 (P Low H0 Go) 理解练习为什么正态检验，等方差检验P要大于0.05？,假设检验,假设检验原理(续) （Significance Level）置信水平：风险判断标准P-value 做出放弃H0 的决策犯错误的最大风险值,p 值,Ho 选择域,Ho弃却域,Ho选择域,Ho弃却域,p值,P值 接受H0不能做决策 ，不能说有差异,TP,T ,TP,T ,假设检验,假设检验步骤,假设 设定,检定统计量选择,留意水准 决定,p-value 计算(弃却域
9、 , 检定统计量 计算),判定（统计结论）p-value 0.05 时 Ho 接受P-值 0.05 时 Ho 放弃,正态数据,标准偏差的置信区间,一个总体,两个以上的总体,2 Sample t(方差相等),2 Sample t(方差不相等),1 Sample t 或者1 Sample Z,Ho: m1 = m (平均值)H1: m1 m (平均值)Stat - Basic Stats - 1 Sample-t (s不知道时候) 1Sample Z (s知道时候),1 Sample-Sign 或者 1 Sample-Wilcoxon,Mann-Whitney Test,两个以上的总体,两个母集团
10、,1-Proportion,2-Proportion,一个总体,两个总体,两个以上的总体,非正态数据,等 方差,Yes,No,Kruskal-Wallis Test,一个总体,一个总体,两个以上的总体,Ho: M1 = M2H1: M1 M2Stat - Nonparametric - Mann-Whitney,Ho: M1 = M2 = M3 = .H1: 至少一个是不一样Stat - Nonparametric - Kruskal-Wallis,Ho: m1 = m2H1: m1 m2Stat - Basic Stats - 2-Sample t “assume equal varianc
11、es”“假定等方差选择按钮” 不选择,Test for Equal Variances(Levenes Test),Test for Equal Variances(F Test or Bartletts Test),Ho: s1 = s2 = s3 = .H1: 至少有一个不一样Stat - Anova - Test for Equal Variances两个总体比较的时候 用F-test,Ho: s1 = s (标准差)H1: s1 s (标准差)标准差的置信区间使用Minitab 路径 Stat -Basic Statistics - Display Descriptive Stats,
12、计量型数据,数据稳定性研究（控制图）,配对T（Paired T）,Ho: D =0 (差值)H1: D 0 (差值)要对差值进行正态性检验Minitab 路径 Stat -Basic Statistics Paired t test （配对T）,假设检验-常用路径图,假设检验 - 单样本T检验,“单样本t检验”解决什么问题？,典型的问题为: “我们抽取了新坐席员Bob的30通电话录音数据，想知道坐席员A的话后整理时长的平均值是否刚好等于考核要求的25秒？”当然问题也可以是“Bob的平均整理时长大于25秒吗？”或者“Bob的平均整理时长刚好小于25秒吗？”,建立零假设和备选假设：平均整理时间等于
13、目标值平均整理时间不等于目标值决定显著性水平： = 0.05（5%）随机抽取30通电话的整理时间数据作为样本选取适合方法计算P值（参考下页详细步骤）依据P值结果做出结论,按照以下步骤完成,如果P值大于或等于0.05，不能推翻零假设 H0如果P值小于a，推翻零假设 H0,选取适合方法计算P值详细过程,使用控制图检验样本数据稳定性,样本量不足，n25,不是正态分布,是正态分布,单样本T检验,单样本T检验,单样本T检验,先把数据转换为正态后再使用单样本T检验,检验数据正态性,数据不稳定应先解决稳定性问题,NO,YES,算出P值,样本数据n个,打开文件1- Making Comparison.JMP,
14、分析路线图 单样本T,步骤1: 检验稳定性,步骤1: 检验稳定性,是否有任何明显的变化趋势或模式，足以证明数据并非来自单一的总体/流程?,步骤2: 检验正态性,1,2,3,4,步骤2: 检验正态性,P 值0.05，数据是正态,步骤 3: 检验均值,Ho: 均值(Bob) = 25Ha: 均值 (Bob) = 25,无法推翻零假设,结论的陈述,由于p值大于临界置信水平（本例中P=0.34680.05），或者说，由于均值的置信区间包含了目标值，我们可以作出下述结论：我们没有足够的证据拒绝零假设。是否可以说零假设是正确的（Bob的均值=25秒）？ 不！但是，我们通常在假定零假设是正确的情况下执行操作
15、。,延伸,如果问题是: “Bob的平均整理时长大于25秒吗？”或者“Bob的平均整理时长刚好小于25秒吗？”如何构造零假设和备选假设？你的结论是什么？如何利用刚才的结果？,假设检验 - 双样本t检验,“双样本t检验”解决什么问题？,典型的问题为: “我们各抽取了坐席员Bob和Jane的30通电话样本，想知道坐席员A和B的平均话后整理时长是否相等？”当然问题也可以是“Bob的平均整理时长大于Jane的平均整理时长吗？”或者“Bob的平均整理时长小于Jane的平均整理时长吗？”,建立零假设和备选假设： Bob的平均值等于Jane的平均值 Bob的平均值不等于Jane的平均值决定显著性水平： = 0
16、.05（5%）随机抽取Bob和Jane各30通电话的整理时间数据作为样本选取适合方法计算P值（参考下页详细步骤）依据P值结果做出结论,按照以下步骤完成,如果P值大于或等于0.05，不能推翻零假设 H0如果P值小于a，推翻零假设 H0,选取适合方法计算P值详细过程,使用控制图检验样本数据稳定性,样本量不足，n25,样本量,在获取数据并试图得出一些陈述之前, 我们需要确定进行这种检验数要多少数据.记住, 我们有一些基于估计值的抽样“经验方法 Rules of Thumb并不要求Bob和Jane的两组样本量一定是相同的注意: 我们将在以后的模块中讲解样本量的计算,工具或统计 最小样本量 平均值5 -
17、 10 标准偏差 25 - 30 有缺陷的比例 (P) 100 并且 nP = 5 直方图 或帕累托图 50 散点图 25 控制图 20,不同工具的样本量,通常:连续数据: 30属性数据 100,步骤1: 检验稳定性,步骤1: 检验稳定性,步骤2: 检验正态性,步骤2: 检验正态性,步骤2: 检验正态性,数据是否为正态分布 ?小 P-Value (.05), 数据为非正态分布注意样本大小的问題,处理数据,JMP喜欢数据按栏输入我们希望下列表格结构:测量的数据至于单独的一栏“标识符”在一栏在我们的范例中, 我们希望有下列栏:坐席员 Operator (用Bob 和 Jane 作为值)话后整理时长
18、 Time (用所用 Bob 和 Jane的通话时间值)我们显然希望这些数据按照测量值和答复电话的人之间适当的关系安排.JMP 能帮助我们完成这项任务,堆叠数据为下一步进行数据格式转换,数据变换,步骤3: 等方差检验,步骤3: 等方差检验,P-值!,Equal Variance Not equal variance,方差不等时的解决方法,步骤4：均值检验,Ho: Mean(Bob) = Mean(Jane)Ha: Mean(Bob) = Mean(Jane),步骤4：均值检验,结论的陈述,由于P值小于临界置信水平（本例中P=0.01570.05，我们可以作出下述结论：我们有足够的证据拒绝零假设
19、,如果问题是: “Bob的平均整理时长大于Jane的平均整理时长吗？”或者“Bob的平均整理时长小于Jane的平均整理时长吗？”,假设检验 多样本比较,假设检验用于比较2个或更多数据样本的均值ANOVA检验陈述的原假设（null hypothesis）是所有样本的均值都相同Ho: a = b = c = d = e ANOVA检验陈述的备择假设（alternate hypothesis） 是至少有一个均值是不同的Ha: 至少一对 是不同的,方差分析 ANOVA,“方差分析（ANOVA）”解决什么问题？,典型的问题为: “我们各抽取了坐席员Bob，Jane和Walt的各30通电话样本，想知道坐席
20、员的平均话后整理时长是否相等？”,建立零假设和备选假设： Ho: Bob = Jane = san 三个坐席员的平均值彼此相等 Ha: 至少一对 是不同的 至少一个坐席员得平均值和其他人不同决定显著性水平： = 0.05（5%）随机抽取Bob和Jane各30通电话的整理时间数据作为样本选取适合方法计算P值（参考下页详细步骤）依据P值结果做出结论,按照以下步骤完成,如果P值大于或等于0.05，不能推翻零假设 H0如果P值小于a，推翻零假设 H0,选取适合方法计算P值详细过程,使用控制图检验样本数据稳定性,样本量不足，n25,步骤1 & 2 不再重复,步骤1：稳定性检验分别使用控制图检验三名坐席员
21、样本数据的稳定性步骤2：正态性检验分别使用分布图检验三名坐席员样本数据的正态性,堆叠数据,步骤3: 等方差检验,Ho: s(Bob) = s(Jane) = s(Walt)Ha: 至少一对S不相等,步骤3: 等方差检验,P-值!,步骤4：均值检验,Ho: Mean(Bob) = Mean(Jane) = Mean(Jane)Ha: 至少有一对均值不相等,步骤4：均值检验,步骤4：均值检验,从左侧圆环可以观察到相互之间是否相等,ANOVA: 我们了解到什么?,有一个操作员与其它操作员之间存在差异同样我们可以从菱形图看到, Walt 用的时间比其它两位操作员用的长一些现在我们需要问 “为什么?”致
22、使长于整体周期的根源是CWalt么?你将如何找到答案?,假设检验 - 非正态（非参数检验）,Mann-Whitney 检验,查看工作表 2- Non-Normal Shipping 中的数据我们希望了解在周末和工作天期间发货的时间是否有差异,遵循分析路径图研究稳定性研究形状研究散布（离散程度）,研究稳定性,我们得到什么结论?,研究正态性,我们得到什么结论?,我们得到什么结论?,注意你一定要堆栈数据.,研究等方差性,p-值! P值不低, 所以我们说, 没有差异.,Wilcoxon/Kruskal Wallis检验,p-值! P值不低, 所以我们说, 没有差异.,中位数检验,总结,全面的数据分析包
23、括查看稳定性，形状，散布（离散程度），居中（中心趋势）和相关性T-检验 (单样本, 双样本) 检查居中, ANOVA (2个或2个以上样本) 检查居中等方差检验检查离散程度检验关系是下一步如要检查的卡方检验,比例数据检验,单比例检验,例：缺陷品率 3 单比例检验.jmp以前，合同审批发现的不合格率为12%对过程进行了变更。从新过程抽样300个产品，其中45个存在缺陷是不合格品请问：过程是否得到了改善,单比例检验步骤,1.) 建立备选假设和零假设,新过程产生12%或更多的的缺陷率,新过程的缺陷率少于12%,单比例检验步骤,2.) 决定显著性水平a = 0.053.) 随机抽取数据抽样数量为300
24、发现有45个产品为缺陷品。,b.) 决定显著性水平：a = 0.05c.) 随机抽取数据：抽样数量为300，发现有45个为缺陷品。d.) 计算P值：分析 分布 检验概率,单比例检验步骤,e.) 比较P值和显著性水平：P-value =0.9507 a = 0.05 0.951 0.05,f.) 结论：所以我们不能否定零假设,流程没有得到改善！,单比例检验步骤,卡方分析,检验相互关系：卡方检验,当y和 x都是属性数据，要检验相互关系时使用我们假设变量是独立的。Ho: 数据是独立的 (不相关)Ha: 数据不独立 (相关)如果p值 以X拟合Y,P值,因为P值=0.000，小于 = 0.05，我们将否
25、定零假设，既学院招生与性别之间并不是独立的，观察马赛克图可以看到教育学院女生比例较高,结论,JMP输出,JMP输出,进一步扩展使用“对应分析”可以看到，图中相距比较近说明而这之间具有紧密关系，例如教育学院和女生而这相距很近，而工程学院和男生距离很近。说明教育女生比例高，工程男生比例高,卡方检验注释,卡方检验是我们本周将学到的“较易分析”工具的一种，但它并不如其他假设检验那样“富有洞察力”属性数据的结果对于卡方检验，为了满足假设，期望频率必须至少为5如果该值小于5 , 将告警数据必须确保随机性注意其他隐藏的因子 （Xs）,范例: 贷款审批通过率,JMP 工作表结构,我们的信用审批部处理小宗商业贷
26、款申请。许多申请得到批准，但有一些被拒绝。部门经理猜想拒绝率可能与该申请是哪天被处理的有关。她的猜想正确吗？,打开文件 5- Loan Approval.JMP,范例: 贷款审批通过率,P值0.05，表明贷款审批时间和通过与否存在显著相关性，本例中周五贷款通过率明显低于其他时间,范例: 贷款审批通过率,对应分析图中周五和拒绝距离比较近,星期五是否不寻常？,第一次卡方检验趋向于显示星期五与其他工作日不同。我们将通过把星期一到星期四相加编为一组，按照通过/不通过计算数目，并与星期五的数据相比较。,JMP 工作表结构,星期五是否不寻常？,P值0.05，表明周五贷款通过率确实和其它天存在显著差别,其他
27、几天呢?,最后，我们不再分析星期五的数据，只分析星期一到星期四。我们试图发现剩下的几天之间是否有相互关系。,JMP 数据表结构,其他几天呢?,还有哪些情况我能使用卡方检验?,行政流程充满属性数据例如：职能： (Y) 和 (X)人力资源: 病假天数和员工或部门财会: 错误的费用报告数和员工或部门销售: 失去的销售额和帐户或区域或国家后勤: 迟到的交货次数和配送中心或国家呼叫中心: 错过的客户电话数和公司人员或班次安装: 反复服务电话数和区域技术（field tech）采购: 订单的交货天数和供应商库存: 零件数和配送中心,如果你的数据成比例或百分比，将其转换为次数#,实际意义,明确问题“我关心吗
28、？”P值可能显示统计上的意义样本容量越大，p值越小对非常大的样本容量而言，即使很小的差异或相互关系通常都比较显著在实际上这些细小的差异可能并不显著通过关注组间差异评估实际的显著性差异是否大到有所影响？如果是，那么在实际中这些差异就是显著的。既统计显著又实际显著的因子可以用于操作流程,相关性分析与简单线性回归,相关性,从这张图我们可以看出什么？这些变量是否相关？,相关性：它对我们意味着什么？,当我们提到相关性时，我们怎么想？广告投入是否与销售量有关？资本的利用与定价是否有关？你认为奥运会溜冰项目两个裁判员之间有多大的相关性？为什么当我携带雨伞时，天色看起来都不会下雨呢？,相关性与回归分析,当y和
29、x都是连续数据，检验相互关系时使用假设变量不相关。 Ho: 数据独立 （不相关）Ha: 数据不独立 （相关）如果p值 .80 或者 80%,相关可能显著 50R280%,需要判断 R250%，相关可能不显著,解释时，请使用可靠的判断,回归分析 - R2,R2 是由回归模型解释可变性的比例评估拟合性的有用方法 （越大越好）R2 的值大，并不 保证良好的拟合性！R2 的值小，并不表示变量不重要！用R2 进行实际的判断是根据对流程和产品的分析，决定模型是否描述了足够的变异,回归分析的缺陷,回归模型可用于内推法，但不能用于在数据范围外的外推法注意一些“X”值的影响注意异常值和坏值，但不要过快地把这些值
30、从分析中去掉注意“胡乱”的相互关系或者错误的结论为了估计响应“Y”，需要知道预测变量“X”,异常值的影响,如果异常值是一个坏值，那么模型评估是错误的，而且误差被放大。然而，如果异常值是真实过程的一个值，它不应该被去掉。它是关于过程的数据的有用的一部分。参考你的日志和回归分析笔记以理解这一点分别评价有这一点和没有这一点的模型以判定其影响。,X= 预测器,Y = 响应,“X” 值的影响,在这个范例中：有影响的点是由于预测器X的值异常大评估数据，有和没有右边远处的那一点,没有这个有影响的点，这条线会呈什么样？,“X” 值的影响,如果在分析中，R2 的值或者拟合斜率有较大的变化，该点的影响就太大。,范
31、例：拟合直线图比较,有着相似的斜率，截距和R2的不同模型,着眼于图，确认搞清统计信息的意义!,关于一座城市的数据显示当鹳的种群密度增加时，城市的人口也增加。鹳是否影响人口？,“胡乱”的相互关系或错误的结论,回归分析的最终检验,打开工作表 8- Mystery Data计算相关系数两个变量是否相关？评审拟合直线图你的结论是什么？对最拟合的线判断回归方程式和相关的R2 的值,提示,属性数据能在一些适当的案例中用此工具顺利执行R2 的值不必“完美无缺”_,总结,当X和Y是离散数据时，运用检验相互关系的卡方检验，是理想的相互关系检验。当X和Y都是连续变量时，使用相关和回归分析。回归分析可作为预测性的工具。当使用回归分析时，小心早期的带们所遇到的普遍的缺陷,
