数据实证培训有效性.pdf

1、实证培训有效性吴屹华 职鼎 首席数据分析师“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker吴屹华2发明专利10+SCI学术发表123知识版权内训师培养效能提升研究线上线下学习对比研究#内训师2018Teaching and learning in Medicine#专业拜访技巧2019American Psychological Association#区域业务计划教学有效性提升方案研究2021Development and Learning in O

2、rganization#网络科室会学习到工作转化实验研究2022International Journal for Research in Vocational Education and Training#培训绩效3年学习结果&成本对比研究2022Industrial and Commercial Training#自主学习目标设定对学习效果的推动2022Journal of Workplace Learning#学习与转化MUAS数据报告促进学习转化2023Frontiers in Psychology#学习行为与绩效结果挖掘学习数据与业务绩效数据相关性研究2023Journal of C

3、omputer-Assisted Learning职鼎 首席数据分析师“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker1 手中得有牌2 牌要有质量3 出牌有技术1.培训有效需要什么数据？2.怎样提高数据的质量？3.如何数据实证有效性？分享内容“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker50%No不确定？50

4、%No认为有效 数据支持 结论我们的培训对绩效有效果吗？能证明吗？“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter DruckerRESULTSIMPACTLEARNINGREACTIONLevel4Level3Level2Level1Did training Influence

5、 performance?Did training Change behavior?Did training Influence performance?Did training Enjoy the training?Reference：Kirkpatricks Model-Four Levels of Training Evaluation（1959）The Performance Equation:The Formula for Dramatic and Sustainable Performance，Douglas Peters（2004）什么是培训有效性呢？绩效领域学习领域“You c

6、ant manage what you cant measure.If you cant measure it,you cant improve it.”Peter DruckerReference：The Performance Equation:The Formula for Dramatic andSustainable Performance，Douglas Peters（2004）能力成长环境障碍 意愿提升=绩效增长P绩效公式管理培训与发展常量绩效领域聚焦能力成长对绩效的贡献.“You cant manage what you cant measure.If you cant mea

7、sure it,you cant improve it.”Peter Drucker综合层级Synthesis 应用层级Application 理解层级Understanding 记忆层级Memorizing MUAS 能力成长阶梯高 阶 认 知 能 力 初 阶 认 知 能 力 BEING在不同情境灵活运用DOING能够操作应用UNDERSTANDING理解背后的原因KNOWING知道概念和术语行为的展现Reference：Bloom Taxonomy of Cognitive,Benjamin Bloom（1956）Bloom Taxonomy Revised,LW Anderson（200

8、0）布鲁姆认知分类REMEMBERING FIND OR REMEMBER INFORMATION UNDERSTANDING UNDERSTANDING&MAKING SENSE OUT OF INFORMATION APPLYING USE INFORMATION IN A NEW(BUT SIMILAR)SITUATION CREATING USE INFORMATIONTO CREATE SOMETHING NEW ANALYZING TAKE INFO APART&EXPLORE RELATIONSHIPS CRITICALLY EXAMINE INFO MAKE JUDGEMENT

9、S EVALUATING 学习领域聚焦认知提升到能力成长.“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter DruckerMUAS 成长阶梯MUAS场景测量路径顺序 练习数量For 学员 For 业务单元 For 组织 For 培训数据驱动能力成长测量2 MUAS培训实施3数据收集4建立目标和假设1洞见分析5学习意愿 行为数据 自我认知 元认知反馈设计周期负荷学习效果绩效转化结果过程数据数据实证的整体流程“You cant manage what you cant m

10、easure.If you cant measure it,you cant improve it.”Peter Drucker效率Efficiency效果Effectiveness人才Talent绩效Performance业绩增长率达成率参与人数/BU学习周期/时间训练频次元认知水平成长潜力学习画像MUAS成绩能力成长知识水平绩效领域 学习领域1.建立目标“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker+综合层级Synthesis 应用层级Appli

11、cation 理解层级Understanding 记忆层级Memorizing MUAS 能力成长阶梯高 阶 认 知 能 力 初 阶 认 知 能 力 情景判断测验 SJT“A type of psychometric test that examines employee on a series of work-related questions.”一种心理测试，就一系列与工作有关的问题对员工进行考察2.MUAS能力成长阶梯【既能提升也能测准】.Reference：https:/“You cant manage what you cant measure.If you cant measure

12、 it,you cant improve it.”Peter Drucker场景化试题设计 选择体现专业能力的高频场景 明确正确行为的标准表现 列举高频发生的非正确行为知识概念试题设计 专业术语的定义与解释 明确核心关键知识和概念2.编制MUAS场景化SJT行 为 和 观 念 知 识 与 概 念 1.定位细化的测量目标综合层级Synthesis Measurement应用层级Application Measurement理解层级Understanding Measurement记忆层级Memorizing Measurement每道试题均有试测参数指标指导调优持续迭代优化3.调优试题依据参数数

13、据3步流程确保MUAS 测量质量.“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter DruckerMUAS 测量体验.MUAS自适应测评体验扫码参与*成绩达到80+，可获得100元星巴克咖啡卷“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter DruckerMUASMUAS3.MUAS能力成长驱动的培训实施.“You cant manage w

14、hat you cant measure.If you cant measure it,you cant improve it.”Peter DruckerCognition认知What you believe你所信的Affect 情感Way you feel你的感觉Behavior行为What you do你所做的Components of Attitude态度的组成部分学习参与行为BEHAVIORALActions行动intentions意图COGNITIVEBeliefs信仰Knowledges知识Perceptions观念AFFECTIVEFeelings感受Emotions情感Pre

15、ferences喜好Reference：ABCs Model of Attitude,Albert Ellis（1974）ABC Learning Engagement(Eagly&Chaiken,1998,2007;Walker,2018;Zan&Di Martino,2007,2014)4.不仅需要能力成长数据 也需要学员的ABC数据.“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker管理数据Management Data学习分析Learning A

16、nalytic Dashboard业务数据Business DataMUAS能力成长MUAS People Development5.数据分析.“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker学习到绩效数据实证路径探索国际顶级药械企业发表期刊：International Journal for Research in Vocational Education and Training案例注意：数据已脱敏“You cant manage what you

17、 cant measure.If you cant measure it,you cant improve it.”Peter Drucker学员对象：500+专业学术推广项目目标：通过对产品知识和医学知识的强化学习，结合实践应用场景，提升专业服务能力采用的教学方式：每日10分钟场景化案例自主练习+人题互动的智慧推荐+数字化工具教学理论模型：LOA（Learning Oriented Assessment）以评促学理论项目时长：2021年7月-9月项目背景.Reference：Keppel,M.and D.Carless.2006.Learning-oriented assessment:a

18、technology-based case study.Assessment in Education 13(2):179191.“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter DruckerFor 培训 整合以测促学的学习资产 打造可靠的能力测量资产 提升内部讲师的数智能力For 业务管理 降低培训成本提高效率 提高员工能力成长画像 挖掘学习到绩效可能路径For 学员 以测促学提升兴趣和效果 动态提供针对性学习建议 数字化学习 节约时间 价值及目标.“You ca

19、nt manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker05LOA的学习行为与能力成长相关02不同能力成长人群的绩效有差异04LOA 学习有效促进专业能力成长01探索学习行为对能力成长的预测模型03061.建立假设探索高能力成长人群的学习对绩效的预测模型探索能力成长对绩效增加的预测模型“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker

20、试题试测Q1分析试测结果&调优试题方案 明确试测操作步骤 筛选试测样本 样本的统计学检验 实施试测并回收数据试测试题01分析试测结果02 试题的难度和区分度分析 测量的信度和效度分析 项目反应和干扰度分析 统计学检验分析报告调优试题方案03 试题与分值调优方案 题目数与顺序调整方案 题型优化建议 题干情境描述优化 题项设计的优化方案2.建立高质量的MUAS场景化测量题库“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker人题互动千人千面自适应LOA 学习L

21、1L1L1 L1L1L13.智慧 LOA 以评促学“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker指标 测量来源 方式时机节点T0 6月末LOA 17月末 LOA 28月末 LOA 3T1 9月末结果性指标（P类）业务增长指标 P1 绩效部门 物理数据*n/a*n/a*n/a*MUAS能力成长 P2 MUAS 测量 自适应测验 n/a n/a n/a 情感指标 A学习情感测量 A1 学员评价 ARCS 标准量表 n/a n/a n/a n/a n/a

22、参与度指标 A2 平台数据 Log File 完成度指标 A3 平台数据 Log File n/a n/a n/a n/a 行为指标 B 表层学习行为 B1 学习平台 Log file n/a n/a n/a n/a深度学习行为 B2 MUAS 过程数据 Log file+综合计算 n/a n/a 问题解决行为 B3 MUAS 过程数据 Log file+综合计算 n/a n/a 认知指标 C自我效能评价 C1 学员评价 自我效能评估 n/a n/a n/a 认知差异指数 C2 学员评价 认知偏差计算 n/a n/a n/a meta 指数 C3 综合数据 综合计算 n/a n/a n/a n

23、/a n/a n/a 4.数据收集“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker配对t 检验分析结果名称配对(平均值标准差)差值(T1-T0)t pT0 T1MUAS.T1.后测-MUAS.T0.前测77.378.16 87.649.07 10.27 19.213 0.000*假设01.LOA 的学习有效促进能力成长“You cant manage what you cant measure.If you cant measure it,you ca

24、nt improve it.”Peter Drucker假设02.LOA 学习行为与能力成长相关Pearson相关-标准格式T0-3提升率 MUAS T1-9月.成绩T0-T1.总解锁题目数 0.125*0.536*T0-T1.总打卡次数 0.049 0.204*T0-T1.打卡率 0.049 0.204*T0-T1.每日平均成绩 0.162*0.551*T0-T1.总答对数 0.159*0.544*T0-T1.总答错数-0.160*-0.523*T0-T1.学习后一次通过率 0.167*0.549*T0-T1.平均答题时长 0.094 0.178*T0-T1.休眠题目数-0.132*0.21

25、3*T0-T1.未打卡题目数-0.270*-0.392*T0-T1.错题移除数-0.127*-0.439*p0.05*p0.01“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker假设03.LOA 学习行为对能力成长的预测模型线性回归分析结果(n=505)非标准化系数 标准化系数t p VIF R2调整R2FB 标准误 Beta常数 42.036 5.717-7.353 0.000*-0.3330.326F(4,379)=47.314,p=0.000T0-

26、T1.打卡率 16.241 6.07 0.12 2.676 0.008*1.145T0-T1.学习后一次正确率 46.998 4.096 0.584 11.475 0.000*1.472T0-T1.休眠题目数-0.037 0.013-0.144-2.835 0.005*1.467T0-T1.平均答题时长 0.002 0.001 0.09 2.077 0.039*1.077因变量：MUAS T1.成绩D-W值：1.804*p0.05*p0.01结论：上述4项学习行为对能力成长有32.6%的解释力“You cant manage what you cant measure.If you cant

27、measure it,you cant improve it.”Peter Drucker假设04.不同能力成长人群的绩效有差异方差分析结果过程质量*提升率(平均值标准差)F p前低后中(n=152)前低后高(n=166)前高后高(n=187)MUAS T0成绩 74.006.37 71.675.43 82.767.01 117.278 0.000*MUAS 6月.成绩 77.927.30 86.818.65 84.897.30 39.444 0.000*MUAS 7月.成绩 79.207.13 87.358.96 85.647.35 32.654 0.000*MUAS T1.成绩 80.60

28、8.09 94.095.76 87.848.25 81.923 0.000*T1-T0 提升比 0.090.11 0.320.11 0.060.09 220.334 0.000*Q3 业绩完成率 0.990.17 1.060.21 1.000.18 3.953 0.020*Q3 业绩同比 0.160.39 0.190.62 0.040.37 4.144 0.017*Q3 业绩环比 0.160.36 0.240.55 0.110.33 3.442 0.033*p0.05*p0.01“You cant manage what you cant measure.If you cant measure

29、 it,you cant improve it.”Peter Drucker线性回归分析结果(n=505)非标准化系数 标准化系数t p VIF R2调整R2FB 标准误 Beta常数-0.277 0.162-1.715 0.089-0.0960.092F(1,104)=11.352,p=0.001T0-9月提升比 1.624 0.482 0.314 3.369 0.001*1因变量：Q3 环比D-W值：1.934*p0.05*p0.01假设05.能力成长对绩效的预测模型结论：LOA 项目中的能力成长对绩效有9.2%的解释力“You cant manage what you cant meas

30、ure.If you cant measure it,you cant improve it.”Peter Drucker单位：千元能力成长人群类型人数绩效（环比增长）2021_Q2 实际达成 2021_Q3 实际达成 Q3 vs Q2环比增长 人均增长前低后中 152 328,000 340,000 12000 78.95 前低后高 166 347,000 369,000 22000 132.53 前高后高 187 417,000 432000 15000 80.21 不同能力成长人群在2021 Q3 vs Q2 的绩效表现*脱敏数据“You cant manage what you can

31、t measure.If you cant measure it,you cant improve it.”Peter Drucker假设06.高能力成长模型对绩效的预测模型线性回归分析结果(n=166)非标准化系数 标准化系数t p VIF R2调整R2FB 标准误 Beta常数-0.967 0.333-2.907 0.078-0.3310.319F(1,58)=17.77,p=0.001T0-9月提升比 2.607 0.618 0.481 3.369 0.001*1因变量：Q3 环比 Q2D-W值：2.002*p0.05*p0.01结论：【前低后高】的高能力成长人群对绩效高达31.9%的解

32、释力“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker自我效能C1检验分组CLN合并(平均值标准差)F p前低后中(n=152)前高后高(n=186)前低后高(n=167)标准量表 Q1 评价 75.2311.68 76.7713.47 81.7113.17 4.63 0.01*标准量表 Q2 评价 78.2510.06 76.9413.23 83.1812.85 4.91 0.01*标准量表 Q3评价 78.2910.25 79.5811.93 84.

33、0212.23 4.48 0.01*p0.05*p0.01707580859095AR FB CLN结论前低后高的学员对自己在工作中的信心相对其他两组有显著差异，明显大于其他两组。学习前自我评价 学习中.对学习前评价修正 学习后自我评价 在实践工作中应用的信心 未来学习的意愿认知指标“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker培养数据思维 提升培训数据与分析的质量吴屹华“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter DruckerMUAS 测量体验.MUAS自适应测评体验扫码参与*成绩达到80+，可获得100元星巴克咖啡卷“You cant manage what you cant measure.If you cant measure it,you cant improve it.”Peter Drucker微信Shanghai上海上海市浦东新区陆家嘴新上海国际大厦1506室邮箱电话+86 21 网址联系我们