1、 2019 年中国电机工程学会年会论文集 暑期高职院校社会实践人员绩效评价模型 建立与应用 王殊 严佳梅 吴敌 刘娟 陈敏耀（国家电网公司客户服务中心南方分中心，江苏 南京 211161）Establishment and Application of Summer Social Practice Personnel Performance Evaluation Model in Higher Vocational Colleges Wang Shu Yan Jiamei Wu Di Liu Juan Chen Minyao(Southern Branch of State Grid Cust
2、omer Service Center,Nanjing 211161,China)摘要:本文搭建了呼叫中心暑期实践人员能力评价模型,以常态在岗客服专员作为常模参照对象，通过 11 项关键绩效指标开展暑期工工作情况、成长变化及管理难度 3 个维度分析并建立评价体系，综合评定暑期工工作能力及状态的差异性，评估产教融合成效，从而有效指导工作实践。关键词：呼叫中心、暑期生、评价体系、产教融合 Abstract：This paper established an evaluation model for summer practitionersabilities in call centers by t
3、aking the normal on-the-job customer service commissioners as the norm reference object.The paper analyzed the summer practitioners working situation,growth changes and management difficulties through 11 key performance indicators and established an evaluation system to comprehensively evaluate the
4、differences of summer practitioners abilities and status.It helps to evaluate the integration effect of production and education,so as to effectively guide the work practice.Key words：call centers，summer practitioners,evaluation system，integration of production and education.1 引言 近年，在国家大力发展第三产业的相关政策
5、扶持下，服务业发展迅速。在服务管理领域中，服务绩效评价是一个重要的着眼点，也是该研究领域的主要分支之一1。呼叫中心，作为一个已经发展了20多年的服务型行业，其绩效考核指标体系已日益成熟，并在培训考核、薪酬分配等工作中扮演了重要的角色。然而目前，涉及电力行业客户服务中心客服专员绩效评价体系建设的资料很少。并且在如今校企合作逐渐成为地方高职院校培养高技能应用型人才的有效模式和重要途径的背景下2，高职院校学社会实践的绩效已成为影响呼叫中心整体绩效水平不可忽视的因素。对高职院校学社会实践人员沿用传统的以标准参照评价结合主观经验法设定各项指标的权重的绩效评价体系存在诸如标准数据陈旧、无法反应出管理策略、
6、服务省的话务业务特点差异造成的指标差异等不足。国网客服中心每逢 7、8月为迎峰度夏期间，受气温高、灾害多等因素影响，电力故障频发，话务居高不下，平稳期客服专员人数不足以满足大话务需求，因此，面向高校招聘暑期临时用工，以满足特殊时期的工作需求，然而暑期工存在培训周期短、用工时间短等特点，其绩效模式、现场管理、服务风险管控与正式客服专员模式不尽相同，本文以 2018 年暑期用工为契机，创新使用标准参照评价和常模参照评价相结合的暑期工工作绩效评定模型，并在暑期工的工作情况、成长变化和管理难度评定方面进行应用。2 模型建立 2.1 关键绩效指标的确定 使用德尔菲法（专家调查法）3确定指标项目及权重：组
7、织值班经理、主管、督导等专家 30名，在各自独立对指标进行打分并计算权重，确定以下 2019 年中国电机工程学会年会论文集 11项指标为暑期工关键绩效指标（括号内为权重）。注：接 听 AHT指接听平均通话时长与平均案头时长之和，文中简称AHT。图 1 暑期工工作能力评价模型关键绩效指标 2.2 常模参照评价参数确定 建立常模参照评价体系4。全部指标使用一线客服专员相应指标做为常模。将 客服专员指标值使用常模参照评价 Z变换得出暑期工指标的导出分数：导出分数=10+60 其中：X为指标实际值，Mean 为该指标常模平均值，SD为常模标准差。常模参照评价结果可以反映出暑期工个体和群体表现在常模群体
8、（一线客服专员）中的位置。导出分数和百分点排位对应关系大致如表 2所示。表 2 指标得分和百分比位置对照 指标得分和百分比位置对照（使用正态分布计算）分数 百分比位置 20 0.00%25 0.02%30 0.13%35 0.62%40 2.28%45 6.68%50 15.87%55 30.85%60 50.00%65 69.15%70 84.13%75 93.32%80 97.72%85 99.38%90 99.87%95 99.98%100 100.00%如按照常模参照评价，某位客服专员某指标得分为60 分，则表示其指标优于 50%的一线客服专员（等于客服专员平均水平）。2.3 暑期工工
9、作能力评价模型的建立 各项指标将使用指标完成情况和常模参照评价导出分数分别对标。其中，指标完成情况的对标显示暑期工的指标完成值，常模参照评价结果显示暑期工该指标对一线客服专员平均水平的相对位置。将各单项指标导出分数平均值将作为暑期工综合能力评价指标。2.4 指标差异的统计学检验 在指标对比中，使用统计学方法进行检验，以显示是否有证据表明不同群体之间指标存在差异。其中，严重差错和对内投诉属实使用卡方检验，检验发生率在不同群体中是否相同，其余指标使用双样本 T检验，比较平均值是否相同。在双样本 t检验前，使用F检验（同时参照Levene检验结果），检查方差齐性5。按 照 惯例，所有检验设定=0.0
10、5，即 P0.05时，已有的数据无法证 明（无 证据证明）参与比较的群体间指标差异有统计学意义，反之亦然。3 暑期工工作能力总体评价 从指标完成值上看，暑期工出勤率、服务评价满意率、AHT指标均可以达到预期的基准值。但在许多指标上依然和一线客服专员平均水平有较大差距：工作情况指标上，暑期工月度话务处理量2040个，高于 16.26%的一线客服专员，千通电话严重差错数 0.14，优于 49.21%的客服专员，即和一线客服专员平均水平相近，千通电话对内投诉属实数优于 40.49%的客服专员；成长变化类指标中，暑期工均未能达到一线客服专员后 3%（百分点对照位置都小于3%）的水平；管理难度指标方面，
11、日均小休次数高于 19.23%的客服专员，小休占比、日均签出次数表现较好，均能高于 70%以上的客服专员，出勤率总体水平和一线客服专员相近。表 3 暑期工关键绩效指标情况 2019 年中国电机工程学会年会论文集 4 暑期工工作能力评价细分 4.1 综合能力分析 分别从暑期工性别、专业和学历方面进行分析。4.1.1 性别因素 表 4 性别因素对指标的影响 虽然在大多数指标上，女性暑期工完成值较好，但经检验，工时利用率、小休占比和日均签出次数指标方面，女性和男性客服专员表现有差异，没有证据显示，性别因素对暑期工其余的指标完成情况存在影响。4.1.2 学历方面 暑期工学历大致可分为本科和专科。表 5
12、 学历对指标的影响 从指标值上看，本科生指标比专科生略好。在月度电话处理量、服务评价满意率指标和出勤率指标上，有证据显示本科生和专科生具之间有统计学差异，本科指标完成情况较专科生好。4.1.3 专业方面 表 6 专业对指标的影响 暑期工专业大致可分为电力专业和非电力专业。从专业上看，非电力专业的暑期工要优于电力专业。进一步研究发现，48%的非电力专业暑期工来自两所本科院校，而电力院校中，本科学校占8.91%，由于学历对暑期工指标有影响，去除学历影响后再进行一轮比较，以本科院校 2 为例，其关键绩效指标如表 7-8所示。表 7 本科院校 2 的电力专业和非电力专业情况比较 暑期工 关键 绩效 指
13、标 情况 一级指 标 二级指 标 全部暑 期工 全程在 职暑 期工 指标值 人均值 平均得 分 百分点 位置 工作情 况 人月均 电话 处理 量 1701 2040 50.16 16.26%千通电 话严 重差 错数 0.15 0.14 59.80 49.21%千通电 话对 内投 诉属 实数 0.067 0.079 57.59 40.49%成长变 化 服务评 价满 意率 99.01%98.82%36.01 0.82%客户诉 求一 次解 决率 62.96%63.23%31.23 0.20%AHT 219.13 220.31 38.73 1.67%工时利 用率 71.62%70.87%39.92 2
14、.23%管理难 度 出勤率 98.22%98.80%61.35 54.23%日均小 休次 数 3.39%3.44 51.30 19.23%小休占 比 3.37%3.59%70.87 86.15%日均签 出次 数 2.16 2.14 65.71 71.60%性别因 素对 指标 的影 响 一级指 标 二级指 标 指标值 平均得 分 男 女 男 女 P*人数 人数 238 135 238 135-工作情 况 月度电 话处 理量 2026.97 2063.44 50.12 50.21 0.921 千通电 话严 重差 错数 0.15 0.16 59.93 59.58 0.714 千通电 话对 内投 诉属
15、 实数 0.062 0.061 57.36 58 0.918 成长变 化 服务评 价满 意率 98.96%99.01%36.02 36.21 0.937 客户诉 求一 次解 决率 63.50%64.51%30.43 32.53 0.300 AHT 216.31 216.17 38.87 38.35 0.797 工时利 用率 69.88%73.05%38.45 42.55 0.034 管理难 度 出勤率 98.97%98.51 61.75 60.64 0.173 日均小 休次 数 3.49 3.36 51.3 51.35 0.951 小休占 比 4.00%2.75%69.12 73.92 0.0
16、005 日均签 出次 数 2.2 2.02 64.92 67.01 0.037*原假 设男 性、女性 得分 没有 差异 学历对 指标 的影 响 一级指 标 二级指 标 指标值 平均得 分 本科 专科 本科 专科 P 人数 人数 62 311 62 311-工作情 况 月度电 话处 理量 2246.05 1999.13 54.470 49.290 0.0005 千通电 话严 重差 错数 0.14 0.16 59.82 57.42 0.834 千通电 话对 内投 诉属 实数 0.05 0.064 58.44 57.42 0.751 成长变 化 服务评 价满 意率 99.29%98.89%46.44
17、 34.02 0.0005 客户诉 求一 次解 决率 65.86%63.43%33.19 30.79 0.465 AHT 212.87 217.02 41.58 38.1 0.182 工时利 用率 71.15%70.99%40.39 39.84 0.828 管理难 度 出勤率 99.76%98.62%63.57 60.91 0.0005 日均小 休次 数 3.35 3.46 50.74 51.43 0.512 小休占 比 2.69%3.72%75.83 69.87 0.0005 日均签 出次 数 1.99 2.17 66.86 65.44 0.276 专业对 指标 影响 一级指 标 二级指 标
18、 指标值 平均得 分 电力专 业 非电力 专业 电力专 业 非电力 专业 P 人数 人数 210 163 210 163-工作情 况 月度电 话处 理量 1949.98 2156.37 47.9 53.05 0.0005 千通电 话严 重差 错数 0.14 0.17 60.25 59.22 0.100 千通电 话对 内投 诉 0.061 0.063 57.74 57.04 0.590 成长变 化 服务评 价满 意率 98.96%99.00%35.25 37.16 0.424 客户诉 求一 次解 决率 62.89%64.99%29.07 33.92 0.013 AHT 223.59 207.73
19、 35.27 43.07 0.0005 工时利 用率 71.63%70.27%40.26 39.51 0.700 管理难 度 出勤率 98.33%99.41%63.25 64.05 0.0005 日均小 休次 数 3.71 3.11 52.73 49.5 0.0005 小休占 比 3.57%3.53%70.02 71.94 0.110 日均签 出次 数 2.14 2.14 65.53 65.87 0.721 2019 年中国电机工程学会年会论文集 去除学历影响后，从指标值上看，电力专业暑期工指标比非电力专业暑期工指标情况略好，但从指标平均水平看，没有证据显示电力专业和非电力专业暑期工指标存在差
20、异。（对于出勤率指标，电力专业每人均为 100%，因此对非电力专业使用单样本t检验，检测均值是否为 100%。（=0.05）。表 8 本科院校 2 的 电力专业和非电力专业情况比较 综上所述，从指标整体情况上看，电力专业暑期工指标值略优于非电力专业，但没有证据显示两者平均水平存在统计学意义上差异。因此学生的专业并不是影响工作的关键因素。4.2 成长变化 使用服务评价满意率、客户诉求一次解决率、AHT和工时利用率综合衡量暑期工成长变化。由于工作安排原因，暑期工在接受培训后进入客服部接听电话，采用常模参照评价有利于最大程度地减少不同服务省的差异导致的差距。4.2.1 综合评价 采用四项指标综合常模
21、得分均值，评价暑期工群体的总体成长情况，结果如图 2 所示。图 2 暑期工成长情况 暑期工在接听电话 17-19天后，上述四项成长指标将趋于稳定。在稳定期，暑期工指标平均得分维持在 49分左右，指标水平大致相当于后13.75%的一线客服专员水平。在接听末期（入职后 50天），暑期工指标产生较大波动，可能的原因包括暑期工逐渐离职，群体构成变化（尤其是院校组成方面）导致指标波动，以及临近结束，暑期工心态有波动，导致总体表现波动较大。4.2.2 单项评价 从各单项指标成长看，工时利用率指标始终保持稳定，在大部分时间可以保持在 53 分左右，优于 24.2%的客服专员，满意率指标在入职后第 7-9天就
22、开始趋于稳定，保持在53分左右，优于24.2%的客服专员，客户诉求一次解决率在入职后 15-17天开始趋于稳定，保持在46 分左右，优于 8.08%的客服专员，接听 AHT 指标在入职 23 天后才结束快速提升期并进入缓慢的提升期，最高仍可达到53 分左右，优于 24.2%的客服专员，并存在进一步提升趋势。图 3 各单项指标成长情况 本科院 校 2 的电力 专业 和非 电力 专业情 况 比较 一级 指标 二级指 标 指标值 平均得 分 电力专 业 非电力 专业 电力专 业 非电力 专业 工作 情况 月度电 话处 理量 2293.13 2217.40 56.11 52.69 千通电 话严 重差
23、错数 0.14 0.18 60.06 59.32 千通电 话对 内投 诉属 实数 0.055 0.030 57.52 60.57 成长 情况 服务评 价满 意率 99.37%99.20%51.10 43.74 客户诉 求一 次解 决率 74.85%70.33%55.03 46.49 AHT 220.35 223.86 37.24 35.48 工时利 用率 75.44%74.48%47.21 44.38 管理 难度 出勤率 100%99.70%63.71 63.29 日均小 休次 数 3.27 2.69 49.68 49.56 小休占 比 2.11%1.47%79.22 79.55 日均签 出次
24、 数 1.89 1.69 68.31 71.16 本科院 校 2 电 力专 业和 非电 力专 业暑期 工 指标 平均 水平 对比 一级指 标 二级指 标 指标均 值 P 值 电力专 业 非电力 专业 人数 人数 16 15-工作情 况 月度电 话处 理量 2293 2217 0.550 严重差 错数 0.14 0.17 0.641 对内投 诉属 实数 0.052 0.035 0.623 成长变 化 服务评 价满 意率 99.32%99.14%0.248 客户诉 求一 次解 决率 74.83%70.27%0.051 AHT 224.6 227.9 0.769 工时利 用率 0.75 0.742
25、0.850 管理难 度 出勤率 100%99.69%0.334 日均小 休次 数 3.27 2.686 0.293 小休占 比 2.13%1.46%0.200 日均签 出次 数 1.885 1.689 0.155 2019 年中国电机工程学会年会论文集 4.2.3 院校评价 从各院校暑期工成长变化看，两所本科院校、大专院校8和大专院校7的暑期工均可以在入职后11-15天达到稳定期，稳定期得分 50 分左右，优于15.87%的一线客服专员。不过，两所本科院校的暑期工起点更高（在入职初期,如前10天的指标表现更好），且在稳定期指标的稳定性更好，大专院校7、8的暑期工起点较低，稳定期指标波动稍大。图
26、 4 不同院校暑期工成长 1 图 5 不同院校暑期工成长 2 大专院校 1、大专院校2和大专院校 4暑期工起点相对较低，在入职后 11-15天综合能力趋近稳定，稳定后，大专院校4得分53分左右（优于24.2%的客服专员），大专院校2和大专院校 1得分 47分左右（优于 9.68%）的客服专员。大专院校 3、大专院校5和大专院校 6的暑期工起点较低。自入职起，指标波动较大，无清晰的成长和稳定期。结论：从暑期工成长变化来看，两所本科院校的大学学生表现良好，大专院校 3、大专院校5、大专院校 6学生表现起伏较大。图 6 不同院校暑期工成长 3 4.3 管理难度 管理难度方面，无论性别、学历、专业如何
27、，暑期工出勤率、小休占比和日均签出次数指标均可以达到或超过一线客服专员平均水平，小休次数方面，暑期工仅能过 15.87%的一线客服专员，且未见存在性别、学历和专业方面差异。总体而言，管理难度与普通客服专员相当，但需要对小休次数加以控制。院校方面，从总体来说，除大专院校 3 以外，其他各院校的综合表现均达到或超过一线客服专员水平。大专院校 3的暑期工，日均休息次数得分50.51分，是造成其管理难度得分较低的主要原因。今后，现场需加强管控，减少其离席次数。图 7 各院校管理难度雷达图 单项指标来看，小休次数方面，各院校的暑期工均低于客服专员平均水平，出勤率方面，大专院校 1 的暑期工低于一线客服专
28、员平均水平，其余院校的暑期工均可以达到或超过一线客服专员水平。其他单项指标，各院校暑期工均优于客服专员平均水平。2030405060703 7 11 15 19 23 27 31 35 39 43 47 51 55 59不同院校暑期工成长1本科院校2 本科院校1大专院校8 大专院校720701 4 7 10131619222528313437404346不同院校暑期工成长2大专院校2 大专院校4大专院校120304050601 4 7 10 13 16 19 22 25 28 31 34 37 40 43不同院校暑期工成长3大专院校6 大专院校3大专院校5 2019 年中国电机工程学会年会论文
29、集 5 存在问题 5.1 指标管控方面 通过专家测评法，对模型中指标重要性进行评价，同时考察指标完成情况和指标重要性的关系。可以看出，普遍认为对内投诉属实、严重差错、电话处理量、客户诉求一次解决率、AHT和满意率的重要性达到或超过所有指标的平均水平，但暑期工除对内投诉属实（优于40%的一线客服专员）及严重差错（优于49%的一线客服专员）表现接近一线客服专员平均水平外，其余指标均低于一线客服专员。从暑期工成长曲线上看，客户诉求一次解决率、AHT指标均为长提升周期的指标，尤其是 AHT，其指标一直处于上升趋势中。暑期工指标与一线客服专员的差距很可能是缺乏长期接听经验所致。5.2 暑期工离职 通过问
30、卷调查得到潜在离职率，通过下列公式计算出综合离职率。综合离职率=调查前离职率+（1-调查前离职率）*（调查中离职倾向的人数/调查总人数）将暑期工中途离职与暑期工绩效联系分析结果如图 9所示。图 8 指标重要性与完成值象限图 图 9 离职率和员工表现象限图 大专院校 2、大专院校7和大专院校 8的暑期工，指标综合表现优于平均值，综合离职率低于平均值，是招收暑期工相对理想的院校；大 专 院校 3、大专院校 5的暑期工指标表现和综合离职率均低于平均值，需要慎重在人员稳定和指标影响的程度中权衡后再作出决定；大专院校 1、大专院校 6的暑期工综合离职率高于平均水平，指标表现低于平均水平；两所本科院校和大
31、专院校 4 的学生指标表现和综合离职率均高于平均水平，可能需要改变现有的管控方式、奖励和激励策略，留住优质生源（尤其是本科院校 1的暑期工，其综合表现已优于34.22%的一线客服专员）。5.3 空闲比 考虑到空闲比（处于就绪状态的时间在总签入时间中的比例）并非由客服专员主观决定，因此该指标未加入暑期工能力评定模型。但空闲比指标会影响暑期工整体使用效率。统计期内，暑期工空闲比 12.58%，比一线客服专员的7.02%高 5.38个百分点。暑期工空闲比平均得分 45.42分，仅优于7.25%的一线客服专员。从现场情况看，为避免潜在服务风险，大部分暑期工只配置报修接听权限，暑期工受理故障报修业务在总
32、业务受理量中比例（56.44%）明显高于一线客服专员（38.83%），人员利用率可进一步挖掘。6 结论 招聘方面。优先选择大专院校 7、大专院校 8和大专院校 2 的学生，在配套政策完整的情况下，优先从本科院校招收暑期工。绩效考核方面。参照客服专员的后15%和34%的平均水平设定暑期工指标目标值和卓越值。同时可以参照指标排名后 15%一线客服专员的指标完成情况估计暑期临时用工对呼叫中心运营的影响。培训方面。采用理论学习、现场跟听和经验交流相结合的模式，加速增长周期指标的提升过程，同时创造将指标值提至更高水平的机会。能效挖潜方面。优化 IVR 语音导航菜单和路由分配策略，便于暑期工能够尽早参与“
33、信息查询”业务接听，充分发挥支撑作用，提高现场人员利用效率。参 考 文 献 1 冉斌，基于服务能力的服务企业绩效评价体系探析J，商业研究，2013,439:86-91 2 张清雅,校企合作模式下地方高职院校服务企业研究J,蚌埠学院报，2012,V ol1(5):99-102 2019 年中国电机工程学会年会论文集 3李沛丽，张华，李涛等，德菲尔法构建重大动物疫病预警指标体系J，中国动物检疫，2016，V ol3(33)4杨青,李平,郑显兰,常模建立的相关研究J,齐鲁护理杂志，2011，V ol17(19):51-53 5贾俊平，统计学M.第七版.北京：中国人民大学出版社，2018 作者简 介：王殊（1986-），女，江苏南京，本科，工程师，业务运营管理 严佳梅（1989-），女，浙江永康，研究生，工程师，运营管理与分析 吴敌（1987-），男，江苏南京，研究生，数据分析
