1、关于设计质量考评系统合理性的研究 殷磊 应文俊 张凯 中浙信科技咨询有限公司 中国铁塔股份有限公司金华市分公司 收稿日期：2017-8-19Received： 2017-8-19现如今运营商都会对各个合作单位指定一套服务质量考评体系, 通过考评分的高低来反映各合作单位服务质量的优劣, 并将考评数作为下次招标中的服务后评估分数。但是纵观绝大部分运营商, 对合作单位的考评体系, 都是模式相同, 区别在于考核点细项不同, 分值不同。模式为:县市分公司上报扣分情况, 地市公司累计扣分汇总加上市公司考评分, 再上报省公司, 省公司对分数进行平均后再加上省公司考评分后得出该合作单位最终得分。本文就现合作单
2、位考评体系存在的问题和改进方案进行讨论研究, 仅从数据客观性和合理性的角度出发, 排除其他外界人为主观因素。1 现有考核体系存在的不足(1) 县市公司扣分累加, 造成负责县市地市越多, 得分往往越低。通过上述两份表格可以看出, 合作单位 A 的服务区域数量大于或者远远大于合作单位 B 区域的时候, 并按现在最小考核单位是县市分公司来看。作为合作单位县市的负责人, 在其负责区域做到 99 或者 99.5 分已经是很高的分数了, 并且同一区域内, 合作单位 A 的服务明显优于合作单位 B, 但是各个县市的扣分到市公司累计后, 就出现扣分较多的情况。简单的从得分来看合作单位 B 的服务质量优于合作单
3、位 A。如以这个结果为参考, 调整 A 和 B 的区域比例, 可能出现以下情况:合作单位 A 再没有做任何质量改进的情况下, 只是通过区域数量调整, 考评分就立马超过了合作单位 B。通过如此的调整, 运营商重新选到了更好更合适的合作单位吗?(2) 专业不同的合作单位进行一起比较, 造成项目越多、越细的合作单位往往扣分越多。现在一个地市分公司, 不同专业的合同单位会进行月度统一考核比较, 而扣分又是按单项错误进行累加扣分, 这样就出现哪个专业的项目分的越细, 扣分概率就会越高, 扣分越会越多。下面截取一个运营商 2 个月四个不同专业的扣分情况。扣分最少的专业是无线 B 组, 但错误率最高, 连续
4、 2 个月中错误率升高的情况下, 得分始终是第一, 而作为无线 A 组和接入网两个专业努力降低错误率的同时, 因为项目数量多扣分却越来越多。可以简单的从扣分数量上了直接判断哪个专业的合作单位好吗?(3) 不同地市的扣分尺度不同, 导致省公司平均后, 差异较大。虽然考核项和扣分标准, 统一制定后, 由于每个层面负责打分的人对标准的理解不同, 导致“执法”尺度不同, 往往会出现某几个地市分数明显偏高, 某些区域分数明显偏低的情况。从上面的表格可以看出, 地市甲、地市丙、地市戊打分总体偏高, 而地市乙、地市丁、地市庚打分偏低, 地市己最低。如果单从结果开看, 合作单位 B 等分最高, 合作单位 E
5、等分最低, 但是实际情况是这样吗?合作单位 B 因为正好服务于打分尺度较松的地市, 但是在 3 个地市排名都是最后, 但是到了省公司平均后就变为排名第一了, 而合作单位 C 在每个地市中排名都是第一, 因为大部分区域在打分尺度较紧, 只能排名第四, 而合作单位 E在 4 个地市中排名一个第一, 4 个第二, 较为平均, 结果却落得排名垫底。这份最终考核结果, 真实的反映了 5 家合作单位服务质量情况吗?2 考评结果不能客观反映实际情况的发生原因通过上述三种典型情况的分析, 可以看出最终的结果和考核的初衷的发生了较大的偏差, 原先考核为了留下好的, 剔除差的, 而考核恰恰给出了相反的结果。上述案
6、例均为实际考核结果截取, 只是替换掉的相应的名称, 所以我们不禁要问, 为什么会出现这么大偏差?经过笔者对上述案例分析得出以下结果:(1) 扣分单纯累加, 无法客观反映出服务优劣。俗话说:做的多错的多。运营商下任务的模式, 都是进度要求模式。虽然合作单位都在努力加强服务质量, 但是想要在细节上 100%的没有错误, 没有任何一家合作单位可以保证做到, 这就导致了细项越多, 服务区域越多的合作单位扣分机率越高, 扣分分值也会越多, 而细项越少, 服务区域越少的合作单位扣分机率越少, 扣分分值也会越少。(2) 分数统计方式不一致。省公司以下, 考核分都是按简单累加的模式, 或者权重累加模式, 而到
7、了省公司而是平均分的模式。分数的统计方式不一致, 造成结果上的偏差。(3) 各地市打分尺度不一。各地市打分尺度不一, 明显尺度松的地区相对得利, 而尺度紧的地方明显“吃亏”的现象。3 相对客观公平的考核模式现有考评体系模式, 不能真实的反映结果, 所以我们需要寻找一种相对合理公平的考评体系模式, 尽量不开上述不利干扰因素。考核颗粒:以县市为最小单位进行考核。考核模式:(1) 县市按错误率进行扣分, 例如错误率 1 个点扣除 1 分, 高于 10 个点的, 每 1 个点扣除 2 分。同样是前表的结果, 通过差错率扣分模式, 可以很直观的反映的哪家正确高, 哪家底。(2) 统一得分统计方式。从第一
8、次汇总即开始以平均值的模式, 并保持到最终的统计模式的统一。仍旧是一样扣分情况, 可以明显反映出合作单位 A 在县市服务质量明显优于合作单位 B。(3) 省公司最终采用加权平均分模式。(1) 计算出每家合作单位在各自地市与各自平均分的差值;(2) 省公司设定基础分为 90 分;(3) 最终得分=基础分+平均分差值。同样的分公司打分结果, 通过加权平均分模式, 每个地市都排名第一的合作单位 C 理所当然的排名到了第一;而在每个地市都排名最后的合作单位 B 也相应的掉的最后一名;合作单位 E 在地市都基本排名第二属于中等, 在省公司排名也排名第三, 真实客观的反映其水平。4 总结考核初衷是让运营商可以把合作单位服务质量量化后, 体现各个合作单位的服务质量的优劣, 对下次选择合作单位起到一定的参考作用。因此一套客观合理的考评体系, 可以帮助运营商甄别出哪些是真正的优质合作单位。
