1、 研究与开发 面向电信网络诈骗治理的网络安全课程构建效能评估研究 周胜利1，蒋可怡1，徐博1，徐睿2，张熙康2，赵泉喆2，徐阳东1（1.浙江警察学院，浙江 杭州 310053；2.杭州电子科技大学网络空间安全学院，浙江 杭州 310018）摘 要：新形势下的电信网络诈骗治理格局对公安院校网络安全课程提出了新的要求。针对公安院校网络安全课程在培养目标、培养路径、评价体系等方面的时代适应性不足、实践性不强等问题，通过运用卡方检验、独立样本t 检验 等方法，分析了全国主要公安院校网络安全课程构建现状，并结合评分卡数理分析方法实现了对课程效能的量化评估。在数据分析基础上，提出了公安院校网络安全课程构建
2、优化路径。关键词：电信网络诈骗；网络安全；效能评估；数理分析 中图分类号：G642 文献标志码：A doi:10.11959/j.issn.1000 0801.2023127 Research on the effectiveness evaluation of cyber security curriculum construction for combating telecom network fraud ZHOU Shengli1,JIANG Keyi1,XU Bo1,XU Rui2,ZHANG Xikang2,ZHAO Quanzhe2,XU Yangdong1 1.Zhejiang
3、Police College,Hangzhou 310053,China 2.School of Cyberspace Security,Hangzhou Dianzi University,Hangzhou 310018,China Abstract:The governance of telecom network fraud under the new situation puts forward new requirements for de-veloping network security courses of public security colleges.Considerin
4、g the cyber security curriculums in public security colleges and universities that were not adaptive or practical enough in terms of training objectives,training plans,evaluation systems,etc,the methods such as chi-square test and independent samples t-test were used to ana-lyze the construction sta
5、tus of cyber security curriculums in major public security universities and colleges nation-wide,and the quantitative evaluation of course effectiveness was achieved by combining score card mathematical analysis.Based on the data analysis,an optimization path for the construction of cyber security c
6、urriculums in major public security universities and colleges was proposed.Key words:telecom network fraud,cyber security,effectiveness evaluation,mathematical analysis 收稿日期：2023 0316；修回日期：20230607 基金项目：浙江 省自然科 学基金 资助项目（No.LGF20G030001）；公安部科 技计 划项目（No.2022LL16）；2022 年浙江省 高等学校课程思 政教学 研究项目 网络监 察与管控 思政
7、研 究 Foundation Items:Zhejiang Provincial Natural Science Foundation of China(No.LGF20G030001),Ministry of Public SecurityScience and Technology Plan Project(No.2022LL16),2022 Zhejiang Province Curriculum Ideological and Political Education ResearchProject,Network Monitoring and Control Ideological a
8、nd Political Research 123 电信科学 2023年第 6期 0 引言 在 新时 代法治社会建设持续推进与电信网络诈骗加速迭 代的背景下，公安院校作为培养网络警察的高等 院校，担负着高等教育与公安职业教育的双重任 务。因此，公安院校网络安全课程构建目标与其 他普通高等院校存在显著差异。而现有公安院校 网络安全课程构建在时代适应性上存在一定的局 限性，具体表现为专业导向与实战连接点较少、专业标准未紧贴执法背景等。为有效评估当前网 络安全课程质量，对全国主要公安院校网络安全 专业学生进行问卷调查，采集课程建设、评价数据，运用卡方检验、独立样本 t 检验等方法，分 析课程建设显著
9、性因素，同时采用评分卡模型及 逻辑回归分析方法对课程效能进行评估。在数理 分析的基础上，提出公安院校应整合人才培养目 标、课程条件、培养评价体系，积极调整网络安 全课程教学目标与教学内容的关系，增强网络安 全人才培养的社会适应性、实践性，提升公安院 校学生应对未来复杂网络安全工作的能力1-3。1 公安院校网络安全课程构建现状 公 安院 校网络安全课程构建现状分析以问卷调查获得的 数据为基础。问卷设计参考了国内公安院校的网 络安全人才培养方案，并结合当前电信网络诈骗 治理工作与课程的连接点，建立了学习实验平台、课程设置、学习动机、竞赛参与、思政教育 5 个评价维度。问卷以全国主要公安院校网络安全
10、 专业学生作为调查对象，并按性别与年级进行分类，共回收问卷样本 370 份，其中，受调查对象 的男女性别比为 1:0.17，基本符合公安院校学生男女性别比例。由 于问 卷调查数据存在离散性，不符合正态分布，因此 采用卡方检验对数据进行分析，以此探究公安院 校网络安全课程对学生未来学习工作受益的相关程度，网络安全课程满意度与课程 受益程度的卡方检验见表 1。表 1 中的渐 进显著性小于 0.05，存 在显著性差异，表明网络安全课程设立的目标越贴合实际，培养计划执行越完善，对公安院校学生未来职业发展产生的积极作用越强，课程满意度越高4-5。表1 网络安全课程满意度与课程受益程度的卡方检验 对比项
11、值 自由度 渐进显著 性（双 侧）皮尔逊卡 方 122.924a 6 0.001 似然比 120.467 6 0.001 有效个案 数 370 根据问卷调查统计分析，在学生对公安院 校网络安全课程设置现状方面，近 50%的学生认为当前专业课程难度过大且课程数过多，约 75%的学生认为专业课程设置不合理，50%以上学生认为应该增加专业基础过渡课。此外，大部分学 生重视实践课程，认为理论知识讲授应该结合实 践教学开展，90%的学生认为学习实验平台对提高学习自主性有积极作用。2 基于评分卡方法的网络安全课程效能评估 在 562 条公 安院校网络安全课程成绩数据的基础上，采用评分卡方法评估课程效能。具
12、体 流程为变量选取、数据预处理、变量分箱、逻辑 回归分析和量化评分。网络安全课程效能评估流 程如图 1 所示。2.1 变量选取 课程效能评估的目的是量化课程的教学质量，为提炼出可以衡量网络安全课程建设效能 的指标，需要基于调查结果建立评估指标体系。在课程设置现状上，综合成绩可以用于评 估学生在网络安全课程整体目标上的完成情况。论文写作是对学生在专业理论、语言运用、资料 搜集等能力的综合考量，侧重于评价学生在理论 知识运用上的水平。相较于实验成绩，论文成绩 主要评价课程的理论效果。研究与开发 124 网络安全实际工作中强调实战能力，结合实战经验，实战能力包括攻防实战能力、漏洞挖掘能力、工程开发能
13、力和战效评估能力。为此，选取评估指标中网络扫描和信息 分析、渗透 测试、网络 加密/解密实验的考核成绩作为变量，评价课程的实践效能，以契合网络安全课程面向实战的目标。课 堂表 现和课堂练习是学生在课程学习过程中的主客观 反映，可作为衡量课程开展过程中学生课堂反馈的重要指标。2.2 数据预处理 综合上述分析，评分卡模型选取课堂练习、课堂表现和论文等课程环节的 6 个 变量和 1 个标签（综合成绩），变量名 称见表 2。2.3 变量分箱 通过分箱进行变量的离散化处理。利用证据权重（weight of evidence，WOE）和信息价值 图1 网络 安全 课程效能 评估流 程 表2 变量名称 变量
14、名 变量说明 网络扫描和信息分析 课程实验 成绩 0 60 分的赋值为 1，61 70 分 的赋值为 2，71 80 分的赋值为 3，81 90 分的 赋值为 4，91 100 分的赋值为 5渗透测试 课程实验 成绩 0 60 分的赋值为 1，61 70 分 的赋值为 2，71 80 分的赋值为 3，81 90 分的 赋值为 4，91 100 分的赋值为 5网络加密/解密 课程实验 成绩 0 60 分的赋值为 1，61 70 分 的赋值为 2，71 80 分的赋值为 3，81 90 分的 赋值为 4，91 100 分的赋值为 5课堂练习 网络安全 作业成 绩 0 60 分的赋值为 1，61 7
15、0 分 的赋值为 2，71 80 分的赋值为 3，81 90 分的 赋值为 4，91 100 分的赋值为 5课堂表现 网络安全 课程课 堂成绩 0 60 分的赋值为 1，61 70 分 的赋值为 2，71 80 分的赋值为 3，81 90 分的 赋值为 4，91 100 分的赋值为 5论文 课程论文 成绩 0 60 分的赋值为 1，61 70 分 的赋值为 2，71 80 分的赋值为 3，81 90 分的 赋值为 4，91 100 分的赋值为 5综合成绩 按照实训 占比 30%，课堂练 习、课堂表现 共占 比 20%，期末论文 占比 50%的形式 进行加权 评分。最终成绩 为 0 75 分的赋
16、值 为 0，76 100 分的赋值为 1 125 电信科学 2023年第 6期（information value，IV）衡量变量的预测能力，把表现相同的学生分为一组，以最大限度地区别课程效果。为确保分箱的单调性，选择利用决策树的信息增益最大化方法实现变量的最优分箱。在计算 IV 值时，细分数据区间并在各区间上进行函数求 和操作，使连续函数离散化，计算得出各变量的 IV 值，如图 2 所示。图2 各变 量 IV 值 IV 值表示变量对目标的预测能力，IV 值越大，代表该变量的区分能力越强。同时，为避免评分卡模型中的变量存在强相关性，需要开展对变量的相关性分析，即从相关性高的变量中选择一个 IV
17、 值最高的变量。具体逻辑为，如果变量间的相关性系数大于 0.5，则认为变量间存在相关性，将保留 IV 值大的变量；如果相关性系数小于 0.5，则可以认为变量间的相关性弱，可以直接保留6。利用相关系数（correlation，CORR）算法计算变量之间 的相关性，并将结果制作热力图，变量相关性分析如图 3 所 示。由图 3 可知，渗透测试变量与其他变量之间相关系数值最高可达0.548，反映 出强相关性，降低逻辑回归分析准确度。按照前述逻辑，最终留下网络扫描和信息 分析、网络加密/解密、课 堂练习、课堂表现和论文5 个变量。图3 变量 相关 性分析 2.4 逻辑回归分析 结合上述求得的 WOE 值
18、，将模型构建转换成为实数计算问题。代入 WOE 中的数值实现逻辑回归7。逻辑回归分析结果见表 3。表 3 中 p 值 检验结果均小于 0.01，说明所有自变量具有显著的统计学意义，对因变量取值 是否为 1 具有 显著性影响；特征权值系数均大于 0，说明表中指标特征与目标值为 1 的概率正相关；标准误差各数值在 1.5 以 下，说明模型贴合度高；置信区间反映了在满足正确率为 95%的情况下，特征权值系数的取值范围。2.5 量化评分 根据每一位学生的综合得分判定课程效果，而学生的总体得分取决于第 2.4 节进入模型的各变表3 逻辑回归分析结果 对比项 网络扫描 和信息 分析 网络加密/解密 课堂练
19、习 课堂表现 论文 特征权值 系数 1.39 2.27 1.71 1.38 6.89 标准误差 0.29 0.43 0.36 0.44 1.26 系数估计 值 4.75 5.30 4.80 3.11 5.46 p 值检验 0.00 0.00 0.00 0.00 0.00 置信区间 0.82,1.97 1.43,3.1 1.01,2.41 0.51,2.25 4.42,9.37 研究与开发 126 量得分情况。表 3 第一项为特征权值系数，本文利用特征 权值 系数，对进入模型的每个变量对应的WOE 结果进行评分转换，以得到标准评分形式8。其中，p 值检验指该课程被评估为 1 的概率，1 p即该课
20、程被评估为 0 的概率。令 p 与 1 p 的比值为 odds，其中 odds 指某种推测为真的概率与某种推测为假的概率的比值，得到式（1）。odds1pp（1）通 过将 分值表示为比率对数的线性表达式定义评分卡设定的分值刻度，结果如式（2）所示。score ln(odds)AB（2）其中，score 为 计算得出的每一条数据的最终得分，A、B 皆为常数值，该课程质量越高，odds 越大，式（2）中的 score 值就越 小。在逻辑回归中，计算式（3）：01122ln(odds)WOE WOE WOEnn（3）其中，为比例系数。在某个特定比率，设定特定预期分数，并且指定比率翻倍的分数（PDO）
21、。例如，首先设比率等于 时分数等于 q，比率等于2 时分数等于 q+PDO。一般假定评分卡的刻度导致比为1 50（劣优）时的分数为 600，PDO=20，则 B=28.85，A=481.86，代入式（2）计算可得：score 481.86 28.85ln(odds)（4）因此，可理解为基础分数为 600，每 高 20 分劣优比翻一 倍，最终将所有的分数换算成百分制形式，实现 对课程质量的量化评估，其中分数越高代表课程 评估结果越佳，分数越低代表课程评估结果越差。2.6 课程评估 样本的总分分布可以用来评定课程的整体表现度。综合评分分布如图 4 所示，562 位学生的课程总分多集中分布于40,6
22、0分内，极高值数量少，由此可推测出，课程的总体质量仍有待提升。图4 综合 评分 分布 在评估体系中，设定各指标满分为 5 分，及格分为 3 分。各个指标评分分布如图 5 所示，展示了各指标的平均值。其中，网络扫描与信息 分析、网络加密/解密、课 堂练习、课堂表现的评分均低于及格分，只有论文的评分超过及格分。由此可知，当前 网络安全课程仍有较大的提升空间。图5 各个 指标 评分分布 3 公安院校网络安全课程构建优化路径 整合理念能有效结合多类课程内容、组织 形式，构建出完整的课程主体和教育目标。为此，本文基于数据分析结果，在人才培养目标、课 程条件和评价体系上运用整合理念，提出公安院 校网络安全
23、课程构建的优化路径。（1）整合公 安院校人才培养目标 公安院校应紧密结合电信网络诈骗反制预警技术需求，将网络安全学习能力的培养融入人才培养计划中的“公安业务理论知识”和“创新素质拓127 电信科学 2023年第 6期 展”模块；同时，通过支持学生申报课题、开展创新研究以及实战化综合演练等路径，培养具有过硬网络安 全专 业素质和自主学习能力的网络保卫 人才，以便更好地满足打击电信网络诈骗犯罪需要。（2）整合公 安院校网络安全课程条件 公安院校应根据社会技术发展和新型犯罪演变趋势，对网络安全课程条件进行多维度整合。在课程的专业教材设置上，公安院校应将公安专业技术发展趋势、电信网络诈骗犯罪形势等内容
24、整合进网络安全课程和人才培养体系；在专业教师培养方面，公安院校教师应加强对公安实际工作的理解认识，以在课程体系建设过程中实现对教学活动与公安实战的有机结合；在设施环境方面，公安院校应对相关课程的实验设施环境进行改造升级，以满足网络安全课程实战化教学的需要。（3）整合公 安院校网络安全课程评价体系 由于公安院校网络安全课程具有显著的政治性和技术性，区别于普通大学网络安全课程。因此，公安院校网络安全课程评价体系不能过多停留在理论、技术水平的考核上，而应加强思想政治、专业技能、职业素养的有效融合，将公安理论、政治素养与电信网络诈骗反制技术等要素纳入课程评价体系中，不断加强公安实战化教学导向效应。4
25、结束语 网 络安 全课程作为新时代网络安全保卫队伍建设的重要 一环，要在整合理念的指导下，通过整合公安院 校的培养目标、培养条件和培养评价体系等路径，增强网络安全课程的时代适应性，以促进专业 的建设发展与学生的快速成长，更好地满足电信 网络诈骗治理的需要。本文通过分析全国主要公 安院校网络安全课程的相关数据，结合电信网络 诈骗发展趋势与反制技术能力要求，运用评分卡 模型及数理分析方法对课程效能进行量化评估，并根据分析结果，提出优化网络安全课程的实施建议，从而提高面向电信网络诈骗 治理的网络安全人才培养水平。参考文献：1 郭文忠,张友坤,董晨.网络 强国 战略背景下的“五位一体”信息安全人才培养
26、模式探索J.中国大学教学,2020(10):21-24.GUO W Z,ZHANG Y K,DONG C.Exploration of“five in one”information security talents training mode under the back-ground of network power strategyJ.China University Teach-ing,2020(10):21-24.2 肖甫,黄海平,胡素君,等.双一流视域下网络安全人才培养研究:以江 苏 省为例J.网络 与信息安 全学报,2021,7(2):1-9.XIAO F,HUANG H P,H
27、U S J,et al.Research on the cultiva-tion of cyber security talents under the perspective of double tops based on Jiangsu ProvinceJ.Chinese Journal of Network and Information Security,2021,7(2):1-9.3 陈鹏.公安高等院校数据科学专业的课程体系设计J.中国人民警察 大学学 报,2022(6):88-91,96.CHEN P.Curriculum system design of data science
28、 in police collegesJ.Journal of China Peoples Police University,2022(6):88-91,96.4 戴慧芬,王帅,郑毅雄.基于整合理念的情景模拟课程改革与教学实 践J.中国高等 教育,2019(13):76-77.DAI H F,WANG S,ZHENG Y X.Curriculum reform and teaching practice of scenario simulation based on integration conceptJ.China Higher Education,2019(13):76-77.5 贺佳
29、,李文江,罗天泽.“网络强国”背景下公 安院 校培养网络安全人 才浅析J.网络空 间安全,2018,9(10):105-109.HE J,LI W J,LUO T Z.Under the background of“cyberspace power”brielfy talk about how to cultivate cyberspace security talents in the public security collegesJ.Information Security and Technology,2018,9(10):105-109.6 USMAN M,KUCKELKORN J,
30、KMPFE A,et al.Identifica-tion of disinfection by-products(DBP)in thermal water swim-ming pools applying non-target screening by LC-/GC-HRMSJ.Journal of Hazardous Materials,2023(449):130981.7 ALPAY O,ANKAYA E.Performance of prior and weighting bias correction methods for rare event logistic regressio
31、n under the influence of sampling biasJ.Communications in Statistics-Simulation and Computation,2023,52(3):993-1014.研究与开发 128 8 GONG X M.Optimization of enterprise performance man-agement system based on balanced score card modelC/Proceedings of the First International Symposium on Econom-ics,Manage
32、ment,and Sustainable Development(EMSD 2019).Clausius Scientific Press,2019:201-205.作者简介 周胜利（1982），男，博士，浙江警察 学院副教授，主要 研究方向为 网络 安全、网 络监察管理。蒋可怡（2002），女，浙江 警 察学院在 读，主要研究 方向为 网络安全。徐博（2003），男，浙 江警察 学院在读，主要研究 方向为 网络安全。徐睿（2000），男，杭 州电子 科技大学 网络空间安全 学院 硕士生，主 要研 究方向为 网络安全、机器学 习。张熙康（2000），男，杭州 电 子科技大 学网络空间安 全学 院硕士生，主要 研究方向 为网络安全、自然 语言处理。赵泉喆（2000），男，杭州 电 子科技大 学网络空间安 全学 院硕士生，主要 研究方向 为网络安全、数字 取证。徐阳东（1982），男，浙江 警 察学院工 程师，主要 研究方 向为网络 安全、公安信息 化。
