摘 要：高职院校的信息安全专业旨在培养信息安全类高技能型人才，是国家信息安全战略的一个部分。专业的课程体系建设关乎到人才培养的质量，从大量的课程中选择适合高职院校学生学习的课程，调配最优的课程体系，是专业课程建设的目标。通过机器学习中的强化学习，构建学生学习课程后产生的强化信号，通过强化信号的大小排序来进行选择保留的课程，最后形成课程体系。正的强化信号产生最优的课程体系。
关键词：强化学习；课程体系；信息安全专业
中图分类号：TP18 文献标识码：A
Abstract：The information security specialty of higher vocational colleges aims to cultivate highly skilled talents in information security，which is a part of the national information security strategy.The construction of professional curriculum system is related to the quality of talent training.It is the goal of the construction of professional curriculum to select the courses suitable for the students to study from a large number of courses and to formulate the best course system.In the era of Internet plus，it is possible to use large data and artificial intelligence to deal with the problems in the field of education.Reinforcement Learning in machine learning can be a very good realization of the construction and optimization of the information security professional curriculum system.
Keywords：Reinforcement Learning；curriculum system；information security specialty
1 引言（Introduction）
构建最优的课程体系，是目前教育管理中的一个研究课题，各个高校在建设课程体系的时候，随着管理者的变化，课程体系结构也随着管理者的管理理念在发生变化，所以目前在各个高职院校，信息安全专业的课程体系结构差别很大，没有统一的一个人才培养方案，课程体系结构不完善，并且随机变化的可能性非常大。如果在课程体系的建设中能够通过上层结构与社会需求相结合，探究出一种最优的体系结构，并且将整体框架固化下来，以后随着社会的变化，不断地结合实际进行自动调优，产生最优的课程体系结构。
实现自动调优，产生最优的课程体系结构，可以采用机器学习中的一种强化学习来进行探究。强化学习是一种重要的机器学习方法[1]，强化学习中由环境提供的强化信号（课程）是对产生动作（学生技能）的好坏作一种评价，强化学习系统在行动-评价的环境中获得知识（课程体系），改进行动方案以适应环境[2]。
互联网+的时代，完全可以应用大数据结合人工智能来处理教育领域的问题，机器学习中的强化学习能够非常好的实现信息安全专业课程体系的建设与调优。
2 高职院校信息安全课程体系结构（The system structure of information security curriculum in higher vocational colleges）
信息安全是一門新兴学科，也是一门综合性的交叉学科，它涉及通信、密码学、计算机、数学、人工智能、系统工程、管理等诸多学科，除了具有工科教育的特点之外，还有独有的特点，涵盖的领域比较宽。
目前，各个高职院校信息安全专业课程由基础课程、专业课程和技能课程构成。基础课程在大学一年级开设，是专业课程的先修课程；专业课程在大学二年级设置，主要培养学生的专业能力；技能课程在大学三年级以实验实践课的形式开展，如图1所示。
（1）基础课程
基础课程注重学生基本素养的培养，并为专业课程打下坚实的基础。基础课程一般由公共基础课程、程序设计基础、网络基础和操作系统等构成。
（2）专业课程
专业课程重在培养学生的专业水平和能力，培养学生的专业素养，是学生掌握专业技能的一个关键环节，决定了学生后续学习的专业综合能力，决定了学生专业素质的好坏。一般由软件安全、数据库安全、系统安全、移动安全和网络安全等构成。
（3）技能课程
通过前两阶段的学习，学生最终能够做什么、会做什么，需要技能课程的学习，技能课程结合信息安全工作岗位必备的知识技能，对学生进行强化训练，这部分课程重在学生的实践操作训练。一般由专业训练、技能培训、顶岗实习和毕业设计等实训、实习课程构成。
3 “强化学习”实现课程的自动筛选（Implementation of automatic screening of courses by means of Reinforcement Learning）
在某个课程结构中，课程选择库中可供筛选的课程有若干门，如在基础课程中公共基础课程的选取，可以有数学、英语等，数学又包含高等数学、线性代数和离散数学等，英语又有新概念英语、大学英语和专业英语等，具体如何选择最终学生要修的课程，除了要掌握课程培养目标、学生需要的知识结构，还需要明确课程学习之后在学生中产生的效果，达到的预期目标，才能说是适合的、可选的课程。从若干课程中有效的判断，并选取最适合的课程，构成信息安全专业课程体系，可以使用强化学习来实现。
3.1 信息安全专业的强化学习系统
强化学习的基本原理就是如果Agent的某个行为策略导致环境正的奖赏（强化信号），那么Agent以后产生这个行为策略的趋势便会加强[3]。Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大[4]。
强化学习系统由状态（S）、动作（A）、奖励（R）和方案（P）四个部分构成，S表示学生技能，A表示课程的去留，已排、待排、前修课程标号、后续课程标号等，R表示当前状态下课程可能有的奖赏（可选择（+1分）、必须选择（+100）、不能选择（-100）），P是由状态S到行动A的函数，函数对给定的每一个状态都会给出一个行动。S、A、R由实践经验总结给定，P由算法（强化学习算法）自动算出[5，6]。
把强化学习中的环境比作学生，学生对学习某门课程后产生一个强化信号，根据强化信号和学生掌握知识的情况决定选择课程与否。如图2所示。
3.2 信息安全专业的强化学习三阶段
把信息安全专业人才培养目标作为强化学习最终目标，即学生掌握知识技能的目标，课程体系建设分三个阶段（一年级目标、二年级目标、三年级目标）调优，第一阶段以大一学生应该掌握的知识体系与基本技能进行强化产生一年级课程体系，第二阶段在一年级课程体系的基础上进行强化产生二年级课程体系，第三阶段在二年级课程系统的基础上强化产生三年级课程体系。
在每一阶段一门课程作用于学生，学生学习后产生的效果反馈回给课程，根据强化信号和所处年级培养目标选择下一课程，再一门课程又作用于学生，学生知识结构发生变化，正的强化信号促使多门课程整合，如此反复在每一阶段产生课程链。一阶段课程链的产生，促使进入下一阶段课程链的开始，最后强化产生整个课程体系结构。
每一门课程结构，主要包含课程大纲、教学目标、前修课程、平行课程、后续课程和技能等参数，如图3所示。学生学习该门课程后产生的强化信号（技能）的强弱，决定该门课程是否被选取，如果弱就选择平行课程，进一步确定平行课程的强化信号的强弱，最后从平行课程中选择强化信号正强化最强的课程作为输出。
3.3 最优课程体系输出
（1）课程数据库数据筛选
分年级三阶段设定培养目标，每一个阶段经过学生技能对必修、需修、可修课程进行排序，建立课程数据库，每门课程的参数如图3所示。底层数据库由可修课程组成，上层数据库资源由底层数据库筛选产生需修课程，顶层数据库资源由上层数据库筛选出必须课程，进入顶层数据库中的课程才进入可选最优课程队列。数据的筛选可以应用大数据相关软件进行分析，此阶段属于经验筛选。
（2）强化信号库
建立所有学生学习每一门课程的强化信号库，强化信号的值有+1、+100和-100三组。当课程作用于学生产生的效果基本符合人才培养要求，给一个+1的强化信号；当课程作用于学生产生的效果非常好，给一个+100强化信号；当学生产生的效果出现了极大偏差，完全不符合人才培养需求，给一个-100强化信号。
（3）建立课程链
强化信号库中课程结合课程数据库中最优课程，进行组合排序，计算最终的强化值，正强化值大的被选中，遍历的课程就构成课程链，生成最优的课程体系结构。
信息安全专业课程体系建设涉及从海量的数据的筛选，是“互联网+教育”的应用，多领域结合是互联网+时代的要求与发展趋势[7]。
4 信息安全专业课程体系算法实现（Algorithm for the curriculum system of information security specialty）
课程体系结构的构建需要课程层层、级级筛选，最初的课程结构是一年级课程，然后再生成二年级和三年级课程，最后整合三个年级课程，输出课程体系结构。年级课程筛选如图4所示，课程库课程作用于学生，学生的技能发生改变，产生强化信号+100，该门课程被选中；产生强化信号为-100，该门课程被淘汰；产生+1的强化信号，课程被放回课程库。
5 结论（Conclusion）
强化学习是机器学习中的一种求解最优策略的算法，将这种算法应用在高职院校的课程体系建设方面，通过算法中的强化信号，决定课程的输出，求解出最优的课程体系，是人工智能+教育的应用，值得推广应用。
参考文献（References）
[1] 周志华.机器学习[M].北京：清华大学出版社，2016.
[2] 满奇.基于深度强化学习的股市投资模型构建及实证研究[J].广东财经大学，2017（05）：74.
[3] 夏新海.面向城市自适应交通信号控制的强化学习方法研究[J].华南理工大学，2013（12）：65.
[4] 胡东辉，朱晓玲，张仁斌，等.信息安全本科专业课程体系优化及课程群建设[J].计算机教育，2012（17）：21-25.
[5] SYAFIIE S，TADEO F，MARTINEZ E.Modelfree learning control of neutralization processes using reinforcement learning[J].Engineering Applications of Artificial Intelligence，2006（06）：767-782.
[6] AISSANI N，BELDJILALI B，TTENTESAUX D.Dynamic schedulingof maintenance tasks in the petroleum industry：a reinforcement approach.Engineering Appliactions of Aritificial Intelligence，2009（06）：1089-1103.
[7] Mohamed A. Khamis，Walid Gomaa.Adaptive multiobjective reinforcement learning with hybrid exploration for traffic signal control based on cooperative multiagent framework.Engineering Applications of Artificial Intelligence，2014（03）：134-151.
作者简介：
莫裕清（1977-），女，碩士，副高级工程师.研究领域：人工智能与网络安全.