如何构建一个异常检测系统？

在实际的运维场景中，建构一个出现异常检测系统往往必须两个角色联合参予：领域专家和算法开发人员。领域专家也就是我们的运维人员，他们对KPI曲线的不道德很熟知，可以通过观察KPI曲线并融合自己的领域科学知识，辨别KPI曲线否出现异常；算法开发人员负责管理建构出现异常检测系统，他们熟知出现异常检测器（算法），但是实际中有各种有所不同类型的KPI曲线必须确保，所以必须为有所不同类型的KPI曲线自由选择适合的出现异常检测器以及适合的算法参数。在实际建构出现异常检测系统时，首先必须运维人员融合自己的领域科学知识向算法开发人员叙述出现异常，然后开发人员根据这些叙述来为KPI曲线自由选择适合的检测器和算法参数，接着领域专家根据这些检测器的检测结果向开发人员对系统，来更进一步优化检测器。

所以实际中常常必须经过多次递归才能研发出有能用的出现异常检测系统，有时还不会经常出现最后研发告终的例子，这是因为：1.运维人员无法事前得出精确、分析的出现异常定义2.自由选择和综合有所不同的检测器必须很多人力3.检测器算法简单，参数调节不直观实际中常常必须经过多次递归才能研发出有能用的出现异常检测系统，有时还不会经常出现最后研发告终的例子。因此，我们就不会回答，是不是一个可以自动自由选择出现异常检测器和自动调节算法参数的系统呢？答案是有！，我们实验室的研究成果：基于机器学习的KPI自动化出现异常检测系统(Opprentice)就是针对它设计的，下文将主要讲解Opprentice的设计思想以及设计框架。

设计思想Opprentice(OperatorsApprentice)的主要思想就是回来运维人员从历史数据中自学，运维人员就看起来一个“师傅”，将自己的领域科学知识“教教“给Opprentice，然后Opprentice根据“学”到的科学知识来自动自由选择适合的出现异常检测器和算法参数。如下图右图，运维人员首先在历史的KPI曲线上标记出有出现异常，接着Opprentice用于十几种有所不同类型的检测器萃取出有上百个出现异常特征，此时有了人工标记的数据和出现异常特征，我们就可以将出现异常检测问题转化成机器学习中监督式的分类问题，将萃取出有的特征作为机器学习算法的输出，通过分类算法将KPI曲线上的点分成长时间和出现异常，从而构建了出现异常检测。　　设计框架Opprentice主要由两部分构成：离线训练分类器和在线检测，在离线训练分类器部分，首先运维人员用于我们研发的出现异常标示工具，便利较慢的标示出有KPI曲线上的出现异常数据，并且设置希望Opprentice超过的准确率（precision）和解任亲率（recall），然后Opprentice不会用于十几种有所不同类型的检测器萃取出有KPI曲线的特征，其中每种检测器都有多种不同的参数配备，因此最后不会萃取出有上百个出现异常特征。

因为萃取出有的上百个出现异常特征中不会不存在牵涉到特征和校验特征，一些机器学习算法用于包括有这些特征的数据训练模型时准确度不会减少，为了解决问题这个问题，我们自由选择了一种构建自学算法（ensemblelearningalgorithm）来训练分类器：随机森林，随机森林算法用于了多棵决策树，最后的结果是由每棵决策树的结果投票决定的，并且训练决策树的特征和数据都只是取样了整体特征和数据的一部分，因此用于随机森林训练模型时，牵涉到特征和校验特征会影响算法的性能。最后，将萃取出有的出现异常特征，运维人员的标示数据和准确性偏向作为输出，训练出有出现异常分类器。

在线检测部分中，首先对于新的数据点展开特征提取，然后用训练出有的分类器辨别数据点否出现异常。在实际中，新的KPI数据中往往不会经常出现一些历史数据中没经常出现过的出现异常类型，为了让分类器可以适应环境新的经常出现的出现异常，就必须运维人员定期的对近期的KPI数据展开出现异常标记，Opprentice不会定期训练新的模型来改版分类器。离线训练分离器我们用于了来自百度和清华校园网的数个月的现实数据对系统的性能展开了检验，下面四幅图是在四个有所不同类型的KPI数据上，Opprentice用于的随机森林模型跟其它检测器的性能对比，可以显现出Opprentice皆获得了出色的结果。

总结Opprentice将出现异常检测问题转换成了机器学习中的监督式分类问题，用于运维人员的标示数据，在历史数据中训练出有分类模型来自动建构出现异常检测系统，从而解决问题了出现异常检测器的自由选择和算法参数调整的难题，为简单检测器的实际应用于获取了自动化的框架。

本文来源：开元7818网页版-www.ellytvynova.com