入侵检测系统概念

入侵检测（Intrusion Detection），是指对入侵行为的发觉。它通过取得计算机网络或计算机系统中若干关键点收集信息并对其进行分析，从而发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统（Intrusion Detection System，简称IDS）。

入侵检测技术、评价标准和发展趋势

从技术上，入侵检测分为两类：一静基于标识（signature-based），令一种基于异常情况（anomaly-based）。对于基于标识的检测技术来说，首先要定义违背安全策略的事件的特征。检测和判别这类特征是否在所收集到的数据中出现。而基于异常的检测技术则是先定义一组系统“正常”情况的数值，如CPU利用、内存利用率等，然后将系统运行时的数值与所定义的“正常”情况比较，得出是否有被攻击的迹象。

目前的入侵捡测技术发展逐速，应用的技术也很广泛，如何来评价IDS的优缺点就显得非常重要。评价IDS的优劣主要有这样几个方面：

正确性性能完整性故障容错（fault tolerance）自身抵抗攻击能力及时性（Timeliness）

除了上述几个主要方面，还应该考虑以下几个方面：

DS运行时，额外的计算机资源的开销；误警报率/漏警报率的程度；适应性和扩展性；灵活性；管理的开销；是否便于使用和配置

人们在完善原有技术的基础上，又在研究新的检测方法,其主要的发展方向可概括为：

（1） 大规模分布式入侵检测：解决传统入侵检测技术不能适应大规模网络监测，不同的入侵检测系统之间也不能协同工作的问题。

（2） 宽带高速网络的实时入侵检测技术：研究如何在高速网络下进行实时入侵检测。

（3） 入侵检测的数据融合技术：探索在处理大量数据的条件下如何快速对付训练有素的黑客攻击。

（4） 与网络安全技术相结合：结合防火墙、病毒防护以及电子商务技术，为网络安全提供完整的保障。

典型入侵检测系统分析

集中管理-集中分析型

DIDS（Distributed Intrusion Detection System）初衷是将基于主机和基于网络的入侵检测系统结合起来，用来追踪使用者在网络中的移动和行为。

此系统中有两种数据采集器，一种采集主机数据，另一种采集网络数据，所有的数据被传送到主节点分析器上面进行分析和处理。这种体系结构在大规模高速网络的条件下将遇到“系统瓶颈”的问题。

把所有数据不加处理地传送到主节点将占用很大的网络带宽；主节点分析器处理能力有限，海量数据处理将使其不堪重负；主节点分析器是一个“单一失效点”，节点间通信安全也没有相应措施加以保障。

集中管理-分布分析-静态协调型

IDA（Intrusion Detection Agent system）系统框架是层次性的，且只有两层。Sensor检测到MLsI后直接交给管理器，并不需要根据内容来判断传送的目的地，信息收集代理搜集的信息也固定传向管理器，所以仍属于静态协调。 IDA最大的特点就是采用移动代理技术，能自动追踪入侵者的攻击路线。由于MLsI的定义限于某类特定事件，因此它只能高效地检测某一类分布式入侵。

集中管理-分布分析-动态协调型

MAIDS（Mobile Agents Intrusion Detection System）采用SFT（Software Fault Tree）技术来描述分布式入侵行为。CPN图则代表了系统的具体设计。该体系结构具有非常大的灵活性，但是仍属于集中管理型的。

分散管理-分布分析-静态协调型

AAFID（Autonomous Agents For Intrusion Detection）采用层次结构。它的信息主要是按照层次结构传递，因此属于静态协调。监视器可以有很多个，并且没有集中的管理器进行“任务分派”的工作，因此属于分散管理。

分散管理-分布分析-动态协调型

CSM（Cooperating Security Manager）设计初衷是克服原来的DIDS集中分析的缺点，采用一套对等（Peer to Peer）机制来组织系统。

CSM 体系结构并没有集中的管理器，属于分散管理；各个CSM 独立地分析本地的数据，故属于分布分析；CSM上的协调器会根据使用者登陆系统的路径而决定自己应该和哪个CSM 主机交换信息，因此属于动态协调模式。 从上面的分析可以看出，“分布分析”已经成为公认的好方法。集中分析的体系结构简单但可伸缩性和灵活性不够，存在“单一失效点”的问题，分布分析有效缩减了数据量，克服了“单一失效点”的问题。

代理（Agent）与多代理系统（MAS）

Minsky在1986年出版的“思维社会”中首次提出了Agent，认为社会中的某些个体经过协商可求得问题的解，这个个体即是Agent。Agent的基本思想是使软件能模拟人类的社会行为和认知。而智能Agent是指在动态的多Agent领域采取灵活、自治活动的计算机实体，自然也带有Agent的普遍特性。可以将智能Agent的特性归纳如下：

自治性。能够在没有人或其它程序介入时操作和运作。通信能力。能够用通信语言与其它实体交换信息和相互作用。推理和规划能力。能够基于知识系统和外界环境的情况进行推理和规划，解决自身或传递自身领域内的各类问题。协作、合作、协调及协商能力。能够协调和合作解决复杂问题，协商执行某类行动等。同时拥有感知能力和反映性、能动性、持续性、动机性、可移动性、可靠性、诚实性和理智性等。

MAS（multi-agent system）是由多个Agent组成的Agent社会，是一种分布是自主系统。在表达实际系统时，MAS通过各Agent间的通讯、合作、互解、调度、管理及控制来表达系统的结构、功能及行为特性。

MAS产生的原因可归纳为：

实际系统的分布性、复杂性、动态性有望通过对单个个体能力的有效分工、协调、组织而达到系统整体优化的目的。单个Agent研究，以及与人类社会行为研究关的系统科学、决策科学、管理与组织理论、经济学、对策论等是MAS研究的理论基础。

MAS研究中有以下3种典型的Agent体系结构[16]。

慎思型（deliberative）体系结构

大多数通用的慎思方法，认识构件基本上由两部分组成：规划器和世界模型。这种方法中有一个基本的假设：对认知功能进行模块化是可能的，即可以分开来研究不同的认知功能（如感知、学习、规划和动作），然后把它们组装在一起构成自治Agent。从工程角度看，功能模块化降低了系统的复杂性。

反应型（reactive）体系结构

Agent不依赖任何符号表示，直接根据感知输入产生行动。反应Agent只是简单地对外部刺激发生反应，没有符号表示的世界模型，并且不使用复杂的符号推理，反应结构的设计部分是来自下面的假设：Agent行为的复杂性可以是Agent运作环境复杂性的反映，而不是Agent复杂内部设计的反应。

混合型（hybrid）体系结构

混合型体系结构是上述两种体系结构的结合，既能实现面向目标的长期规划，又具有实时性的特点，是MAS应用中最常用的体系结构。 通过上述Agent及MAS系统特点可以看出， MAS系统的分布性、动态性、高效性特点使得MAS能够降低系统设计复杂性、充分利用系统整体资源以Agent合作的方式完成入侵检测任务。

网络流量异常检测技术

网络行为学认为网络的流量行为具有长期特征和短期特征。网络长期特征表现在网络行为具有一定的规律性和稳定性。能够对局域网的流量或者某些关键主机的流量情况进行实时监测，并进行预测与分析，有助于判定异常网络流量，及早发现和识别潜在的入侵攻击的发生。现在已经有了一些基于网络流量的检测技术，包括：统计模型方法、数据挖掘方法、自相似特征方法以及累积和方法。

统计模型方法

统计分析常用在基于异常的入侵检测系统中，它使入侵检测系统能够学习主体的日常行为，将那些与正常与正常活动之间存在较大统计偏差的活动表示成异常活动。在统计模型中常用的方法有：方差、马尔柯夫过程模型、时间序列分析。主要利用统计模型结合流量的预期、方差或者其他统计参数，再利用假说检验的方法来检测攻击行为。该方法是假设历史数据是正常的数据，其缺陷主要是假设统计模型的数据能正确的反映系统的正常数据，但实际应用情况往往很复杂。

数据挖掘方法

数据挖掘是从大量的、模糊的、随机数据中，提取尽可能多的安全信息、抽象出有利于进行判别和比较的特征模型，这些特征模型可以是基于常量检测的特征向量模型，也可以是基于异常检测的行为描述模型，然后由计算机根据相应算法判断出当前行为的性质。目前应用较多的数据挖掘算法有数据分类、关联规则和序列分析。这类入侵检测方法需要针对不同网络应用环境训练不通的特征模型，无法做到灵活应用。

自相似特征方法

自相似性是指网路的负载随着时间的扩展常常表现出自相似的模式。对这类方法的研究经常与小波分析相联系。目前的应用是根据网络流量中Hurst参数的变化来发现攻击，但这个方法需要一个正常的流量作为模板，如何表现这样的非攻击流量特性也是一项重要的挑战。

神经网络方法

神经网络方法中常用的算法通常是反向传播（BP）算法。对于BP神经网络来说，隐藏节点的增多可能导致过度的问题，而过度拟合会损坏网络的学习能力，针对只运用BP神经网络作网络流量预测的局限性，各种改进的应用于网络流量预测的神经网络模型不断被引入：模糊理论与神经网络结合的模糊神经网络；信号处理中的FIR数字滤波器与神经网络结合的FIR神经网络；将时间引入神经网络的时延回归神经网络等。

累积和方法

累积和方法（CUSUM）是统计过程控制中常用的算法，它可以检测统计过程中均值的变化。其中Tao Peng等人使用CUSUM算法进行基于网络流量异常检测。这种方法相比上述流量入侵检测方法具有更高的灵活性、实用性，但是CUSUM算法本身具有异常值回归缓慢的缺陷，而这一缺陷会为入侵检测系统带来较大的误报风险。