基于NLP和聚类的服务器异常日志检测

李 岩 （ 深圳证券交易所 ）

龚向宇 （ 红帽软件(北京)有限公司 ）

Abstract

数据中心服务器多年下来累计了海量的日志，里面有很多的异常模式，如何用自然语言处理（ NLP）的 方法对这些数据进行管理和组织，并进行必要的分类，从而为后续的运维工作提供参考。我们方法的核心在于为每个 日志文件创建一个异常字典，从而生成与该特定服务中异常的语义区域密切相关的特征矩阵。然后使用聚类算法通过 模型训练优化模型参数，从而在模型稳定后对新来的日志进行聚类预测，以识别出异常的日志。

Keywords

Full Text

References