admin管理员组文章数量:1627946
2024年6月18日发(作者:)
浅谈知识图谱在运维大数据中的应用
发布时间:2022-11-23T00:41:11.720Z 来源:《中国科技信息》2022年第15期 作者: 郭宝贤、王杰、陈志鹏、徐梦剑
[导读] 运维大数据中数据资产的智能运维市场持续火热,而其中知识图谱作为最重要的技术工具,
郭宝贤、王杰、陈志鹏、徐梦剑
国网数字科技控股有限公司
摘要:运维大数据中数据资产的智能运维市场持续火热,而其中知识图谱作为最重要的技术工具,其建设创新备受人们关注。为将传
统的资产数据图形化,基于实体资产运维现状,采用自动化构建方式,提出了一种运维领域的知识图谱构建与存储方案,分析此场景运维
领域知识库,通过运维概念、实体属性和分类关系实现知识图谱的构建,并以图的方式直观展示。与传统数据资产管理相比,运用运维知
识图谱管理运维数据缩短了故障定位时间、提高了资源使用率、减少了运维成本。
关键词:知识图谱;CMDB;智能运维
0 引言
知识图谱作为引领人工智能从感知阶段演进到认知阶段的关键技术,是当前的研究热门之一,受到了各行业的重点关注。智能运维发
展的一部分是知识图谱技术在运维领域的应用。区别于传统运维,智能运维将资产数据可视化,通过知识图谱技术对各资产数据进行有效
的数据整合管理,成为运维数据分析和人工智能结合的磐石。
1 智能运维中知识图谱的应用意义
智能运维(Artificial Intelligence for IT Operations,AIOps)是Gartner公司在2016年提出的一种运维新理念[1]。在传统运维中,人工是
运维的主要操作管理方式。而应用知识图谱技术与智能运维相结合,可以帮助运维人员更加直观准确的自动获取资产数据和定位解决故
障。同时由于知识图谱具有基于图结构的数据格式,更便于计算机系统的存储与检索,因此为大规模的知识系统的建设、存储和检索提供
了技术保障。
2 运维领域知识图谱构建与存储方案
2.1 概况
运维的实体资产、虚拟资产繁多,各种信息多态冗杂,因此构建一个完整、统一、高效的知识图谱迫在眉睫。运维领域知识图谱能更
便捷、直观的完成实体关系的管理,同时也具备命名实体识别、关系查询及基于echarts完成关系图展示的能力。
2.2 运维领域知识库分析
运维领域基于运维管理方法,旨在建立从业务运行环境-业务运行维护-业务运行信息-业务运行保障的实体关系,明确运维知识库需要录入
的应用对象。通过python科学计算库进行数据预处理,存储至图形数据库Neo4j中。
2.3 运维领域知识库的构建流程
基于目前运维资产现状,采用半自动化构建方式知识图谱,构建流程如图1所示:
图1 运维领域知识库构建流程
3 运维领域知识图谱建设创新
3.1 CMDB建设标准创新
配置管理数据库(Configuration Management Database,CMDB)是运维管理工作重要的工具之一,本质上也是运维领域典型的知识图
谱,其建设标准对于整个运维管理系统至关重要。根据运维实际情况提出“新、活、快、通、准”为标准,对CMDB建设进行创新,利用知
识图谱的技术,将CMDB从原有的单一运维工具转变为一种新型企业IT服务的新能力,为自动化服务建设、数据分析、人工智能、大屏展
示等提供核心精准的数据支撑[2]。
3.2 资产智能画像
提出资产智能画像是运维知识图谱建设的一项重点工作。通过对实体资产画像的智能化的创新。能够有效减少CMDB数据人工管理,
并达到资产实体自动关联,自动分类等目的。通过知识图谱的相关技术,将数据资产模块实体化,构建知识图谱,就可以智能画像管理各
数据资产模块。
3.3 智能预警
运维知识图谱建设与智能预警机制的结合创新。运用智能知识图谱,对所有资产的关联关系一目了然,出现故障等事件,可以与智能
预警方案进行无缝衔接,提早通知影响范围,减少故障分析时间,提高运维效率。
3.4 资产实体运营化
运用运维知识图谱实现运维运营化,是运维知识图谱的又一重要的创新。运用运维知识图谱清晰的关联关系,结合自定义的评分标
准,对上线资产实体进行打分并等级划分,根据等级对相关资产运营管理,提高资源使用率,降低运维成本,实现运维运营化。
4 运维领域知识图谱具体构建
4.1 基于Lattice-LSTM的知识抽取
在运维知识图谱的构建流程中,最为关键的步骤是智能命名实体识别与抽取。利用LSTM神经网络层计算获取上下文关系表示向量,最
后将这些表示向量作为特征通过CRF标签推理层预测得出标签的分类结果[3]。基于Lattice-LSTM模型实现运维领域知识抽取,具体实现步
骤如图2所示:
图2 基于Lattice-LSTM模型实现运维领域知识抽取
4.2 基于Neo4j的运维领域知识图谱存储
上述运维领域的知识图谱中,实体及实体之间的关系会被频繁的查询,并按照业务变更进行相关实体或实体关系的智能更新。图数据
库显得尤为重要,其中在图数据库Neo4j中,只需导入节点、边的数据,利用图结构便能高效的存储和查询数据。
4.3 基于Cypher语言的知识图谱查询
Cypher是Neo4j图数据的查询语言,下面介绍基于Cypher语言对运维资产导入、更新、查询及可视化的操作方式和实现方法。(数据全
部来源于csv文件)
节点构建模型:(Variable:Label:Label2{Key2:Value1,Key2:Value2})
节点标签Label等同于关系型数据库的表名,即下面的mr,属性相当于关系型数据库中的列名。
LOAD CSV WITH HEADERS FROM "file:///" AS line
CREATE (:Mr{name:})
其他的机柜、服务器等等信息按相同方式导入。
创建运维资产实体关系,例:导入机房信息与机柜信息,文件内容格式如下:
LOAD CSV WITH HEADERS FROM "file:///" AS line
MATCH (entity1:Mr{name:}),(entity2:Mg{name:})
CREATE (entity1)-[:mr_mg{type:on}]->(entity2)
如图3所示,建立mr与mg的实体关系。其他实体之间关系按照如上方式依次创建即可。
图3 实体间关系创建展示图
5 运维大数据领域知识图谱应用实例
在实际的生产环境中,基于图数据库Neo4j,运维大数据领域知识图谱以图形节点和边存储知识,在Neo4j中的实体关系节点展示,如
图4所示,该图中节点表示实体资产本身的关系集合,附带有各自的属性信息;边表示实体资产间的关系,包括关系属性,开始属性的ID和
结束节点的ID。
图4 运维领域的知识图谱构建最终展示图
不同的实体类以不同的颜色区分,通过高效准确的知识抽取和合理的关系节点定义,完善了知识库,实现了运维领域知识图谱的构
建,从而全面表达了运维资产实体与实体之间的上下游信息,为后续知识图谱系统应用建立良好的数据基础。
6 结语
运维大数据智能运维领域的知识图谱建设工作是一项长期的工作,其内容涉及到运维的方方面面。本论文提出的运维知识图谱构建和
存储方案从实际应用上来说对运维工作快速赋能是具有很好的可行性,并具有良好的创新价值。
参考文献:
[1]葛俊, 童陆园, 耿俊成, 等. TCSC暂态过程中晶闸管导通角特性的研究[J]. 电网技术, 2001, 25(7): 18-22.
[2]昂温 G, 昂温 P S. 外国出版史[M]. 陈生铮, 译. 3版. 北京: 中国书籍出版社, 1998: 112-147.
[3]袁慧梅. 用GA优化的ANN在配电网线损中的应用[D]. 北京: 中国农业大学, 1999: 7-9.
版权声明:本文标题:浅谈知识图谱在运维大数据中的应用 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dongtai/1718641919a705727.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论