智能运维在金融核心领域的应用课件

智能运维在金融核心领域的应用技术创新，变革未来智能运维在金融核心领域的应用技术创新，变革未来1/7/22 201背景介背景介绍绍2.智能运智能运维维研究研究3.智能运智能运维应维应用用实实践践4.智能运智能运维实维实施路径施路径/7/22 201背景介绍智能运维研究2架构特色架构特色架构特色3安全运行安全运行专专有、封有、封闭闭、集、集中中-国国产产、开放、分布式、开放、分布式单单数据中数据中心心-多数据中心多数据中心人力人力紧紧缺缺系系统统管理：人管机器管理：人管机器值值班运行：人班运行：人盯盯系系统统远场远场运运维维值值班操作繁班操作繁琐琐重复、夜班重复、夜班值值守守压压力增大力增大数据中心地点偏僻、数据中心地点偏僻、远远程运程运维维需求迫切需求迫切运运维维三大挑三大挑战战安全运行运维三大挑战4智能运维基础研究战略目标应用场景技术架构实施策略结结合合战战略目略目标标，寻寻找合找合适适场场景景引入智能运引入智能运维维所所应应达到的目达到的目标标定定义义、特特点、点、优优势势劣劣势势、产产学研学研现现状、关状、关键键技技术术所所处处位置、系位置、系统统架构、架构、功功能能组组件件提出下一步提出下一步实实施方施方针针与路径与路径智能运智能运维维关关键问题键问题智能基础战略应用 场景技术 架构实施结合战略目标，寻找合适场5/7/22 601背景介背景介绍绍2.智能运智能运维维研究研究3.智智能运能运维应维应用用实实践践4.智能运智能运维实维实施路径施路径/7/22 601背景介绍智能运维研究6运运维维是是技技术术类类运运营营维维护护人人员员根根据据业业务务需需求求来来规规划划信信息息、网网络络、服服务务，通通过过系系统统监监控控、事事件件预预警警、安安全全维维护护、业业务务调调度度、排排障障升升级级等等手手段段，使使服服务务处处于于长长期期稳稳定定、安安全全可可用用的状的状态态。智能运智能运维维（ArtificialIntelligenceforITOperations,AIOps）运维智能运维（Artificial Intelligenc7智能运智能运维维（ArtificialIntelligenceforITOperations,AIOps）运运维维是是技技术术类类运运营营维维护护人人员员根根据据业业务务需需求求来来规规划划信信息息、网网络络、服服务务，通通过过系系统统监监控控、事事件件预预警警、安安全全维维护护、业业务务调调度度、排排障障升升级级等等手手段段，使使服服务务处处于于长长期期稳稳定定、安安全全可可用用的状的状态态。智能运维（Artificial Intelligence 8智能运智能运维维运运维维是是技技术术类类运运营营维维护护人人员员根根据据业业务务需需求求来来规规划划信信息息、网网络络、服服务务，通通过过系系统统监监控控、事事件件预预警警、安安全全维维护护、业业务务调调度度、排排障障升升级级等等手手段段，使使服服务务处处于于长长期期稳稳定定、安安全全可可用用的状的状态态。智能运维运维9智能运智能运维维运运维维是技是技术类术类运运营维护营维护人人员员根根据据业业务务需求需求来来规规划划信信息、息、网网络络、服服务务，通通过过系系统统监监控控、事件事件预预警、安全警、安全维护维护、业务调业务调度度、排、排障障升升级级等等手段手段，使服使服务务处处于于长长期期稳稳定定、安、安全全可用可用的的状状态态。2.0自自动动化运化运维维利用脚本和程序完成重复性、大规模、批量化的工作特点：减少人力成本、提高运维效率1.0手工运手工运维维人工监控、人工决策、手工实施特点：运维人员手工完成，低效；成本随系统规模增加而线性增长3.0智能运智能运维维通过人工智能算法自动从海量数据中学习总结规则，模拟人类作出决策特点：由人工智能替代人类做决策智能运维运维2.0 自动化运维1.0 手工运维3.0 智能运10智能运智能运维维将人工智能科技融入运将人工智能科技融入运维维系系统统，增，增强强了了传统传统运运维维能力能力，能有效运能有效运维维大大规规模复模复杂杂系系统统，减，减轻轻人的人的负负担。担。，手工手工运运维维自自动动化运化运维维智能智能运运维维运运维维效率效率受限于人为因素，运维效率较低 部分操作自动化后，运维效率较高自动分析处理事件，将多种自动化工具实现联动，运运维维效率高效率高系系统统可用性可用性手工运维时处理异常效率低，系 统可用性相对较低得益于自动化工具，异常处理与恢复 速度较快，系统可用性相对较高采用智能分析、预警、决策等手段，异常处理效率 高，甚至可规避异常，系系统统可用性高可用性高系系统统可可靠靠性性手工运维时系统的可靠性较低将重复性操作实现为自动化工具，采 用自动化运维时系统可靠性较高结合自动化工具，并采用多种策略使用工具，高可高可 靠性靠性学学习习成本成本需掌握多个系统的运维知识和操 作指令，学习难度高、成本高需对自动化工具有一定掌握，学习难 度较高、成本较高故障分析、预警及异常处理可由智能运维自动实现 学学习习难难度与成本低度与成本低建建设设与与使使用用成成本本建设运维的工具成本低，可采用 系统自带的运维命令。但对复杂 系统的运维需投入大量的人力，人力成本高建设自动化运维的成本较高，投入运 维的人力成本则相对较低智能运维的建建设设成成本本较较高高，投入运维的人力成本低人力成本低应应用用范范围围运维基础手段，应用广泛，但不 适用于分布式、大规模系统运维在互联网企业、金融行业得到广泛应 用，适用于集群系统、服务器数量一 般的分布式系统运维新技新技术术，目前有部分金融企业、互联网企业开展研 究与实践，适用于大规模分布式系统运维优优缺点缺点对对比比智能运维将人工智能科技融入运维系统，增强了传统运维能力，能有11创创新触新触发发期期期望膨期望膨胀胀期期冷静期冷静期启蒙复启蒙复苏苏期期稳稳定成熟期定成熟期创新触发期期望膨胀期冷静期启蒙复苏期稳定成熟期12卡内基梅隆卡内基梅隆：Netflix合作合作清清华华大学：交大学：交行行/阿里阿里/IBM南京大学南京大学：360/腾讯腾讯科科 研研 机机 构构阿里云：智能故障管理阿里云：智能故障管理平平台台百度：百度：单单机房故障自愈机房故障自愈系系统统腾讯腾讯：哈勃大数据平台：哈勃大数据平台、织织云云智智能能监监控、控、蓝鲸蓝鲸智云智云监监控控互互 联联 网网金金 融融 行行 业业Splunk：大数据搜索与可：大数据搜索与可视视化化华华为为：FusionInsightIBM：实时实时大数据分析大数据分析驱动驱动京京东东/IBM/国自：巡国自：巡检检机器人机器人技技 术术 厂厂 商商产产学研学研现现状状运运维维大数据：交大数据：交行行/中行中行智能巡智能巡检检：阳光保：阳光保险险/上上海海银银行行容量容量评评估：太平洋保估：太平洋保险险/招行招行卡内基梅隆：Netflix合作科 研 机 构阿里云：智能故障13眼睛：眼睛：运运维维大大数数据平据平台台。它能采集、处理、存储、展示各种运维数据，感知与洞察技术系统大大脑脑：智智能能运运维维算算法法。它利用人工智能算法，根据具体的运维场景、业务规则或专家经验等，对运维事件进行分析、定位，并作出决策手手：自自动动化化运运维维工工具具。它基于确定逻辑的运维工具，对技术系统实施诸如运行控制、监控、上线等系列处理操作运运维维大大数据平数据平台台自自动动化运化运维维工具工具智能运智能运维维算法算法核心技核心技术组术组成成眼睛：运维大数据平台。展示各种运维数据，感大脑：智能运维算法14运运维维数据是在日常技数据是在日常技术术系系统统运行运行维护过维护过程中程中产产生的数据，用以表述当前系生的数据，用以表述当前系统统的的状状态态、事件、异常等信息，一般可分、事件、异常等信息，一般可分为动态为动态数据和静数据和静态态数据两数据两类类监监控数据控数据设备监设备监控数据控数据系系统监统监控数据控数据数据数据库监库监控数据控数据中中间间件件监监控数据控数据应应用用监监控数据控数据安全安全监监控数据控数据动环监动环监控数据控数据环环境境监监控数据控数据统统一告警一告警时间时间日志数据日志数据系系统统日日志志应应用用日日志志网网络络日日志志设设备备日日志志安全日志安全日志配置信息配置信息CMDB变变更管理更管理运运维维大数据平台大数据平台运维数据是在日常技术系统运行维护过程中产生的数据，用以表述当15运运维维大数据平台大数据平台分布式存分布式存储储层层（Hadoop）非非结结构化数据源构化数据源各系统日志Logs数据数据计计算算层层离离线计线计算算性能监控数据数据展示数据展示层层数据中心数据源数据中心数据源系统监控数据应用日志告警事件网络&设备日志巡检日志监控数据安全访问&审计日志实时实时事件日志事件日志日志收集及日志收集及处处理理（flume）数据准数据准实时获实时获取、数据取、数据直接直接访问访问数据挖掘数据挖掘统计统计分析分析应应用平台用平台数据接口数据接口机器学机器学习习算法算法输输入入输输出出分析分析结结果文件果文件实时计实时计算分析算分析数据流数据流事件事件驱动驱动BI展展现现数据存数据存储层储层数据数据组织组织存存储储flume/sqoop/JDBC历历史数据史数据FTP/sqoop日志数据HDFS数据采集数据采集层层HiveStorm/SparkStreaming智能运智能运维维分析分析Kibana指指标预标预警、警、报报警聚警聚合合异常定位、故障自我修复异常定位、故障自我修复LogStashRedis搜索引擎可搜索引擎可视视化化ElasticsearchMysqlETLSparksql运维大数据平台分布式存储 层非结构化数据源数据计算层离线计算16物理拓扑自动构建业务拓扑自动构建故障传播链构建历史故障工单画像故障止损预案构建自动化任务脚本应用流量画像指标画像及聚类日志正常模式画像故障先兆画像容量画像性能瓶颈画像交易链条画像应用健康画像特殊日整体画像运维数据整体画像主体画像类知识图谱类主主体体画像与知画像与知识图谱类识图谱类+动态动态决策决策类类通通过过多种算法挖多种算法挖掘掘运运维维历历史史数数据据，从从而而得得出出运运维维主主体体画画像像，然然后后构构建建运运维维主主体体之之间间的的关关系系，最最终终形成运形成运维维主体的主体的知知识识图图谱谱运运维维主体主体：系系统统软软件件、硬硬件件及及其其运运行行状状态态，如如指指标标、日日志志、事事件件、变变更更等等画画像：像：用以描述运用以描述运维维主主体体的的自自身身属属性性，如如容容量量画画像像、指指标标画画像像等等知知识图谱识图谱：基基于于画画像像，用用来来描描述述主主体体之之间间相相互互关关系系，如如故故障障失失效效传传播播链链举举例：例：构建故障构建故障传传播播链链，是是对对失失效效现现象象进进行行回回本本溯溯源源的的分分析析，查查找找引引起起该该失失效效的的可可能能的的故故障原因。障原因。主体画像与知识图谱智能运智能运维维算法算法物理拓扑 自动构建业务拓扑 自动构建故障传播 链构建历史故障17动态决策单指标异常检测多指标异常检测文本日志异常检测异常检测交易链条异常检测异常机器定位多维数据定位变更故障定位交易链条定位故障定位部署自动拦截迁移可行性评估弹性扩缩容决策限流决策故障处置容量预测变更风险评估故障规避智能瓶颈报表故障预测主主体体画像与知画像与知识图谱类识图谱类+动态动态决策决策类类在已在已经经挖掘好的挖掘好的运运维维画画像像与与知知识识图图谱谱的的基基础础上上，利利用用实实时时监监控控数数据据作作出出实实时时响响应应与与决决策策，甚甚至至预预测测未未来来一一段段时时间间内内系系统统运运行行状状态态举举例例：故障故障预测预测，基基于于历历史史经经验验的的基基础础上上，使使用用多多种种模模型型或或方方法法对对现现有有的的系系统统状状态态进进行行分分析，判断未来某析，判断未来某一一段段时时间间内内发发生生失失效效的的概概率率举举例：例：单单指指标标异常异常检测检测是是对对系系统统中中突突然然出出现现的的单单个个KPI性性能能指指标标的的异异常常（如如突突增增、突突降、降、抖抖动动）自）自动动判断判断和和识识别别，检检测测出出潜潜在在的的故故障障智能运智能运维维算法算法动态决策单指标异 常检测多指标异 常检测文本日志 异常检测异18自自动动化运化运维维工具工具自动化运维工具19根因分析异常预测异常定位异常检测人工智能运维人员告警修复建议专家知识反馈执行预案脚本修复软硬件故障执行预案脚本采取运维手段技术系统技术系统变更监控信息配置信息变更信息智智能运能运维闭环维闭环：离离线线：分析构建运维主体画像与知识图谱在在线线：利用主体画像与知识图谱分析处理实时日志信息，预测、检测以及定位异常，执行自动化脚本将系统恢复到正常状态运运维维知知识识反反馈馈：智能运维自动从历史的运维操作中学习并总结规律，增强运维决策能力运运维闭环维闭环执行修复建议根因分析异常预测异常定位异常检测人工智能运维人员告警 修复建201.背景介背景介绍绍2.智能运智能运维维研究研究3.智能运智能运维应维应用用实实践践4.智智能运能运维实维实施路径施路径/7/2221背景介绍/7/222121事后事后快速定位快速定位远远程程集中管理集中管理事前事前智能智能预预警警夜夜间间无人无人值值守守战战略目略目标标事后 快速定位远程事前夜间战略目标22智能智能预预警警作作业业运行运行预测预测最最长长路径分析路径分析指指标预标预警警智能智能检测检测异常异常报报警聚合警聚合智能异常智能异常检测检测故障根因分析故障根因分析智能智能值值守守值值班操作智能化班操作智能化运运维维数据可数据可视视化化智能巡智能巡检检应应用巡用巡检检智能化智能化机房巡机房巡检检智能化智能化应应用用场场景景应应用用场场景景智能预警智能检测智能值守智能巡检应用场景应用场景23智能智能预预警警基于作业历史运行数据，构构建建作业运行时间的特征模型利用历史数据训练训练模型利用回归类算法预测预测当天作业的运行时间60%的作业可建立回归预测模型预测值误差在10%以内举例：某作业预测值的平均误差为9.21秒，秒，误误差差在在3.7%以内以内作作业业运行运行时时间间预测预测基基于于历历史运行信息史运行信息，对对批批处处理理作作业业的的运运行行时时间间进进行行预测预测方方法法效果效果智能预警基于作业历史运行数据，构 建作业运行时间的特征模型624以作业预测数据、作业关系为输入利用动态规划算法实时实时计计算算关键路径及关键完成时刻利用SPFA算法验证并修正修正预测结果与实际结果拟合度超过90%起点：处理前备份终点：处理结束智能智能预预警警最最长长路径分析路径分析结结合作合作业业运运行行时间时间的的预预测测值值，实实时计时计算算跑批跑批过过程中程中关关注的注的作作业业最最晚晚处处理理时时刻刻方法方法效果效果以作业预测数据、作业关系预测结果与实际结果拟合度超过90%智25指指标预标预警警是是针对针对某一某一应应用或系用或系统统，根据其，根据其历历史运行的信息史运行的信息，以以时间时间序列序列为为轴轴，构建其，构建其正正常常运运行的基行的基线线，结结合合该应该应用或系用或系统统当前的运行状当前的运行状态态、指指标标数数值值，判，判断断是否出是否出现现异异常常。指标是用以衡量应用系统各方面业务状态（业业务务指指标标）和运行状态（技技术术指指标标）的自描述的标准或数据举例：成交笔数、交易量；未应答数，服务响应延迟时间，http请求状态等智能智能预预警警指标预警智能预警26指指标标预预警平台警平台预预警警对对象：技象：技术术指指标标和和业业务务指指标标指指标类标类型：基于型：基于时间时间序序列列、基、基于于时时刻刻预预警警阈阈值值：固：固定定类类、变变化化类类智能智能预预警警指标预警平台智能预警27异异常常报报警警聚合聚合是将冗余的是将冗余的报报警信息警信息进进行聚合，将其行聚合，将其处处理成精理成精简简的的报报警信息警信息聚合相同时间段内多个关联性较强异常报警挖掘历史报警数据中的关联关系，建立关联的报警策略列表重新回顾报警策略，将报警关注度较低的报警策略剔除故障根因分析故障根因分析是基于准确是基于准确报报警，分析警，分析查查找异常找异常发发生原因，定位生原因，定位故故障点。它是障点。它是对对异常异常报报警聚警聚合合、故故障障失效失效传传播播链链的一次的一次综综合合应应用。用。智能智能检测检测检测器特征机器学习异常分类器检测器特征检测结果历史日志信息实时日志信息故障案例异常报警聚合故障失效传播链的一次综合应用。智能检测检测器特征28值值班操作智能化班操作智能化基于基线的报警确认利用聚类算法、孤立森林的报警分类与识别异常处理智能化运运维维数据可数据可视视化化丰富监控对象提升数据的可视化程度与现有监控相集成智能智能值值守守值班操作智能化运维数据可视化智能值守29应应用巡用巡检检智能化智能化是是对应对应用系用系统统采用模采用模拟拟的、黑盒的自我的、黑盒的自我检查检查，一，一方方面可提前判面可提前判断断关关键业务键业务的的可可用用性性，另一方面可另一方面可结结合合历历史数据与当前史数据与当前KPI指指标标，预测应预测应用系用系统统未来的可用性未来的可用性对外服务应用系统的巡检内部应用组件的互检机房智机房智能能巡巡检检是引入智能巡是引入智能巡检检机器人、定点机器人、定点摄摄像像实时监实时监控机器控机器人人，对对IT设备设备、机、机房房环环境境进进行巡行巡检检或或定点定点监监控控智能巡智能巡检检应用巡检智能化智能巡检30综综合巡合巡检检平台平台集中集中统统一一显显示示对对内、内、对对外外应应用用自自检检状况状况异常异常处处理理时时，可，可结结合内合内外外部部应应用用的自的自检检信息信息，快速快速定定位位智能巡智能巡检检综合巡检平台智能巡检31智能运智能运维门户维门户GrafanaKibana信息统一展示大屏监控应应用用场场景景智能预警作业运行预测最长路径分析指标预警智能检测异常报警聚合智能异常检测故障根因分析智能值守值班操作智能化运维数据可视化智能巡检应用巡检智能化机房巡检智能化智能运智能运维维算法算法运维知识图谱服务调用链故障失效链系统画像CMDB动态决策库性能预测异常检测根因诊断止损决策运运维维数据平台数据平台数据存储hadoopkafkaRedisHiveESMpp数据采集flumelogstashAgent/API批处理运行控制服务器管理工具应用发布部署工具自自动动化工具化工具软件监控系统硬件监控系统集中报警系统批处理监控系统监监控工具控工具IT基基础设础设施施X86计算资源池小型机计算资源池网络资源池存储资源池服务器网 络存 储机 房智能运智能运维维技技术术架构架构智能运维门户GrafanaKibana信息统一展示大屏监控应32智能运智能运维门户维门户GrafanaKibana信息统一展示大屏监控应应用用场场景景智能预警作业运行预测最长路径分析指标预警智能检测异常报警聚合智能异常检测故障根因分析智能值守值班操作智能化运维数据可视化智能巡检应用巡检智能化机房巡检智能化智能运智能运维维算法算法运维知识图谱动态决策库服务调用链系统画像性能预测根因诊断故障失效链CMDB异常检测止损决策hadoopkafka运运维维数据平台数据平台数据存储RedisHiveESMpp数据采集flumelogstashAgent/API批处理运行控制服务器管理工具应用发布部署工具自自动动化工具化工具软件监控系统硬件监控系统集中报警系统批处理监控系统监监控工具控工具IT基基础设础设施施X86计算资源池小型机计算资源池网络资源池存储资源池服务器网 络存 储机 房智能运智能运维维技技术术架构架构智能运维门户GrafanaKibana信息统一展示大屏监控应33/7/22 3401背景介背景介绍绍2.智能运智能运维维研究研究3.智智能运能运维应维应用用实实践践4.智智能运能运维实维实施路径施路径/7/22 3401背景介绍智能运维研究34应用自动巡检指标智能预警机器自动巡检运维数据采集运维数据存储运维数据展示时序数据智能异常发现流量智能异常告警数据库智能监控智能网络日志分析智能预警智能检测智能值守智能巡检各运维场景智能化闭环与运维管理流程、运维组织架构、运维自动化深度融合运维人员探索需求、定义场景、专注业务运运维维数据大数据大平平台台基基础础性性应应用用单单点智能化点智能化实实践践局部局部场场景智景智能化能化一体化智能一体化智能运运维维智能运智能运维实维实施路径施路径应用自动巡检运维数据采集时序数据智能异常发现智能预警各运维场35Q&AQ&A36 THANKYOU!THANK YOU!37