集团企业大数据平台建设方案课件

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,大数据,#,集团企业大数据平台建设方案,大数据,云平台,集团企业大数据平台建设方案大数据云平台,1,IT,大数据平台使用,01,02,03,IT,大数据平台介绍,IT,大数据平台部署,IT,大数据平台运维,04,IT大数据平台使用010203IT大数据平台介绍IT大数据平,IT,大数据平台介绍,IT大数据平台介绍,日志处理的历史背景,日志导入关系型数据库,查看时需要登陆每个服务器和进入应用目录，使用脚本命令或程序查看,日志被定期清理，节省磁盘空间黑客入侵后抹去入侵记录日志,日志经常在安全事件发生后被关注没有对日志实时监控、分析,传统数据库无法适应,TB,级以上日志,关系型数据库无法适应半结构化和非结构化日志信息不提供全文检索,日志没有被集中统一管理,日志未被完整保留,日志主要用于事后问题追查,日志处理的历史背景日志导入关系型数据库查看时需要登陆每个服务,4,日志的价值,数据类型,位置,它可以告诉您什么,应用日志,本地日志文件、,log4j、log4net、Weblogic、WebSphere、JBoss、.NET、PHP,用户活动、欺诈检测、应用性能,业务流程日志,业务流程管理日志,跨渠道客户活动、购买、帐户变更以及问题报表,点击流数据,Web,服务器、路由器、代理服务器和广告服务器,可用性分析、数字市场营销和一般调查,配置文件,系统配置文件,如何设置基础设施、调试故障、后门攻击、,定时炸弹,病毒,数据库审计日志,数据库日志文件、审计表,如何根据时间修改数据库数据以及如何确定修改人,文件系统审计日志,敏感数据存储在共享文件系统中,监测并审计敏感数据读取权限,操作系统度量、状态和诊断命令,通过命令行实用程序（例如,Unix,和,Linux,上的,ps,与,iostat,以及,Windows,上的性能监视器）显示的,CPU,、内存利用率和状态信息,故障排除、分析趋势以发现潜在问题并调查安全事件,数据包,/,流量数据,tcpdump,和,tcpflow,可生成,pcap,或流量数据以及其他有用的数据包级和会话级信息,性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程攻击,Syslog,路由器、交换机和网络设备上的,Syslog,故障排除、分析、安全审计,Web,访问日志,Web,访问日志会报告,Web,服务器处理的每个请求,Web,市场营销分析报表,Web,代理日志,Web,代理记录用户通过代理发出的每个,Web,请求,监测并调查服务条款以及数据泄露事件,日志的价值数据类型位置它可以告诉您什么应用日志本地日志文件、,5,产品特点,支持任何来源、格式日志，例如,TCP,、,UDP,、数据库审计、文件等方式。通过采集、结构化、分类、归并、分析日志数据。,整合大数据存储、计算、搜索能力，对海量数据进行实时分析、挖掘。,全网日志统一管理,01,问题溯源,02,与大数据集成,智能运维，智能告警，及时发现问题、定位、原始数据取证，并自动与用户、资产信息关联,03,强大的数据处理和方便的扩展能力，以应用、插件的方式集成。,定制化开发,04,产品特点支持任何来源、格式日志，例如TCP、UDP、数据库审,6,简介,Lion,利用分布式存储计算框架，对大量的系统和应用产生的日志进行采集、监控和分析，保证日志的多副本安全存储和实时快捷的分析计算能力。,Lion,具有友好的用户界面，方便用户通过,web,界面中的可视化数据进行日常运维和问题快速定位。,Lion,支持多种日志格式的采集和解析，并提供定制化开发和第三方插件集成。,使用,IT,大数据系统,进行日志数据的集中存储、管理和分析,简介Lion利用分布式存储计算框架，对大量的系统和应用产生的,7,支持日志文件上传、文件,和,目录监控、服务器端口监听,、,服务器性能监控等数据导入方式的,界面化,操作和进度查看,。,数据导入,功能介绍,数据搜索结果支持时间轴筛选、自定义过滤条件、字段结果分类统计。,数据搜索,通过数据的查询、过滤、聚合结果生成多种可视化图表，支持动态实时更新。,数据可视化,告警功能、主机管理、用户权限控制等。,更多功能,支持日志文件上传、文件和目录监控、服务器端口监听、服务器性能,8,框架,ElasticSearch,基于,Lucene,的搜索引擎，分布式架构，具有集群，分片，副本等属性,Beats,日志采集器，搜集文件、,Windows,事件、网络流量、性能指标信息,Logstash,日志接收、富化、转发的引擎。支持系统日志、,webserver,日志、应用日志等,Lion Service,基于,RPC,的分布式服务设计，能快速处理复杂数据和业务,Lion UI,具备友好交互的,Web,应用，进行数据管理和可视化的界面配置和展示,框架ElasticSearch 基于Lucene的搜索引擎，,9,IT,大数据平台部署,IT大数据平台部署,软件环境,名称,版本要求,操作系统,CentOS 6.5/7,Redhat 6.5/7,Ubuntu 14.04,、,15.10,、,16.04,浏览器,chrome 37+,Firefox 25+,IE 10+,Lion,安装包内部,集成环境,JDK 1.7.0_79,Python 2.7.9,软件环境名称版本要求操作系统CentOS 6.5/7浏览器c,11,部署方案,控制台输入部署,控制台提示，支持默认模式和自定义模式,读取配置文件部署,一键部署，简单快捷,运行,Lion,安装包,控制台输入配置信息,Lion,集群部署,配置,Lion,配置文件,执行,Lion,安装命令,Lion,集群部署,部署方案控制台输入部署读取配置文件部署运行Lion安装包控制,12,集群主机,检,测,网络,安装包准备,安装包命名规则为,lion-.bin,。发送安装包到,Lion,集群主节点。,集群主机,时间校对,集群主机信息获取,获取集群主机,IP,、,ssh,端口,(,默认,22),、,root,密码的信息。,集群主机名检测,合法的,hostname,，不能为,localhost,。保证,/etc/hosts,中,hostname,和,IP,一一对应。,安装前准备,集群主机检测网络安装前准备,13,控制台输入方式部署,Lion,过程,Lion,安装,控制台输入方式部署Lion过程Lion安装,14,IT,大数据平台使用,IT大数据平台使用,主页,数据可视化大屏展示,数据搜索,全文搜索和精确过滤,结果导出、搜索条件另存为告警,数据可视化,可视化图表,多种可视化图表新建、保存、分享,仪表盘,可视化图表自由组合成仪表盘,定时刷新，图表联动和下钻,数据导入,文件上传,数据监控,远程文件和目录监控、端口监听,数据库、系统性能、系统事件监控,数据事件,数据导入事件状态查询、启动、停止,解析规则,数据解析规则查看和配置,主机管理,主机列表,添加服务器和探针,告警管理,告警任务创建、编辑、启动、停止,告警信息查询,数据管理,数据索引管理,保存的对象管理,访问控制,用户和角色管理,数据权限管理,系统管理,系统参数设置,后台任务管理,功能点,主页数据可视化大屏展示数据搜索全文搜索和精确过滤结果导出、搜,主页,主页,数据导入,数据采集,数据解析,数据存储,数据搜索,数据可视化,数据导入数据采集数据解析数据存储数据搜索数据可视化,文件上传,文件上传,19,数据监控场景,如何监控远程文件和目录,如何接收转发的日志,(TCP/UDP/SNMP),如何监控用户上网行为,(HTTP/DNS),如何监听邮件服务,(POP3/IMAP),如何监控数据库操作,如何监控服务器性能,如何监控,Windows,日志,数据监控场景如何监控远程文件和目录,20,数据监控,数据监控,21,采集流程,采集流程,22,数据事件,数据导入事件状态查询,数据导入事件启动、停止、查看日志,数据事件数据导入事件状态查询,23,解析规则,解析规则,24,数据搜索,键入关键词后任意搜寻,即时的在线查询自定义过滤条件,自定义字段显示,搜索结果导出,搜索另存为告警,具备快速自定的各种型态搜寻，而不是只有固定几种的字段，不需要指定数据的格式,(format),，更可结合时间与关键词进行搜寻，呈现出清楚的搜寻结果，使用上就像,Google,一样的直观易用。,数据搜索键入关键词后任意搜寻具备快速自定的各种型态搜寻，而不,25,时间选择器,使用时间范围挑选器指定检索,事件的时间段。时间范围挑选,器提供了许多可供选择的预设,时间范围，但您也可以输入自,定义时间范围围挑选器指定检索,事件的时间段。,相对时间选择：选择相对现在的时间范围,自动刷新：选择刷新频率,时间选择器使用时间范围挑选器指定检索相对时间选择：选择相对现,26,数据可视化,数据可视化,27,新建可视化图表,支持多种可视化图表绘制,通过数据的查询、过滤、聚合结果生成图表,实时的可视化分析,报表钻取,新建可视化图表支持多种可视化图表绘制,28,编辑可视化,2.,聚合,1.,度量,4.,拆分表,3.,多维,5.,选项,6.,钻取,编辑可视化 2.聚合 1.度量 4.拆分表 3.多维,29,编辑可视化饼图,将数据以,字段,srcAddress,（攻击源地址）,不同的值作为不同,条目,进行分组,提取每个分组中的数据的,统计数量,，进行,倒序,排序，提取数量最大的,前,5,个,srcAddress,值,完成,攻击源,TOP5,统计,编辑可视化饼图将数据以字段srcAddress（攻击源地址）,30,编辑可视化折线图,X,轴,为时间维度，使用,时间序列,聚合方法，将数据以时间,LogTime,（攻击日志时间戳）,每,分钟,汇总一次,Y,轴,为攻击次数，使用每分钟内数据的,统计数量,完成,攻击次数变化趋势,编辑可视化折线图X轴为时间维度，使用时间序列聚合方法，将数据,31,新建仪表盘,自定义图表排列,实时数据更新,图表间数据动态关联,可增加时间段和其它过滤条件,新建仪表盘,32,保存和导出仪表盘,保存仪表盘,将仪表盘导出,PDF,保存仪表盘时间范围,共享仪表盘给其他用户,保存和导出仪表盘保存仪表盘,33,主机管理,主机类型,服务器,探针,主机,Windows,Ubuntu,CentsOS/Redhat,主机管理主机类型主机,34,告警管理,能够定期执行，并依据搜寻结果发出各项警示通知，可通过,email,等方式通知用户。,告警管理能够定期执行，并依据搜寻结果发出各项警示通知，可通过,35,访问控制,-,用户和角色管理,角色是权限集,用户继承角色的权限,访问控制-用户和角色管理角色是权限集,36,访问控制,-,数据权限,功能权限,数据权限,索引权限,对象权限,可视化报表,仪表盘,搜索条件,访问控制-数据权限功能权限,37,个人设置,更换主题,数据权限,设置主页,修改密码,修改个人属性,个人设置更换主题,38,帮助页面,帮助页面,39,审计日志,记录用户在,IT,大数据平台上的操作，用于审计用户行为，及时发现违规操作。,审计日志记录用户在IT大数据平台上的操作，用于审计用户行为，,40,审计日志可视化,TOP5,访问用户,检查恶意登陆,热点访问地区,热门功能统计,审计日志可视化TOP5访问用户,41,IT,大数据平台运维,IT大数据平台运维,查看,Lion,各服务运行状态,查看后台各服务运行状态,控制台输入命令：,supervisorctl status,查看,Web,客户端服务运行状态,控制台输入命令：,pm2 list,查看Lion各服务运行状态查看后台各服务运行状态,43,查看,Lion,日志文件,各服务安装日志,/usr/local/lion/lion_install.log,；,Supervisor,启动各服务日志,/usr/local/lion/lion_start.log,；,Web,客户端运行日志,控制台输入命令：,pm2 logs,后台各服务运行日志,控制台输入命令：,super