大数据可视化管控平台建设方案之智慧气象、智慧环保课件

智慧气象、智慧环保、大气质量监测大数据可视化管控平台建设方案大数据云平台智慧气象、智慧环保、大气质量监测大数据云平台11.1.国家大数据战略国家大数据战略2.2.大数据产品介绍大数据产品介绍3.3.智慧气象大数据建设智慧气象大数据建设目录Contents4.4.智慧环保大数据建设智慧环保大数据建设5.5.大气质量监测大数据建设大气质量监测大数据建设1.国家大数据战略2.大数据产品介绍3.智2Part 1国家大数据战略Part 1国家大数据战略34郎丰利国家大数据战略核心内容加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。加快建设数字中国把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。助力产业转型升级全面推进重点领域大数据高效采集、有效整合，深化政府数据和社会数据关联分析、融合利用，提高宏观调控、市场监管、社会治理和公共服务精准性和有效性。依托政府数据统一共享交换平台，加快推进跨部门数据资源共享共用。加快建设国家政府数据统一开放平台，推动政府信息系统和公共数据互联开放共享。制定政府数据共享开放目录，依法推进数据资源向社会开放。统筹布局建设国家大数据平台、数据中心等基础设施。研究制定数据开放、保护等法律法规，制定政府信息资源管理办法。深化大数据在各行业的创新应用，探索与传统产业协同发展新业态新模式，加快完善大数据产业链。加快海量数据采集、存储、清洗、分析发掘、可视化、安全与隐私保护等领域关键技术攻关。促进大数据软硬件产品发展。完善大数据产业公共服务支撑体系和生态体系，加强标准体系和质量技术基础建设。国家大数据战略核心内容加快完善数字基础设施，推进数据资源整合5郎丰利中国大数据正处于高速发展的窗口期，国家政策大力支持2020年，中国的数据总量将占全球数据总量比例的20%，成为世界第一数据资源大国和全球数据中心。政策市场社会技术国家级大数据战略陆续发布十八届五中全会提出实施“国家大数据战略”，国务院发布促进大数据发展行动计划、大数据“十三五”规划大数据市场规模50%高速增长2015年我国大数据市场规模达116亿元，预计未来五年50%高速增长法制法规逐步完善已出台电信和互联网用户个人信息保护规定，但仍存在诸多问题技术是基石，加大Hadoop、Spark投入大数据应用仍处于初级技术阶段大数据应用仍处于初级技术阶段20152016E 2017E 2018E 2019E 2020E02004006008001,0001,2000%10%20%30%40%50%60%70%116172264420643100048%53%59%53%56%2020年，中国大数据市场规模将达1000亿元注：数据不包含基础设施部分数据出处：工信部研究院中国大数据正处于高速发展的窗口期，国家政策大力支持 6郎丰利1政府通过大数据实现管理创新，释放经济价值管理体制创新-碎片化到网格化管理管理方法创新-数据开放，共享管理方式创新-数据应用体系科学决策-决策方式管理模式创新-动态管理04523逐步建立服务政府，提升效率，科学决策的创新管理模式创新目标供给侧改革新型城镇化简政放权政府数据体系建设：自有数据+外部数据政府数据应用：内部应用+外部应用4创新举措1 12 23 3大数据时代政府要领跑，需通过广泛采集数据、综合处理数据，实现公共服务的技术创新、管理创新和模式创新，这是大数据时代的必然选择。管理创新三步走1政府通过大数据实现管理创新，释放经济价值管理体制创新-碎片7郎丰利“七步走”解决政府面临的大数据痛点1、设立专管机构，完善管理体系2、整合数据孤岛，统一数据标准3、构建数据汇聚体系，打通数据整合通道4、设计数据存储策略，提升数据存储效率5、打造完整数据治理体系6、制订开放共享策略，促进数据融合安全发展7、夯实运营基础，打造大数据综合运营能力管理机制安全保障数据保密数据分散信息烟囱利益割据技术标准不统一“七步走”解决政府面临的大数据痛点1、设立专管机构，完善管理8郎丰利中国大数据未来五年发展趋势中国大数据产业规模年均增长率将超过50%大数据产业包括应用市场、基础设施和软件市场大数据远景产业规模建立数据标准和税务标准体系政府与企业成立大数据相关部门政策制度2017年底形成政府跨部门数据资源共享共用格局2018年底前建成国家政府数据统一开放平台，实现公共数据资源合理适度向社会开放数据开放大数据将成为企业、社会和国家层面重要的战略资源成为重要战略资源云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式与云计算深度融合出台信息公开与个人隐私相关法规明确数据隐私的标准和条例出台，保障数据安全数据隐私标准建立中国大数据未来五年发展趋势中国大数据产业规模年均增长率将超过Part 2大数据产品介绍Part 2大数据产品介绍910郎丰利睿利而行睿利而行数据产品架构数据源基础产品解决方案公安交通教育医疗政府电力工业4.0运营商赛盛数据平台数据可视化ETL数据采集非结构化数据实时数据采集数据采集系统数据质量监控系统可编程API大数据资源管理系统数仓建模系统工作流调度系统业务分析建模算法模型库图形化报表ETL工具运维管理可 视 化 的集 群 管 理多 样 的部 署 方 式多 维 度 的监 控信息系统ERPCRMSCM机器日志音视频物联网社交媒体非结构数据数据产品架构数据源基础产品解决方案公安交通教育医疗政府电力工11郎丰利睿利而行睿利而行基础产品数据可视化11基础产品数据可视化11Part 3智慧气象大数据建设Part 3智慧气象大数据建设1213郎丰利睿利而行睿利而行 构建基于CIMISS的国省两级气象云应用体系-整体架构 构建基于CIMISS的国省两级气象云应用体系-整体架构14郎丰利睿利而行睿利而行异地灾异地灾备备中心中心公众服务国家级相关部门国家气象云主中心国家气象云主中心应用2应用3应用1天气预报减灾服务气象观测卫星遥感科研计算数值预报同城双活中心同城双活中心公众服务省市县相关部门公众服务省市县相关部门公众服务省市县相关部门应用2气象公有云气象公有云应用1应用3省省级级分中心分中心省省级级分中心分中心省省级级分中心分中心国家气象云建国家气象云建设设1个主中心（含北个主中心（含北京京局）局）+1个同城灾个同城灾备备中心中心+1个异地灾个异地灾备备中心中心+30个省个省级级分中心分中心标标准体系建准体系建设设技技术术架架构构安安全全标标准准数数据据标标准准服服务标务标准准 国家气象云参考部署架构异地灾备中心公众服务国家级相关部门国家气象云主中心应用2应用15郎丰利睿利而行睿利而行气象云计算平台网络拓扑架构气象有公共服务资源池气象有私有云资源池气象云计算平台网络拓扑架构气象有公共服务资源池气象有私有云资16郎丰利睿利而行睿利而行 气象云内外网数据安全传输 气象云内外网数据安全传输17郎丰利睿利而行睿利而行1717气象云部署架构1717气象云部署架构18郎丰利睿利而行睿利而行气象公有云部署和设想从客户角度出发，为了保证技术的透明性和可持有性，理解气象公有云建设是运行在互联网上的气象云建设，而不是纯粹由互联网厂商运行的黑匣子。根据公有云部署应用的情况分析可以考虑数据库的云化；气象局可以考虑采购服务的模式，避免自建，按需计费；物理部署位置选择：最近的城市云中心（无锡、南京等），或者上海超算中心云化资源池。气象公有云部署和设想从客户角度出发，为了保证技术的透明性和可19郎丰利睿利而行睿利而行1、应应用拆分用拆分2、应应用用/WEB上云上云3、数据、数据库库U2L4、数据上云、数据上云CMISS平台平台CMISS平台按照不同阶段处理流程划分数据收数据收发发系系统统（CTS）：）：包括数据收集、收集处理、分发处理、数据补调等加加工工处处理理系系统统（DPC）：数据解码系统、质量控制系统、产品生产系统等等存存储储管管理理系系统统（SOD）：结构管理、元数据管理、数据处理、数据清除等共享服共享服务务系系统统：检索查询、数据统计分析、可视化等平台分类数据收发系统（CTS）系统构成数据收集环境特征虚拟机虚拟机虚拟机多核虚拟机大内存虚拟机虚拟机虚拟机加工处理系统存储管理系统（SOD）收集处理分发处理数据分发数据补调系统交互监所管理数据解码（DPC）质量控制高IO 产品生产虚拟机结构管理入库存储数据处理数据清除虚拟机共享服务系统（GDS）虚拟机虚拟机大内存检索系统数据获取数据可视化虚拟机 数据分发及统计虚拟机存存 储储 搬搬 迁迁数数 据据 上上 云云数据物理分散转变为物理集中分散存储转变统一云存储；集中资源，降低未来容灾难度接警信息接警信息库库串并案串并案库库案件信息案件信息库库违违法人法人员库员库嫌疑人嫌疑人库库其他数据其他数据库库原始数据原始数据库库CIMISS平台与云平台的关系分析大大 数数 据据平平 台台20信息资源数据 库统一大数据平台平台HADOOPSPARKSTORMMPPDBDB1DB2DB1DB2HA/CLUSTERX86服服务务器器HA/CLOUSTE R小型机小型机网网络络加速加速IB网络：心跳、业务网万兆网络：业务网IO加速加速:PCIE-SSD内存数据内存数据库库加速：加速：开启Oracle12c内存数据库功能CTSDPCSODGDSMCP1、应用拆分2、应用/WEB上云3、数据库U2L4、数据上20郎丰利睿利而行睿利而行 气象基础设施资源池技术架构 全球最先全球最先进进的虚的虚拟拟化技化技术术 大型云大型云计计算中心运算中心运维经验维经验 根正苗根正苗红红的国的国产产品牌品牌主要主要优势优势支撑支撑应应用用完善平台完善平台特特定定行行业业云云解解决决方方案案云云计计算算管管理理平平台台云云计计算算基基础础设设施施 气象基础设施资源池技术架构 全球最先进的虚拟化技术21郎丰利睿利而行睿利而行运运维维管理系管理系统统Web/网站网站/数数据据库库MIS系系统统中高端中高端X86服服务务器器虚虚拟拟化化弹弹性性计计算算资资源池源池核心数据核心数据库库其他数据其他数据库库高性能高性能X86服服务务器器数据采集系数据采集系统统数据数据预处预处理系理系统统数据分析系数据分析系统统通用低端服通用低端服务务器器大数据大数据计计算分析算分析资资源池源池弹弹性性计计算算计计算算资资源池源池数据数据库资库资源池源池基于不同分区的计算资源池架构通用型通用型服服务务器器计计算算/IO服服务务器器计计算存算存储储型型服服务务器器混合型混合型服服务务器器网网络络型型服服务务器器分布式云计算平台使用x86架架构构的服务器搭建大规模集群，通通过过软软件件可可伸伸缩缩性性的优势弥补硬件差错，提高云计算平台的可用性、可靠性和安全性。整体建设原则：采购高端新设备、整合可用老设备、淘汰落后差设备；运维管理系统Web/网站/数据库MIS系统中高端X86服务器22郎丰利睿利而行睿利而行FC-SANSAN/NAS Pool分分布式存布式存储储资资源源池池模模式式计计算算存存储储资资源池源池存存储储服服务务高性能高性能模式数据存模式数据存储储服服务务分布式分布式数据数据库库服服务务核心数核心数据据库库存存储储超融合超融合的云的云存存储储系系统统支撑融合的信息化存支撑融合的信息化存储资储资源源关系型关系型数据数据库库服服务务多媒体其它云平台云平台存存储储管理管理采用两套存两套存储储架构架构支撑气 象云数据中心存储平台核心数据核心数据库库存存储储：主要支撑气 象核心生产系统数据库，例如CIMISS、MICAPS结构化数据等等；超融合云存超融合云存储储系系统统：主要支撑数 据中心虚拟机、数值产品数据、CIMISS、MICAPS等非结构化的文件数据，大数量多媒体文件存储；融合的存储资源池架构云计算平台以分布式存储集群为主，同同时时以以NAS、SAN等等传传统统存存储储技技术术作作为为补补充充。FC-SANSAN/NAS Pool分布式存储资源池模式计算23郎丰利睿利而行睿利而行Hypervisor网络CSSPluginPlatformSNMPHypervisor AdaptorCloudView采集周期：1min采集周期：2min采集周期：3min中间件应用JMX/JDBCRest/WebserviceCSSPluginPlatform新资源SNMP/Modbus存储SNMP/SMI-S动力环境服务器SNMPCSSPluginPlatform对对动动态态数数据据中中心心资资源源集集中中监监管管，并并提提供供多多视视角角的的可可视视化化展展现现。自主可控云操作系统云环境监控总览PDUUPSATS空调WindowsLinuxSolarisAIX存储友商存储NetAPPEMC防火墙负载均衡路由器交换机虚拟化XenServerVmwareKVMXENRHEVPowerVMSqlServer)应用服务器(Tomcat、WebSphere、Weblogic、JBoss)消息中间件(ActiveMQ)数据库(DB2、MySQL、Oracle、气象行业应用第三方应用插件开发支持新类型资源监控Hypervisor网络CSSSNMPHypervisor 24郎丰利睿利而行睿利而行KVMCloudViewAdaptorvSphereAdaptorXenServerAdaptorHyper-VAdaptor存存储储管理管理丰富完善的管理功能模板管理模板管理灵活易扩展的架构网网络络管理管理资资源自源自动动探探查查生命周期管理生命周期管理支持多种虚拟化平台多虚拟化环境管理AdaptorCloudVirtualKVMCloudViewAdaptorAdaptorAdap25郎丰利睿利而行睿利而行服务器设备监控LinuxWindowsSolarisAIXHPUnix监控代理监控代理监控代理AgentSNMPIPMI全面支持各类操作系统支持多种采集协议，适应不同场景监控指标丰富，可灵活设置显示与否CloudView服务器设备监控LinuxWindowsSolarisAIXH26郎丰利睿利而行睿利而行网络设备监控及拓扑展现支持SNMPV1、V2、V3支持设备自带MIB库上传网络拓扑手动设置拓扑自动发现及故障预警自动接收Syslog、SNMPTrap等告基于ICMP（ping）、路由ARP以及SNMP协议的网络自动发现警方式Request监Response管CloudManager自动发现网络及拓扑展现设Syslog备Trap支持手动设置和修改网络拓扑基于SNMP（MIB）协议的网络设备监控支持多种网络设备监控数据中心资源网络设备监控网络设备监控及拓扑展现支持SNMP V1、V2、V327郎丰利睿利而行睿利而行数据库资源监控JDBC数据数据库库Log日志表空间资源消耗分析运行指标数据库文件事务连接数配置信息支持国内国外多种数据库灵活扩展支持扩展指标丰富，契合业务深度监控支持灵活的指标和日志级告警数据库资源监控JDBC数据库Log日志表空间资源消耗分析运行28郎丰利睿利而行睿利而行中间件资源监控连接池现数据库连接池状态时了解业务处理状态件错误log日志监控性能根据关键字进行日志错误告警支撑各厂商的业务应用中间件监控，提供实时的业务应用性能指标信息。轻轻量量级级、无侵入：、无侵入：通过JMX、SNMP等方式进行监控，无需安装部署Agent代理程序。丰富的指丰富的指标标采集：采集：查看中间件在一段时间内的各项指标监控，了解业务系统健康状态。精确的精确的实时预实时预警：警：通过对关心的性能指标进行策略预警，及时获得性能瓶颈。监控实及日志日志监控JVM内存使用率支持中间优化中间件配置，提升缓缓存存实现中间件缓存监控提升中间件访问性能线线程池程池查看中间件繁忙线程数优化中间件参数配置WebSphereWebLogicTomcatJBossTongWeb中间件资源监控连接池支撑各厂商的业务应用中间件监控，提供实时29郎丰利睿利而行睿利而行集群集群集群集群监 控 与 管 理交换机CloudFirm出入外网管理数据审查Cloudview身份认证系统日志记录信息告警CloudManager三 级 安 全 等 保 审 查CA证书CloudGaurd的价的价值值出入外网数据审查CA证书身份认证系统日志记录.业务数据多级云安全管理集群集群监 控 与 管 理交换机CloudFirm出入外网管30郎丰利睿利而行睿利而行 应用拓扑视图根据根据业务业务关系关系模模型型，展展现现业业务务与与IT资资源源之之间间的的关关联联关关系系，并并进进行行集集中中监监控控，聚聚焦焦业业务务，提提升升IT服服务务质质量量。应用拓扑视图根据业务关系模型，展现业务与IT资源之间的31郎丰利睿利而行睿利而行 应用及运行环境的快速交付虚虚拟拟化化层层操作系操作系统层统层中中间间件件层层应应用用层层vAppvAppTomcatWeblogicMySQLWebSphereLinuxApacheWindowsVMware配置部署配置部署工工具具软软件堆件堆栈栈云 管 理 平 台Ansible WarRundeck JarBMCBladeLogic SQLScriptDataConfigurationFiChefPuppetBMCBladeLogicCAConfigurationManagementTomcatMySQLApacheWebSphereWeblogicBMCBladeLogicPXExCATHPServerAutomationCFEngineBMCBladeLogicLinuxWindowsles软软件用件用户户软软件部署人件部署人员员XenKVM 应应用一用一键键式部式部署署，版版本自本自动动升升级级回回退退，提提升升业业务务的的部部署署和和更更新新速速度度 应用及运行环境的快速交付虚拟化层操作系统层中间件层应用32郎丰利睿利而行睿利而行自动化弹性与动态调配VMMySQLVMAmebaVMMySQLVMMySQLVMMySQLVMTomcatWarVMTomcatWarVMTomcatWarVMTomcatWarVM负载均衡DNSvSwitchvSwitch+/-+/-Per VMCPU 4Core x 3GHzRAM 2GBStorage 20GBCPU 2Core xvSwitchBW 100MbpsLatency 1GbpsLatency 10GbpsLatency 10MbpsLatency 10000SLO2请请求响求响应时间应时间2000msvNetwork 1自动化弹性与动态调配VMMySQLVMAmebaVMMySQ33郎丰利睿利而行睿利而行基础架构Software-Defined Datacenter ServicesVDCVDC组件应用CloudVirtualPhysical提供应用自动化部署全生命周期管理Firewall&LBWeb servers App serversDatabase servers模板通用应用环境模板上线运行环境（数值预报用户）module1module2war1moduleAmoduleBwar2上线运行环境（防灾减灾用户）war3XXXXXXwar4XXXXXX.基础架构Software-Defined Datacent34郎丰利睿利而行睿利而行弹性扩展支持多租用户更高的集群利用率易于使用的界面通过硬件整合实现更低的总体拥有成本利用 CloudVirtual 增强 HA/FT概述概述CloudVirtual 加强了对大数据工作负载的支持，包括 所有主要 Hadoop 发行版在通用 CloudVirtual 基础架构上虚拟化 Hadoop 以 实现无与伦比的灵活性通过集成到管理中心的管理工具帮助用户在CloudVirtual上部署、运行及管理Hadoop集群隔离存储和计算以实现弹性扩展和真正的 多租户优势优势Hadoop 堆堆栈栈：CloudVirtual 加加强强了了对对大大数数据据工工作作负负载载的的支支持持当前的Hadoop：组合式 存储/计算VM计算VMT1VM存储VM存储VMT2弹弹性性扩扩展：隔离存展：隔离存储储和和计计算算物理主机大数据应用扩展弹性扩展概述优势Hadoop 堆栈：CloudVirtual35郎丰利睿利而行睿利而行输 入 数 据文件名检查解压缩格式检查业务监视信息入库数据收集预处理数据分发省行业用户国家级用户级用户地面传输卫星广播业务监视信息入库临 时 文 件 库数据处理数 据 1数 据 2数据3解码文件名标准化图形生成业务监视信息入库数据存储管理数据共享元 数 据 生 成数存数据储据入管归库理档业务监视信息入库AF元WPT数eIP据b程直生检序接成索调服用务信业信息信务息统息流管计展程理分示管析理业务监控业务监视信息入库基实础时库库互 联 网 库行 业 库归档库监视信息库系统软硬件监视信息部 用 户内行业 用 户业务值班用户业务管理用户现有气象数据处理流程输 入 数 据文件名检查解压缩格式检查业务监视 信息入库数据36郎丰利睿利而行睿利而行38收据收集收据收集流 式 计 算数据源数据源GTS资料业务系统资料国家下发资料行业用户资料其他资料日志数据数据标准管理数据质量管理数据生命周期管理主数据管理元数据管理数据存数据存储储分析分析数据治数据治理体系理体系雷达数据预报地面大气高空农业生态海洋气象辐射卫星数据T639模式数据文件过滤文件识别格式转换数据解析数唯一性据检查预处解压缩理数 据 分 析 数 据 存 储模式解码雷达解码卫星解码产品生成质量控制全文检索统计分析可扩展解码Nosql数据库分布式文件系统可交互式检索数 据 接 口 客户端调用（时间、空间、数据取值）WebService（时间、空间、数据取值）REST服务（时间、空间、数据取值）调用脚本（时间、空间、数据取值）数据数据访问访问探索式检索图形化展示基于大数据的气象数据处理流程38收据收集流 式 计 算数据源GTS资数据标准数据质量数据37郎丰利睿利而行睿利而行39数据源地面气象资料高空气象资料海洋气象资料气象辐射资料数值预报大气成分资料农业&生态气象资料雷达气象服务产品卫星资料采集网关：CollectHTTPCollectFileCollectSocketCollectTCP/UDPCollect负载均衡器数据统一接入集群采集策略配置存储策略配置分发策略配置系统设置配置时效性配置接入节点1接入节点2系统监控配置接入节点3接入节点n数据处理分发集群收集时效处理文件拆分处理格式检查数据规整Tar解地处面理/高析空/海洋/大气成分气象资文料件解包解压文件过滤文件唯一性处理文件换名处理辐射/农业/生态气象资料格式检查自定义格式解析数据抽取文件换名处理数值预报文件过滤收集时效处理格式检查Grib解析文件识别雷达文件换名处理文件过滤收集时效处理格式检查文件识别自定义格式解文件过滤唯一性检查文件识别卫星收集时效性处格式检查文件解包解压数据消耗分布式文件系统NoSQL数据库内存计算引擎数据统一接入 39数据源地面气象资料高空气象资料海洋气象资料气象辐射资38郎丰利睿利而行睿利而行本地目录远程目录TCP/UDP端口数据源数据源HTTP本地日志采集集群采集集群存储配置监控配置系统设置执 行 任 务处处理集群理集群运行配 置解析处理配置集群系 统设置执行线程执行线 程执行线 程执行线程任务调度表信息设 置表归档设 置列式数据列式数据库库数据访问 接口WebService数据存 储配置数据格式配置HDFS文件系文件系统统批处理模 式处理批批处处理架构理架构流流处处理理监监控系控系统统采集集群监 控处理集群监控接收消息 监控处理任务监控370TB/天天120万万条条记记录录/s百百亿亿条条记记录录秒秒级级返回返回数据采集流程本地目录远程目录TCP/UDP端口数据源HTTP本地日志采集39郎丰利睿利而行睿利而行数据源地面气象资料高空气象资料海洋气象资料气象辐射资料农业&生态气象资料数值预报大气成分资料雷达气象服务产品卫星资料数据采集集群Spark数据加工处理集群HDFS/ParaStor（数据存储）资源管理调度Tar解码BUFR解码GRIB解码ASCII文件解码ImpalaSpark（SparkStreaming/SparkSQL)MapReduceHBAE/Hive分钟数据产品 生成 质量控制算法时值数据统计日值数据统计均值数据统计月值数据统计年值数据统计全文检索监控系统设备监控访问监控存储监控权限管理告警管理统计分析策略配置并发监控日志信息/审计信息日志信息/审计信息基于内存的数据加工处理数据源地面气象资 料高空气象资 料海洋气象资 料气象辐射资 40郎丰利睿利而行睿利而行区域站、区域站、观测观测站、站、ECMWF确定性模式、雷达基数据等；确定性模式、雷达基数据等；存存储储内容内容行列存行列存储储区区别别列存储优势读取需要数据，降低IO数据量压缩编码降低存储空间读取需要列，支持向量运算，具有更好扫描性能优势优势优势基于列式存储的NoSQL数据库，提高访问性能；建立索引提高检索速度任意维度任意尺度访问数据数据访问时效控制在秒级范围内数据存储-行列混合存储区域站、观测站、ECMWF确定性模式、雷达基数据等；存储内容41郎丰利睿利而行睿利而行存存储储内容内容卫卫星数据、星数据、T639模式数据等大文件数据模式数据等大文件数据索索引控制器引控制器索索引控制器引控制器索索引控制器引控制器索索引控制器引控制器数数据控制器据控制器数数据控制器据控制器数数据控制器据控制器 管管 理理 控控 制制 器器管管 理理 控控 制制 器器管管理网理网数数据控制器据控制器数数据控制器据控制器 数数据控制器据控制器归归档档/回迁回迁数数据据迁迁移移数数据据迁迁移移并并发读发读写写并并发读发读写写并并发读发读写写Linux、Windows客户端/NFS/CIFS/POSIX API/HDFS/HTTP/FTP/REST/SOAP/SNMP元元数据数据读读写写数据存储-分布式文件系统存储内容索引控制器索引控制器索引控制器索引控制器数据控制器数Part 4智慧环保大数据建设Part 4智慧环保大数据建设4243郎丰利睿利而行睿利而行智慧环保体系架构智慧环保体系架构44郎丰利睿利而行睿利而行 建设原则顶层设计、应用导向-顶层设计开放-创新应用全面-基础架构灵活开放共享、强化应用-业务创新-管理创新-模式创新健全规范、保障安全-数据准确性-数据一致性-数据真实性分步实施、重点突破-环境影响评价-环境监测-环境应急-环境信息用数据管理用数据决策用数据服务-参考国家环保部环办厅201623号文建设目标建设目标环保大数据-建设原则和建设目标 建设原则顶层设计、应用导向-顶层设计开放开放共享、强化45郎丰利睿利而行睿利而行水环境管理大气环境管理监察执法管理环保云大数据管理大数据应用公众服务应急指挥管理数据采集系统业务库数据服务控件库数据模型数据交换通用计算云高性能计算云视频监控云化工污染管理网络感知水大气大数据建模（环境影响评价）宏观决策存储云化工公安气象交通住建固网+无线+物联网环境监管第三方平台视频监测污染源在线监测环境质量监测化工污染监测公众服务 宏观决策执法管理运维管理安全管理政务云上级平台运维与安全外部接口规划旅游数据标准体系总体架构水大气监察环保云大数据管理大数据应用公众应急数据采集系统业务46郎丰利睿利而行睿利而行智慧环保技术路线智慧环保技术路线47郎丰利睿利而行睿利而行方案描述通过专线构建环保专网，连接云-省-市-县建设“两地三中心”，双活云平台+原省环保厅平台，既保护已有投资，也确保平台稳定运行。采用混合云建设模式，前端数据采集以公有云方式接入，后端数据分析、应用以私有云方式提供安全服务。构建环保专网，实现省市互联方案描述通过专线构建环保专网，连接云-省-市-县构建环保专网48郎丰利睿利而行睿利而行M-HLRM-SMSCM-GGSNMSC/VLRGERANUTRANMGWSGSNSGW业务能力网络层终端感知控制中心专用核心网元物联网管理平台E-UTRAN环保应用化工监测水文监测大气监测公众服务环保执法应急指挥尝试引入基于NB-IoT的环保物联网广覆盖低成本大连接低功耗自动化智能化可视化专用网元+国际领先的物联网管理平台优势NB-IoT方案价值广覆盖比通常2G覆盖增强20dB，可多穿透1-2堵墙，地下和水下信号覆盖有保障；低功耗采集终端可支持5-10年不更换电池。低成本网络结构简单，终端维护便捷。引入世界最新物联网技术-窄带物联网NB-IoT覆盖全省的环保物联网M-HLRM-SMSCM-GGSNMSC/VLRGERANU49郎丰利睿利而行睿利而行通用应用中间件、核心应用数据库视频监控监测采集虚拟计算资源池历史数据数据库服务实时数据服务视频监控服务服务层资源配置云管理u计算资源虚实结合应用服务器采用虚拟机方式，资源复用，可快速扩展；数据库服务器采用物理机方式，确保处理效率，提升系统安全性。u存储资源高低搭配视频监控类流数据、监控采集实时数据等采用高性能FC-SAN存储，确保数据的及时处理；通用数据及海量的历史数据采用低价的IP-SAN存储，节约成本。uSDN统一调度网络层配置采用先进的SDN管理调度，配合图形化云管理平台资源分配和调度，可实现网络自动化配置，资源快速部署。物理计算资源池存储资源池通用计算资源池CPU:400核内存：3000G高性能计算资源池CPU:200核内存：1500G数据库业务区CPU:100核内存：1200G高性能存储资源池存储：100T通用存储资源池存储：200TSDN管理协同网络层大数据管理平台大数据应用平台基础资源层服务应用层应用层资源监控资源计量基础运维平台网管云运维环保云平台整体架构通用应用数据库视频监控虚拟计算资源池历史数据数据库服务实时数50郎丰利睿利而行睿利而行云灾备云迁移云安全新建环保云平台X淘汰利旧利旧原有资源,组建异构云业务系统业务系统业务系统业务系统迁移对于X86业务平台，采用P2V方式迁移。对于小机系统，建议重新部署方式数据库系统虚拟机系统在线存储在线存储文件系统其它业务系统业务系统FC/IPSAN定期及实时自动备份在线存储虚拟机系统省云A省云B应用服务器uP3-P4级灾备（应用级、异地级）：如执法系统、在线监控等关键服务；uP1-P2级灾备（数据级冷同步、实时同步）：数据分析、历史数据存储；u接入安全：物联网监控设备、执法终端设备采用专用APN接入网络。环保单位采用专线方式接入网络；u应用安全：联通云平台提供应用安全防护。u平台安全：符合国家信息安全等级保护三级，分权分域，确保平台安全。u数据安全：加密存储，专网通信，备份机制；环保云平台实施考虑云灾备云迁移云安全新建环保云平台X淘汰利旧利旧原有资源,51郎丰利睿利而行睿利而行数据采集处理层数据采集详单加工环境日志解析非结构化环境日志处理污染源结构数据环保质量结构数据标准基础数据标签库特征库指标库数据模型水利污染监控模型大气污染监控模型污染物溯源分析模型数据服务层实时分析服务位置服务数据建模服务城区环境动态热图环境监控平台环境监管市民环境意见反馈城市环境质量报告公共服务环境人口匹配分析宏观决策执法罚款污染评估环境执法数据应用层环境污染影响分析外部系统数据资源交换及共享气象部门数据住建部门数据交通部门数据社会网站数据数据整合分析层环保数据处理水污染源信息库气污染源信息库化工污染信息库污染排放日志库环保执法记录环保周期分析离线分析服务国家环保局环境信息系统其他省市环保局环境信息系统爬虫抓取数据环保大数据管理平台体系架构数据采集数据采集详单加工环境日志解析非结构化环境日志处理污染52郎丰利睿利而行睿利而行作为数据服务统一接口，与国家环保局、其他省市环保部门、省内相关部门以及社会数据进行对接。以可视化方式，通过监控大屏、手机APP、Html5页面等方式，向管理部门、使用部门提供有效数据服务。统一数据标准体系，完善数据集成及更新处理流程，实现数据有效交换及共享。环保大数据管理平台-环境信息资源中心 作为数据服务统一接口，与国家环保局、其他省市环保部门、省53郎丰利睿利而行睿利而行u大数据建模：大数据的核心，揭示数据中蕴含的“奥秘”。环保数据涉及水、大气、气候、历史数据等因素，属于高复杂性数据分析。只有通过建模分析，才能有效进行污染物溯源、环境质量评价、环境形势研判等大尺度分析工作。联通成功经验重污染天气预报人流热力图水质分析图PM2.5污染物来源追溯化工污染源监控点图环保建模服务环保大数据管理平台-大数据建模 大数据建模：联通成功经验重污染天气预报人流热力图水质分54郎丰利睿利而行睿利而行智慧环保技术路线智慧环保技术路线55郎丰利睿利而行睿利而行智慧环保核心技术GIS互联网天空地一体化智慧环保智慧环保核心技术GIS互联网天空地一体化智慧环保56郎丰利睿利而行睿利而行智慧环保技术框架智慧环保技术框架57郎丰利睿利而行睿利而行智慧环保关键技术智慧环保关键技术Part 5大气质量监测大数据建设Part 5大气质量监测大数据建设5859郎丰利建设目标：打造XXX大气质量动态监测大数据平台打造XXX大气质量动态监测大数据平台-低的成本，大幅提高环境监测点密度，通过传感器结合最新云技术监测系统，既能够解决资金投入问题，满足测量精度，构建前端高性价比的PM2.5、PM10、空气质量等大气境质量特征因子采集设备和中心端大数据云计算支撑平台，实现对XXX大气环境质量的全面监管。建设目标：打造XXX大气质量动态监测大数据平台 打造60郎丰利监测网络技术架构云平台-基础硬件环保物联网-监测网络技术架构监测网络技术架构云平台-基础硬件环保物联网-监测网络61郎丰利措施一：科学设点,打造网格化监测网络名称适用范围监测参数功能环境质量网格建设1km5km的正方型监测网格，实现对整个城区监测网格的全覆盖，网格大小根据实际情况调整PM2.5、PM10、SO2NO2、CO、O3作为整个城市网格化监测的基础网格，为区域整体环境质量，提供基础数据。敏感区加密网格以环境空气质量评价点为中心，将监控目的区域均匀划分为若干个大于1km1km监测网格，覆盖周围8个方向PM2.5、PM10、SO2、NO2、CO、O3评价核心区域周围空气质量变化情况，及时污染来源，确保区域空气质量污染源加密网格交通加密网格对城市主要交通道路、环路、交通道口、交通枢纽等进行加密点位布设PM2.5、PM10、SO2、NO2、CO、O3评价道路扬尘、机动车尾气对环境空气质量的影响扬尘加密网格对建筑工地、堆场边界进行颗粒物浓度精准化监控。PM2.5、PM10实时监控工地/堆场扬尘控制情况，评价扬尘对环境空气质量的影响企业加密网格对城市主要涉气企业边界进行环境空气质量和特征污染物监控PM2.5、PM10、SO2、NO2、CO、O3TVOC、特征污染物实时监控企业污染物排放情况，及时发现偷排偷放行为，环境事件提前预警，评价企业生产对环境空气质量的影响工业园区加密网格以工业园区为监控对象，对园区内部及边界进行环境空气质量和特征污染物监控PM2.5、PM10、SO2、NO2、CO、O3TVOC、特征污染物评价工业园区空气质量状况，环境事件提前预警，评价工业园区对周围环境空气质量的影响生活源加密网格监控人民生活污染源（主要包括家庭、住宿业、餐饮业、医院等炉灶，取暖设备，城市垃圾堆放、焚烧等）PM2.5、PM10、SO2、NO2、CO、O3TVOC实时监控城市内各类生活源的无组织排放情况，评价其对周围空气质量的影响传输区域加密网格 城区周围3-10km范围内的监测网格PM2.5、PM10、SO2、NO2、CO、O3评估区域间大气污染传输对空气质量的影响立体网格选择10-300米不同高度的点位进行监测PM2.5、PM10、SO2、NO2、CO、O3监测城市环境空气质量的垂直分布情况，提供城市环境空气质量分析数据基础移动网格利用移动监测车可在行驶过程中进行空气样品测量同时也可停靠路边或污染园区进行监测数据。PM2.5、PM10、SO2、NO2、CO、O3移动监测；应急监测；对其它网格的有效补充措施一：科学设点,打造网格化监测网络名称适用范围监测参数功能62郎丰利太阳能供电，增加白天的太阳能供电功能，延长电池续航时间利用蓄电池为云监测节点供电，可方便拆卸更换太阳能供电电池供电L形支架固定方形支架固定方便安装便安装电池续航时间约电池续航时间约20天天拆卸容易便于定拆卸容易便于定期更换期更换太阳能板辅助供太阳能板辅助供电电PM2.5PM10COSO2NO2O3措施二：利用低成本，精度高的监测设备，实现高覆盖太阳能供电太阳能供电，增加白天的太阳能供电功能，延长电池续航63郎丰利措施二：利用低成本，精度高的监测设备，实现高覆盖监测质量通过了权威部门的检验认证措施二：利用低成本，精度高的监测设备，实现高覆盖监测质量通过64郎丰利措施二：利用家用环境猫，既减少政府投资，又增加采集密度监测设备主要优势：价格具备优势，使大规模部署成为可能精度能够满足准确监测的需求部署方式非常方便，能够降低部署难度能支撑海量监测数据处理与存储，支撑规模应用能完善地支撑上层业务应用系统设备小巧支持联网无需更换精准采集预警机制价格低廉措施二：利用家用环境猫，既减少政府投资，又增加采集密度监测设65郎丰利平台介绍：空气质量网格化监测大数据平台环境质量：动态监测最新环境质量状况，发现周边污染来源统一的监控管理平台u统一的接口服务u一张图展示u统一的大数据管理平台介绍：空气质量网格化监测大数据平台环境质量：动态监测最新66郎丰利平台介绍：空气质量网格化监测大数据平台大气网格云服务查询服务分析服务监管服务信息发布服务决策服务平台介绍：空气质量网格化监测大数据平台大气网格云服务查询服务67郎丰利平台介绍：空气质量网格化监测大数据平台实时显示网格化部署的所有监测站点基本信息、实时数据、趋势曲线平台介绍：空气质量网格化监测大数据平台实时显示网格化部署的所68郎丰利大气网格云服务分析服务大气网格云服务分析服务69郎丰利大气网格云服务分析服务大气网格云服务分析服务70郎丰利大气网格云服务分析服务大气网格云服务分析服务71郎丰利空气质量等级空气质量等级 首要污染物首要污染物轻度污染轻度污染 PM2.5城市：城市：2015 年年 07 月月 20 日日 时间：时间：15 时时 15 分分 天气天气 风向风向晴转多云有雨晴转多云有雨 偏东转偏南偏东转偏南空气质量等级空气质量等级 首要污染物首要污染物中度污染中度污染 PM2.5点位：点位：滨海新区滨海新区滨海新区滨海新区最近最近24小时小时PM2.5PM2.5单因子排名单因子排名开始开始开始开始 2015 2015 年年年年 06 06 月月月月 01 01 日日日日 结束结束结束结束 2015 2015 年年年年 07 07 月月月月 01 01 日日日日与去年同期对比排名与去年同期对比排名重污染地区空间分布重污染地区空间分布选择因子选择因子选择因子选择因子 PM2.5PM2.5选择因子选择因子选择因子选择因子 AQIAQI同比改善率同比改善率大气网格云服务分析服务空气质量等级 首要污染物城市：20172郎丰利污染源溯源分析空气质量精准预测预报大气污染成因分析小范围内环境事件评定污染事件精准定位情景模拟风风向向污染源污染源污染源污染源可能存可能存可能存可能存在区域在区域在区域在区域平台介绍：大气网格云服务（决策服务）污染源溯源分析空气质量精准预测预报大气污染成因分析小范围内环73郎丰利平台介绍：大气网格云服务（决策服务）平台介绍：大气网格云服务（决策服务）74郎丰利平台介绍：大气网格云服务（发布服务）平台介绍：大气网格云服务（发布服务）75郎丰利平台核心技术介绍：空气质量预测分析模型预报思路预报思路区域设置在模式的网格设置上，水平方向设定四层嵌套网格；水平网格距分别为：81KM,27KM,9KM,3KM；在垂直方向上分为24层，模式顶为100hpa。平台核心技术介绍：空气质量预测分析模型预报思路区域设置在模式76郎丰利平台核心技术介绍：空气污染溯源平台核心技术介绍：空气污染溯源77郎丰利平台核心技术介绍：空气质量预测分析模型PM2.5 48小时预报结果小时预报结果SO2 48小时预报结果小时预报结果CO 48小时预报结果小时预报结果PM2.5 空间分布空间分布SO2空间分布空间分布CO空间分布空间分布平台核心技术介绍：空气质量预测分析模型PM2.5 48小时预78郎丰利总结：基于空气质量网格化监测大数据平台优势u低成本传感器可海量部署，实现大范围采集数据，数据更加精确；u家庭用环境猫通过市民自行购买，减少政府投资的同时增加采集密度；u基于南大云创合作空气质量预测模型，技术先进，预测准确。大数据平台低成本传感器大数据处理平台优势先进预测模型大数据分析云计算架构传感器小型化高精度传感器设计便捷部署传感器集成化总结：基于空气质量网格化监测大数据平台优势低成本传感器可海量79郎丰利空气质量网格化监测大数据平台建设第一阶段规划在市环保局建立空气质量动态监测大数据中心，快速定位污染源，建立实时预警机制，根据态势变化调整治理措施。对接整合接入国家、广东环保局、环境云、万物云等第三方环境平台数据，汇聚到后台大数据平台中进行综合处理分析。实施将支撑城市实时演化空气污染过程，追踪定位污染源等业务开展。同时利用云计算平台的海量数据，为环境容量科研、实施总量控制、目标管理、预测预报环境质量提供数据支持。大规模部署PM2.5、PM10低成本监测设备物联网传感器的创新模式，突破了传统的单点监测技术以及成本的局限。空气质量网格化监测大数据平台建设第一阶段规划在市环保局建立空80郎丰利污染演化过程分析污染演化过程分析环境污染传播模型与污染预测环境污染传播模型与污染预测空气质量实时监控空气质量实时监控PM2.5 PM10预警趋势预警趋势PM2.5实时监控实时监控PM2.5趋势分析趋势分析预期成效：XXX空气质量网格化监测大数据平台预期污染演化过程分析环境污染传播模型与污染预测空气质量实时监控P81郎丰利AQmapTM空气质量大数据智能监管与解析平台平台架构AQmapTM空气质量大数据智能监管与解析平台平台架构82郎丰利AQmapTM功能I数据可视化展示结合地理信息，可对Microair上传的分钟级的海量监测数据进行可视化展示，同时兼窑国家站的数据展示，生动形象地展示出空气质量的实时变化趋势和污染分布情况。单点实时监测数据的空间展示中尺度实时监测数据的空间展示站点历史数据变化趋势展示城市历史数据变化趋势展示AQmapTM功能I 数据可视化展示 结合地理信83郎丰利AQmapTM功能2污染事件监控报警AQmapT M 可根据用户当地空气质量本底值和污染恃征设定污染报警规则，利用事件捕获技术分析每个点位的报警事件，同时向客户实时推送报警消息。平台自动将各污染源监控报警信息，通过短信、微信、邮件等方式，实时推送到相关管理人员，相关人员接收到报警后，根据警报级别在平台上启动相应的处置流程，指挥现场工作人员赶往现场取证并进行处理，最后处理结果上传到管理平台，从而对污染源实现闭环管理。规则名称内容报警要求频率异常值报警数据超出传感器每个参数预设值范围。超出即报警记录全部参数的数值和时间每分钟不变值报警数据在一段时间内不变：每个参数分别判断其是否连续4个数据是完全一样。出现即报警记录全部参数的数值和时间每分钟离群值报警当前数据比之前一段时间（2小时）内的均值高或低50%以上时报警出现即报警记录全部参数的数值和时间每分钟无最新数据报警最近2个小时没有最新数据只记录当前是否有报警和最新数据时间每小时AQmapTM功能2 污染事件监控报警 AQmap 84郎丰利AQmapTM功能3污染区域分析 通过计算一段时间内，各区域污染超标的累积概率，能够得到经常发生污染的区域，即为超标重点区域，也可能为潜在污染源，管理者需对此类区域进行重点监管。污染超标概率统计分析AQmapTM功能3 污染区域分析 通过计算一85郎丰利AQmapTM功能4精细化空气质量地图通过高精度的点位布设，利用空间插值分析方法，绘制精细化的空气质量地图。能够帮助用户掌握更为全面的污染分布状况，并精准的定位污染来源；同时也可通过叠加气象场数据，了解区域内污染物的传输路径。精细化空气质量地图AQmapTM功能4 精细化空气质量地图 通过高精86郎丰利AQmapTM功能5基础统计分析AQmapTM提供单点或多点历史数据对比分析、区域污染现状分析、多点空气质量排序等基础数据分析功能。简单明了直奔主题的功能设计，使用户从繁杂的数据整理工作中解脱出来，解决用户最关切的实际问题。工作日与非工作日NO2浓度变化规律PM2.5同比环比分析实时排名排名累积概率统计分析AQmapTM功能5 基础统计分析 AQmapT87郎丰利AQmapTM功能6移动管理功能AQmapTM除通过WEB浏览器使用外，还针对手机、平板提供了移动便捷的查询统计功能。AQmapTM功能6 移动管理功能 AQma88郎丰利区域之间的补充监测和传输监测，辨别各区域之间的污染状况和传输影响。区域间交界处的监测通过精细化监测、污染源追踪、排放源监管、污染取证、污染预警预报、应急处置及管理调度等手段，实现大气污染网格化的精准管理。大气污染防治网格化监测实现各类排放源的实时监测，帮助环境管理人员对排放源进行管理，及时捕捉超排、偷排及漏排等。重点排放源实时监测应用场景 区域之间的补充监测和传输监测，辨别各区域之间的污染状况和传感谢您的聆听大数据云平台感谢您的聆听大数据云平台