智慧气象大数据分析平台整体解决方案课件

智慧气象大数据分析平台整体解决方案智慧气象大数据分析平台整体解决方案11需求梳理及行业发展趋势2气象行业解决方案3案例分析目 录CONTENTS1需求梳理及行业发展趋势2气象行业解决方案3案例分析目 录C201章节 PART需求梳理及行业发展趋势01章节 PART需求梳理及行业发展趋势3气象局新一代信息工程总体技术架构理解重点解析：总体架构和云架构是衔接-演进的关系气象局新一代信息工程总体技术架构理解重点解析：总体架构和云架4标准化标准化数字化数字化数字化数字化标准化标准化数字化数字化应用资源整合应用资源整合数据资源整合数据资源整合硬件资源整合硬件资源整合智慧气象云工程智慧气象云工程智慧业务、智慧管理、智慧服务智慧业务、智慧管理、智慧服务以资资源源整整合合和应应用用集集约约为抓手，以标标准准化化贯穿始终，从流流程程再再造造入手，初步完成数据、硬件和业务应用等三大资源整合，以统统一构建的国省数据环境，统统一规划的基础设施资源池，统统一的加工处理流水线，构建扁平平化的信息组织体系，为实施金云工程，发展智智慧慧气气象象奠定基础。气象信息化行动方案气象信息化行动方案实施气象信息化行动方案，夯实气象云建设基础实施气象信息化行动方案，夯实气象云建设基础管理信息化管理信息化标准化标准化问题导向：数据分散、信息孤岛、应用林立资源整合共享是国家新一代信息工程建设的重点标准化数字化数字化标准化数字化应用资源整合数据资源整合硬件资5 应用导向，搭建国省统一CIMISS数据环境以以CIMISS为基础构建国省统一数据环境为基础构建国省统一数据环境CIMISS确立了标准，整合了各类数据这就是气象大数据在国省、省际流动并创造价值的前提基础 应用导向，搭建国省统一CIMISS数据环境以CIMIS6咨询规划咨询规划云计算中心云计算中心气象大数据平台气象大数据平台应用展示中心应用展示中心应用体系应用体系主要任务主要任务发展战略发展战略现状分析现状分析标杆研究标杆研究需求需求问题分析问题分析内涵及要素构成内涵及要素构成智慧城市智慧城市愿景及目标愿景及目标总体架构总体架构业务架构业务架构技术架构技术架构重点工程重点工程行动计划行动计划关键路径关键路径指标体系指标体系应用架构应用架构保障措施保障措施 气象信息化整体规划思路和路线咨询规划云计算中心气象大数据平台应用展示中心应用体系主要任务7咨询规划咨询规划云计算中心云计算中心气象大数据平台气象大数据平台应用展示中心应用展示中心应用体系应用体系 气象云主题建设内容咨询规划云计算中心气象大数据平台应用展示中心应用体系 气象8咨询规划咨询规划云计算中心云计算中心气象大数据平台气象大数据平台应用展示中心应用展示中心应用体系应用体系 气象大数据主体建设内容咨询规划云计算中心气象大数据平台应用展示中心应用体系 气象9咨询规划咨询规划云计算中心云计算中心政务大数据平台政务大数据平台应用展示中心应用展示中心应用体系应用体系开放共赢开放共赢融合创新融合创新 气象工程展示中心主体建设内容咨询规划云计算中心政务大数据平台应用展示中心应用体系开放共赢10咨询规划咨询规划云计算中心云计算中心气象大数据平台气象大数据平台应用展示中心应用展示中心应用体系应用体系 气象应用体系主体建设内容咨询规划云计算中心气象大数据平台应用展示中心应用体系 气象11气象信息化建设发展方向：大整合、大平台业业务务数数据据/平平台台基基 础础 设设 施施管管理理CIPASCIMISS日志审计MICAPS请求服务100业务系统基础库行业库实时库自动站数据业务网业务网+气象专网气象专网+互联网互联网二级、三级、四级网二级、三级、四级网网络多品牌服务器多品牌服务器+小机小机FC SAN+NAS+分布式文件分布式文件服务器存储容灾预报中心气候中心本地备份本地备份双活、异地容灾（弱）双活、异地容灾（弱）气象中心公服中心人工影响天气中心气象信息中心（数据中心）气象信息中心（数据中心）信息化现状信息化现状统一大平台门户CIPASMICAPS大数据分析平台资源整合平台资源服务平台云计算服务基础设施统 一 运 维管理计 算 资 源池存 储 资 源池网 络 资 源池信息化痛点信息化痛点信息化方向信息化方向业务自建、缺乏标准系统多杂，多次登陆重复录入，效率低下数据量大，处理效率低数据格式杂，无法处理数据无法有效共享多元化数据如何创新基础设施大整合GIS数据资源大整合业务支撑平台业务应用大平台业务业务厂商厂商设备多，品牌杂利用率低，服务器20%利用管理难，无法有效监控运维不灵活，难以支撑信息化扩展安全水平低，难以持续提供信息化基础设施能力信息化管理部门无法向快速为业务部门信息化需求提供服务容 灾 资 源池卫星数据雷达数据结构化数据结构化数据+非结构化数据非结构化数据百亿条基础数据，数值预报数据庞大百亿条基础数据，数值预报数据庞大数值产品气象信息化建设发展方向：大整合、大平台业数基 础 设 施CI1202章节 PART气象行业解决方案02章节 PART气象行业解决方案13 构建基于CIMISS的国省两级气象云应用体系-整体架构 构建基于CIMISS的国省两级气象云应用体系-整体架构14异地灾备中心异地灾备中心公众服务国家级相关部门国家气象云主中心国家气象云主中心应用2应用3应用1天气预报减灾服务气象观测卫星遥感科研计算数值预报同城双活中心同城双活中心公众服务省市县相关部门公众服务省市县相关部门公众服务省市县相关部门应用2气象公有云气象公有云应用1应用3省级分中心省级分中心省级分中心省级分中心省级分中心省级分中心国家气象云建设国家气象云建设1个主中心（含北个主中心（含北京京局）局）+1个同城灾备中心个同城灾备中心+1个异地灾备中心个异地灾备中心+30个省级分中心个省级分中心标准体系建设标准体系建设技技术术架架构构安安全全标标准准数数据据标标准准服务标准服务标准 国家气象云参考部署架构异地灾备中心公众服务国家级相关部门国家气象云主中心应用2应用15气象云计算平台网络拓扑架构气象有公共服务资源池气象有私有云资源池气象云计算平台网络拓扑架构气象有公共服务资源池气象有私有云资16 气象云内外网数据安全传输 气象云内外网数据安全传输171717 气象云部署架构1717 气象云部署架构18气象公有云部署和设想从客户角度出发，为了保证技术的透明性和可持有性，理解气象公有云建设是运行在互联网上的气象云建设，而不是纯粹由互联网厂商运行的黑匣子。根据公有云部署应用的情况分析可以考虑数据库的云化；气象局可以考虑采购服务的模式，避免自建，按需计费；物理部署位置选择：最近的城市云中心（无锡、南京等），或者上海超算中心云化资源池。气象公有云部署和设想从客户角度出发，为了保证技术的透明性和可191919气象公有云部署和设想1919气象公有云部署和设想201、应用拆分、应用拆分2、应用、应用/WEB上云上云3、数据库、数据库U2L4、数据上云、数据上云CMISS平台平台CMISS平台按照不同阶段处理流程划分数据收发系统数据收发系统（CTS）：）：包括数据收集、收集处理、分发处理、数据补调等加加工工处处理理系系统统（DPC）：数据解码系统、质量控制系统、产品生产系统等等存存储储管管理理系系统统（SOD）：结构管理、元数据管理、数据处理、数据清除等共享服务系统：共享服务系统：检索查询、数据统计分析、可视化等平台分类数据收发系统（CTS）系统构成数据收集环境特征虚拟机虚拟机虚拟机多核虚拟机大内存虚拟机虚拟机虚拟机加工处理系统存储管理系统（SOD）收集处理分发处理数据分发数据补调系统交互监所管理数据解码（DPC）质量控制高IO 产品生产虚拟机结构管理入库存储数据处理数据清除虚拟机共享服务系统（GDS）虚拟机虚拟机大内存检索系统数据获取数据可视化虚拟机 数据分发及统计虚拟机存存 储储 搬搬 迁迁数数 据据 上上 云云数据物理分散转变为物理集中分散存储转变统一云存储；集中资源，降低未来容灾难度接警信息库接警信息库串并案库串并案库案件信息库案件信息库违法人员库违法人员库嫌疑人库嫌疑人库其他数据库其他数据库原始数据库原始数据库CIMISS平台与云平台的关系分析大大 数数 据据平平 台台20信息资源数据 库统一大数据平台平台HADOOPSPARKSTORMMPPDBDB1DB2DB1DB2HA/CLUSTERX86服务器服务器HA/CLOUSTE R小型机小型机网络加速网络加速IB网络：心跳、业务网万兆网络：业务网IO加速加速:PCIE-SSD内存数据库加速：内存数据库加速：开启Oracle12c内存数据库功能CTSDPCSODGDSMCP1、应用拆分2、应用/WEB上云3、数据库U2L4、数据上21 气象基础设施资源池技术架构 全球最先进的虚拟化技术全球最先进的虚拟化技术 大型云计算中心运维经验大型云计算中心运维经验 根正苗红的国产品牌根正苗红的国产品牌主要优势主要优势支撑应用支撑应用完善平台完善平台特特定定行行业业云云解解决决方方案案云云计计算算管管理理平平台台云云计计算算基基础础设设施施 气象基础设施资源池技术架构 全球最先进的虚拟化技术22运维管理系统运维管理系统Web/网站网站/数数据据库库MIS系统系统中高端中高端X86服务器服务器虚拟化弹性计算资源池虚拟化弹性计算资源池核心数据库核心数据库其他数据库其他数据库高性能高性能X86服务器服务器数据采集系统数据采集系统数据预处理系统数据预处理系统数据分析系统数据分析系统通用低端服务器通用低端服务器大数据计算分析资源池大数据计算分析资源池弹性计算计算弹性计算计算资资源池源池数据库资源池数据库资源池基于不同分区的计算资源池架构通用型通用型服务器服务器计算计算/IO服务器服务器计算存储型计算存储型服务器服务器混合型混合型服务器服务器网络型网络型服务器服务器分布式云计算平台使用x86架架构构的服务器搭建大规模集群，通通过过软软件件可可伸伸缩缩性性的优势弥补硬件差错，提高云计算平台的可用性、可靠性和安全性。整体建设原则：采购高端新设备、整合可用老设备、淘汰落后差设备；运维管理系统Web/网站/数据库MIS系统中高端X86服务器23FC-SANSAN/NAS Pool分分布式存布式存储储资资源源池池模模式计算式计算存存储储资资源池源池存存储服务储服务高性能高性能模式数据存模式数据存储储服务服务分布式分布式数据库服务数据库服务核心数核心数据库存储据库存储超融合超融合的云的云存储系统存储系统支撑融合的信息化存储资源支撑融合的信息化存储资源关系型关系型数据库服务数据库服务多媒体其它云平台云平台存储管理存储管理采用两套存储架构两套存储架构支撑气 象云数据中心存储平台核心数据库存储：核心数据库存储：主要支撑气 象核心生产系统数据库，例如CIMISS、MICAPS结构化数据等等；超融合云存储系统：超融合云存储系统：主要支撑数 据中心虚拟机、数值产品数据、CIMISS、MICAPS等非结构化的文件数据，大数量多媒体文件存储；融合的存储资源池架构云计算平台以分布式存储集群为主，同时以同时以NAS、SAN等等传传统统存存储储技技术术作作为为补补充充。FC-SANSAN/NAS Pool分布式存储资源池模式计算24Hypervisor网络CSSPluginPlatformSNMPHypervisor AdaptorCloudView采集周期：1min采集周期：2min采集周期：3min中间件应用JMX/JDBCRest/WebserviceCSSPluginPlatform新资源SNMP/Modbus存储SNMP/SMI-S动力环境服务器SNMPCSSPluginPlatform对对动动态态数数据据中中心心资资源源集集中中监管监管，并并提提供供多多视视角角的的可可视视化化展展现现。自主可控云操作系统云环境监控总览PDUUPSATS空调WindowsLinuxSolarisAIX存储友商存储NetAPPEMC防火墙负载均衡路由器交换机虚拟化XenServerVmwareKVMXENRHEVPowerVMSqlServer)应用服务器(Tomcat、WebSphere、Weblogic、JBoss)消息中间件(ActiveMQ)数据库(DB2、MySQL、Oracle、气象行业应用第三方应用插件开发支持新类型资源监控Hypervisor网络CSSSNMPHypervisor 25KVMCloudViewAdaptorvSphereAdaptorXenServerAdaptorHyper-VAdaptor存储管理存储管理丰富完善的管理功能模板管理模板管理灵活易扩展的架构网络管理网络管理资源自动探查资源自动探查生命周期管理生命周期管理支持多种虚拟化平台多虚拟化环境管理AdaptorCloudVirtualKVMCloudViewAdaptorAdaptorAdap26服务器设备监控LinuxWindowsSolarisAIXHPUnix监控代理监控代理监控代理AgentSNMPIPMI全面支持各类操作系统支持多种采集协议，适应不同场景监控指标丰富，可灵活设置显示与否CloudView服务器设备监控LinuxWindowsSolarisAIXH27网络设备监控及拓扑展现支持SNMPV1、V2、V3支持设备自带MIB库上传网络拓扑手动设置拓扑自动发现及故障预警自动接收Syslog、SNMPTrap等告基于ICMP（ping）、路由ARP以及SNMP协议的网络自动发现警方式Request监Response管CloudManager自动发现网络及拓扑展现设Syslog备Trap支持手动设置和修改网络拓扑基于SNMP（MIB）协议的网络设备监控支持多种网络设备监控数据中心资源网络设备监控网络设备监控及拓扑展现支持SNMP V1、V2、V328数据库资源监控JDBC数据库数据库Log日志表空间资源消耗分析运行指标数据库文件事务连接数配置信息支持国内国外多种数据库灵活扩展支持扩展指标丰富，契合业务深度监控支持灵活的指标和日志级告警数据库资源监控JDBC数据库Log日志表空间资源消耗分析运行29中间件资源监控连接池现数据库连接池状态时了解业务处理状态件错误log日志监控性能根据关键字进行日志错误告警支撑各厂商的业务应用中间件监控，提供实时的业务应用性能指标信息。轻量级、无侵入：轻量级、无侵入：通过JMX、SNMP等方式进行监控，无需安装部署Agent代理程序。丰富的指标采集：丰富的指标采集：查看中间件在一段时间内的各项指标监控，了解业务系统健康状态。精确的实时预警：精确的实时预警：通过对关心的性能指标进行策略预警，及时获得性能瓶颈。监控实及日志日志监控JVM内存使用率支持中间优化中间件配置，提升缓缓存存实现中间件缓存监控提升中间件访问性能线程池线程池查看中间件繁忙线程数优化中间件参数配置WebSphereWebLogicTomcatJBossTongWeb中间件资源监控连接池支撑各厂商的业务应用中间件监控，提供实时30集群集群集群集群监 控 与 管 理交换机CloudFirm出入外网管理数据审查Cloudview身份认证系统日志记录信息告警CloudManager三 级 安 全 等 保 审 查CA证书CloudGaurd的价值的价值出入外网数据审查CA证书身份认证系统日志记录.业务数据多级云安全管理集群集群监 控 与 管 理交换机CloudFirm出入外网管31 应用拓扑视图根据业务关系根据业务关系模模型型，展现展现业业务务与与IT资资源源之之间间的的关关联联关关系系，并并进进行行集集中中监监控控，聚聚焦焦业业务务，提提升升IT服服务务质质量量。应用拓扑视图根据业务关系模型，展现业务与IT资源之间的32 应用及运行环境的快速交付虚拟化层虚拟化层操作系统层操作系统层中间件层中间件层应用层应用层vAppvAppTomcatWeblogicMySQLWebSphereLinuxApacheWindowsVMware配置部署配置部署工工具具软件堆栈软件堆栈云 管 理 平 台Ansible WarRundeck JarBMCBladeLogic SQLScriptDataConfigurationFiChefPuppetBMCBladeLogicCAConfigurationManagementTomcatMySQLApacheWebSphereWeblogicBMCBladeLogicPXExCATHPServerAutomationCFEngineBMCBladeLogicLinuxWindowsles软件用户软件用户软件部署人员软件部署人员XenKVM 应用一键式部应用一键式部署署，版版本自本自动动升升级级回回退退，提提升升业业务务的的部部署署和和更更新新速速度度 应用及运行环境的快速交付虚拟化层操作系统层中间件层应用33自动化弹性与动态调配VMMySQLVMAmebaVMMySQLVMMySQLVMMySQLVMTomcatWarVMTomcatWarVMTomcatWarVMTomcatWarVM负载均衡DNSvSwitchvSwitch+/-+/-Per VMCPU 4Core x 3GHzRAM 2GBStorage 20GBCPU 2Core xvSwitchBW 100MbpsLatency 1GbpsLatency 10GbpsLatency 10MbpsLatency 10000SLO2请求响应时间请求响应时间2000msvNetwork 1自动化弹性与动态调配VMMySQLVMAmebaVMMySQ34基础架构Software-Defined Datacenter ServicesVDCVDC组件应用CloudVirtualPhysical提供应用自动化部署全生命周期管理Firewall&LBWeb servers App serversDatabase servers模板通用应用环境模板上线运行环境（数值预报用户）module1module2war1moduleAmoduleBwar2上线运行环境（防灾减灾用户）war3XXXXXXwar4XXXXXX.基础架构Software-Defined Datacent35弹性扩展支持多租用户更高的集群利用率易于使用的界面通过硬件整合实现更低的总体拥有成本利用 CloudVirtual 增强 HA/FT概述概述CloudVirtual 加强了对大数据工作负载的支持，包括 所有主要 Hadoop 发行版在通用 CloudVirtual 基础架构上虚拟化 Hadoop 以 实现无与伦比的灵活性通过集成到管理中心的管理工具帮助用户在CloudVirtual上部署、运行及管理Hadoop集群隔离存储和计算以实现弹性扩展和真正的 多租户优势优势Hadoop 堆堆栈栈：CloudVirtual 加强加强了对了对大大数数据据工工作作负负载载的的支支持持当前的Hadoop：组合式 存储/计算VM计算VMT1VM存储VM存储VMT2弹性扩展：隔离存储和计算弹性扩展：隔离存储和计算物理主机大数据应用扩展弹性扩展概述优势Hadoop 堆栈：CloudVirtual36输 入 数 据文件名检查解压缩格式检查业务监视信息入库数据收集预处理数据分发省行业用户国家级用户级用户地面传输卫星广播业务监视信息入库临 时 文 件 库数据处理数 据 1数 据 2数据3解码文件名标准化图形生成业务监视信息入库数据存储管理数据共享元 数 据 生 成数存数据储据入管归库理档业务监视信息入库AF元WPT数eIP据b程直生检序接成索调服用务信业信息信务息统息流管计展程理分示管析理业务监控业务监视信息入库基实础时库库互 联 网 库行 业 库归档库监视信息库系统软硬件监视信息部 用 户内行业 用 户业务值班用户业务管理用户现有气象数据处理流程输 入 数 据文件名检查解压缩格式检查业务监视 信息入库数据3738收据收集收据收集流 式 计 算数据源数据源GTS资料业务系统资料国家下发资料行业用户资料其他资料日志数据数据标准管理数据质量管理数据生命周期管理主数据管理元数据管理数据存储分析数据存储分析数据治数据治理体系理体系雷达数据预报地面大气高空农业生态海洋气象辐射卫星数据T639模式数据文件过滤文件识别格式转换数据解析数唯一性据检查预处解压缩理数 据 分 析 数 据 存 储模式解码雷达解码卫星解码产品生成质量控制全文检索统计分析可扩展解码Nosql数据库分布式文件系统可交互式检索数 据 接 口 客户端调用（时间、空间、数据取值）WebService（时间、空间、数据取值）REST服务（时间、空间、数据取值）调用脚本（时间、空间、数据取值）数据访问数据访问探索式检索图形化展示基于大数据的气象数据处理流程38收据收集流 式 计 算数据源GTS资数据标准数据质量数据3839数据源地面气象资料高空气象资料海洋气象资料气象辐射资料数值预报大气成分资料农业&生态气象资料雷达气象服务产品卫星资料采集网关：CollectHTTPCollectFileCollectSocketCollectTCP/UDPCollect负载均衡器数据统一接入集群采集策略配置存储策略配置分发策略配置系统设置配置时效性配置接入节点1接入节点2系统监控配置接入节点3接入节点n数据处理分发集群收集时效处理文件拆分处理格式检查数据规整Tar解地处面理/高析空/海洋/大气成分气象资文料件解包解压文件过滤文件唯一性处理文件换名处理辐射/农业/生态气象资料格式检查自定义格式解析数据抽取文件换名处理数值预报文件过滤收集时效处理格式检查Grib解析文件识别雷达文件换名处理文件过滤收集时效处理格式检查文件识别自定义格式解文件过滤唯一性检查文件识别卫星收集时效性处格式检查文件解包解压数据消耗分布式文件系统NoSQL数据库内存计算引擎数据统一接入 39数据源地面气象资料高空气象资料海洋气象资料气象辐射资39本地目录远程目录TCP/UDP端口数据源数据源HTTP本地日志采集集群采集集群存储配置监控配置系统设置执 行 任 务处理集群处理集群运行配 置解析处理配置集群系 统设置执行线程执行线 程执行线 程执行线程任务调度表信息设 置表归档设 置列式数据库列式数据库数据访问 接口WebService数据存 储配置数据格式配置HDFS文件系统文件系统批处理模 式处理批处理架构批处理架构流处理监控系统流处理监控系统采集集群监 控处理集群监控接收消息 监控处理任务监控370TB/天天120万万条记条记录录/s百百亿亿条条记记录录秒秒级返回级返回数据采集流程本地目录远程目录TCP/UDP端口数据源HTTP本地日志采集40数据源地面气象资料高空气象资料海洋气象资料气象辐射资料农业&生态气象资料数值预报大气成分资料雷达气象服务产品卫星资料数据采集集群Spark数据加工处理集群HDFS/ParaStor（数据存储）资源管理调度Tar解码BUFR解码GRIB解码ASCII文件解码ImpalaSpark（SparkStreaming/SparkSQL)MapReduceHBAE/Hive分钟数据产品 生成 质量控制算法时值数据统计日值数据统计均值数据统计月值数据统计年值数据统计全文检索监控系统设备监控访问监控存储监控权限管理告警管理统计分析策略配置并发监控日志信息/审计信息日志信息/审计信息基于内存的数据加工处理数据源地面气象资 料高空气象资 料海洋气象资 料气象辐射资 41区域站、观测站、区域站、观测站、ECMWF确定性模式、雷达基数据等；确定性模式、雷达基数据等；存储内容存储内容行列存储区别行列存储区别列存储优势读取需要数据，降低IO数据量压缩编码降低存储空间读取需要列，支持向量运算，具有更好扫描性能优势优势优势基于列式存储的NoSQL数据库，提高访问性能；建立索引提高检索速度任意维度任意尺度访问数据数据访问时效控制在秒级范围内数据存储-行列混合存储区域站、观测站、ECMWF确定性模式、雷达基数据等；存储内容42存储内容存储内容卫星数据、卫星数据、T639模式数据等大文件数据模式数据等大文件数据索索引控制器引控制器索索引控制器引控制器索索引控制器引控制器索索引控制器引控制器数数据控制器据控制器数数据控制器据控制器数数据控制器据控制器 管管 理理 控控 制制 器器管管 理理 控控 制制 器器管管理网理网数数据控制器据控制器数数据控制器据控制器 数数据控制器据控制器归档归档/回迁回迁数数据据迁迁移移数数据据迁迁移移并并发读写发读写并并发读写发读写并并发读写发读写Linux、Windows客户端/NFS/CIFS/POSIX API/HDFS/HTTP/FTP/REST/SOAP/SNMP元元数据读写数据读写数据存储-分布式文件系统存储内容索引控制器索引控制器索引控制器索引控制器数据控制器数4303章节 PART案例分析03章节 PART案例分析44基于气象业务需求，本次测试主要面向大数据的实时检索分析能力进行测试，包括数据检索、实时统计分析、实时交互分析、稳定性、容错性和高并发等能力测试。数据类型国家气象信息中心整编下发的中国地面逐小时资料，TXT文件格式每条记录95个字段，包括风、降水量、温度、湿度、气压、云等要素信息T639模式单场单要素，数据格式为grid数据规模提供2012年6月30日地面观测样例数据，112493条基于提供的样例数据，生成60亿条测试数据提供T639模式单场单要素，10条基于提供的样例数据，生成100万条测试数据测试场景数据导入 测试数据导入的性能填图数据获取 测试在高并发场景下，快速提取填图数据的能力长时间序列数据获取 测试获取长时间序列要素数据的能力统计分析针对原始数据，测试对要素信息的聚合统计能力，数据更新，可以实时反映在聚合结果中数据预报数据快速获取能力气象局测试背景基于气象业务需求，本次测试主要面向大数据的实时检索分析能力进45XeonE5-2620v32.4G15M6C*2I620-G20CPU散热片*216GDDR42133ECCREG内存*8300G2.5吋10K6GbSAS*2480G2.5寸SATA6GbMLCSSD*6硬盘盘盒D12*8550W双电源模块PCI-E双口10G多模光纤网卡（含光模块）S1：板载2GCacheRAID、3PCIE、2块4盘位背板、千兆双口高端RJ45网卡物理结构Xeon E5-2620v3 2.4G 15M 6C*2 46地面观测数据1974197519762025node1node2node4node5node3node6数据分布node1node2node4node5node3node647并发度24加载速率44537条/秒，约267万条/分钟总加载时间38小时总加载数据量60亿占用空间7TB测试要求：导入性能大于20万/分钟数据导入并发度24加载速率44537条/秒，约267万条/分钟总48494919420688619615001000200015002500测试要求：按某一时间点（以整点小时为检索条件）检索中国地面逐小时资料降水量数据500并发1s内返回结果，900并发2s内返回结果查询耗时降水要素填图数据获取050100查询耗时500指数(查询耗时)90049491942068861961500100020002549505024225629884072600050004000300020001000测试要求：按某一时间点（以整点小时为检索条件）检索中国地面逐小时资料填图数据5s内返回结果查询耗时全要素填图数据获取050100查询耗时500指数(查询耗时)9005050242256298840726000测试要求：按某一50测试要求：在近5年的中国地面逐小时资料数据中，检索某一站点在各年同一时期的某一要素数据1s内返回结果历年周期要素分析数据获取测试要求：在近5年的中国地面逐小时资料数据中，检索某一站点在51测试结果：共5次测试，返回时间分别为：87ms、63ms、83ms、72ms、85ms长时间序列数据查询测试结果：共5次测试，返回时间分别为：87ms、63ms、852测试结果：共5次测试，返回时间分别为：234ms、273ms、253ms、245ms、231ms降水量历史排名测试结果：共5次测试，返回时间分别为：234ms、273ms53测试结果：返回时间分别为：310ms、325ms、276ms、423ms、313ms降水量排行测试结果：返回时间分别为：310ms、325ms、276ms54测试结果：共5次测试，返回时间分别为：487ms、525ms、576ms、523ms、513ms日降水量超过阈值日期查询测试结果：共5次测试，返回时间分别为：487ms、525ms55测试结果：共5次测试，返回时间分别为：688ms、862ms、486ms、548ms、686ms降水量超阈值天数测试结果：共5次测试，返回时间分别为：688ms、862ms56测试结果：共5次测试，返回时间分别为：1.14s、1.19s、1.20s、1.37s、1.42s降水量极值(最大值、最小值)及平均值测试结果：共5次测试，返回时间分别为：1.14s、1.19s57测试结果：共5次测试，返回时间分别为：332ms、299ms、325ms、313ms、319ms日最高温度历史排名测试结果：共5次测试，返回时间分别为：332ms、299ms58测试结果：共5次测试，返回时间分别为：221ms、203ms、215ms、178ms、192ms日平均温度排名测试结果：共5次测试，返回时间分别为：221ms、203ms59测试结果：共5次测试，返回时间分别为：903ms、895ms、919ms、892ms、839ms日最高气温超过阈值日期查询测试结果：共5次测试，返回时间分别为：903ms、895ms60测试结果：共5次测试，返回时间分别为：267ms、372ms、351ms、278ms、301ms日最高气温超过阈值天数测试结果：共5次测试，返回时间分别为：267ms、372ms6156183775100080060040020001测试要求：通过时间、要素、层次、区域的选择，快速获取相应检索条件的二维场数据1s内返回结果查询耗时查询耗时10100 指数(查询耗时)数值预报产品单场数据获取5618377510001测试要求：通过时间、要素、层次、区62测试要求：在相同的起报时间、预报时效、区域条件下，指定层次，获取要素的二维场集合。1s内返回结果6313610008006004002000查询耗时 933110100查询耗时 指数(查询耗时)数值预报产品单场数据获取测试要求：在相同的起报时间、预报时效、区域条件下，指定层次，63测试要求：测试前后翻临近时次、上下翻临近层次的数据获取效率1s内返回结果6514880060040020001查询耗时 70210100查询耗时 指数(查询耗时)数值预报产品单场数据获取测试要求：测试前后翻临近时次、上下翻临近层次的数据获取效率664XX气象大数据应用中心项目规划方案总体架构XX气象大数据应用中心项目规划方案总体架构65汇报完毕感谢聆听汇报完毕 感谢聆听66