社保大数据综合分析平台建设方案课件

社保大数据综合分析平台建设方案社保大数据综合分析平台建设方案1内容总览目录业务背景和需求分析业务背景和需求分析社保大数据解决方案信息资源中心解决方案问与答内容总览 目录 业务背景和需求分析社保大数据解决方案2备注社保数据量逐渐增大数据膨胀！备注社保数据量逐渐增大数据膨胀！3海量数据如何存储数据导入导出的时间成本旧数据只能用旧版本软件读取异构平台的数据迁移查询性能低下非结构化难存储，难分析高昂的维护成本没有标准化的产品社保大数据带来的大挑战海量数据如何存储社保大数据带来的大挑战4旧架构难以管理和使用海量数据OperationalDataSourceNetworkDataStore andMerchandiseDataCRM EmployeeSchedulingExtract,Transform&LoadDataStagingDataWarehousingEnterpriseDataWarehouseMetaDataDataMartsDataMiningQuery,ReportingOLAPCDRPCIDataWarehouseGenerationDataWarehouseManagementPortalUsersDataAnalysis有多少IT投资继续被“O”,“E”,“M”恐龙们吃掉一个典型省BI系统投资：1300万美金问题问题沉重的维护成本低下的数据管理性能惊人的储存成本旧架构难以管理和使用海量数据OperationalNetwo5大数据产品体系大数据平台 BDP分布式 数据存储和数据 处理平台 Stream流数据处理引擎 云挖掘引擎 离线挖掘算法引擎 在线挖掘算法引擎 社保大数据顶层设计 云ETL 客服上网话单查询 手机上网行为分析 精准营销/广告引擎 社交网络传播分析 基于语义的即席分析 实时报表 实时规则引擎 大数据产品体系 大数据平台 BDP分布式 数据存储和数据 处6内容总览目录业务背景和需求分析社保大数据解决方案信息资源中心建设方案问与答内容总览 目录 业务背景和需求分析社保大数据解决方案7功能架构分布式存储分布式数据库MapReduce并行数据导入导出Web接口（REST/SOAP）集群协调服务 流程管理任务调度元数据管理安全管理查询，分析，BI展现，数据挖掘数据层接口层管理层集群监控展示层社保数据管理分析平台 统一规则转换引擎北京社保数据库库上海 统一资源数据视图安全管理社保信息序列化存管功能架构分布式存储分布式数据库MapReduce并行数据导入8备注BDP平台整合社保数据BDP备注BDP平台整合社保数据BDP9接口层并行数据导入/导出外部数据源可以是关系型数据库或者数据仓库，包括：Oracle、SqlServer、PostgreSql、Mysql，支持基于JDBC的数据源连接；也可以是各种文档文件：Log日志、多媒体文件等；关系型数据库文档数据企业级数据仓库并行导入分布式数据库分布式数据仓库分布式文件系统分布式存储系统并行导出外部数据源接口层并行数据导入/导出外部数据源可以是关系型数据库或者10接口层API接口存储层通过对外提供API接口，供上层应用和外部系统访问。支持类型包括：REST、HTTP、SOAP。同时也可以提供URL页面链接地址，供外部系统嵌入到自己的应用中。接口层API接口存储层通过对外提供API接口，供上层应用11应用层让我们发现大数据背后的价值商业智能(BI)是快速,准确,即时提供有价值的信息给最终决策者进行分析的一种技术应用层让我们发现大数据背后的价值商业智能(BI)是快速,12大数据管理平台应用层BI技术架构UNIFIEDWEBINTERFACEIntegrated BackplaneServices Oriented ArchitectureScorecards&DashboardsReportingOLAPAdvancedAnalysis&Ad-hocAlerts&ProactiveNotificationBI展现支撑组件展现场景配置支撑统一数据指标模型数据源及接口多维分析图形化报表数字仪表盘门户动态表格大应用层BI技术架构UNIFIED WEB INTERFAC13应用层海量数据的分析预测在基于大数据的社会保险统计分析项目中，预测模块是以统计分析海量数据库为基础，利用经济学、人口学、数理统计、精算科学等理论，通过建立不同的经济模型，进行政策模拟。并根据各种数据的历史发展与成长情况，做出相应的长期趋势预测分析和风险分析，对确保政策的制定、执行和完善提供定量性的依据。未来人口发展趋势未来人口发展趋势人人口口预预期期寿寿命命分分析析整整体体人人口口抚抚养养比比分分析析参参保保人人口口抚抚养养比比分分析析未来基金收支余发展趋势未来基金收支余发展趋势缴缴费费收收入入分分析析待待遇遇支支出出分分析析偿偿付付能能力力分分析析长长期期封封闭闭精精算算平平衡衡检检验验债债务务估估计计长长期期敏敏感感性性分分析析长期精算平衡分析长期精算平衡分析预测分析子系统预测分析子系统应用层海量数据的分析预测在基于大数据的社会保险统计分析项14商业智能报表分析应用的三层架构企业经营驾驶舱静态查询商业分析基层员工经理人员高层管理人员企业层级绩效管理、仪表板、计分卡、KPI部门层级Ad-Hoc查询、OLAP、深度分析、透视表、分析图个人层级日常营运、标准报表点数据（Dashboard/KPI）线数据（静态查询报表）ReportingService面数据（动态分析报表）商业智能报表分析应用的三层架构企业经营驾驶舱静态查询商业分析1516IntuitiveBusinessIntelligenceOA系统话务系统HR系统上报数据OracleSQLServerDB2Excel数据仓库销售Cube分区财务Cube分区财务Cube分区采购Cube分区ReportReportReportReportReportReport数据抽取数据清洗数据转换数据整合ETL的详细结构16 Intuitive Business IntelliOLAP-Cube设计OLAP-Cube设计17多维数据集结构多维数据集结构18支持多维度数据结构支持多维度数据结构19拖拉式的智能分析报表设计拖拉式的智能分析报表设计20最创新的BI分析技术最创新的BI分析技术2122打造企业管理驾驶舱22打造企业管理驾驶舱23企业管理驾驶舱实景23企业管理驾驶舱实景24企业管理驾驶舱实景24企业管理驾驶舱实景前端数据应用展示实例前端数据应用展示实例25一键式的统计分析功能水平分析结构(百分比)分析环比对比80/20法则分析排名Top/Bottom分析Z型图分析YTD/QTD/MTD分析移动平均统计分布分析达成率分析波士顿矩阵分析周转率分析均值分析一键式的统计分析功能水平分析YTD/QTD/MTD 分析26内建丰富的统计分析图形内建丰富的统计分析图形27多样化的表格及数据样式设定-提供十多种预设配色样式供使用者选取，也可自行组合出新的样式多样化的表格及数据样式设定-提供十多种预设配色样式供使用者2829-提供八层权限控管机制，可根据组织阶层与职位设定维度成员存取权限KPI量值存取权限数据格存取权限测试维度存取权限Cube存取权限数据库存取权限资料来源存取权限报表存取权限角色A角色B角色C角色D完整的安全控管体系29-提供八层权限控管机制，可根据组织阶层与职位设定维度成备注30分析首页备注30分析首页31KPI管理驾驶舱31KPI管理驾驶舱32报表分析样例32报表分析样例数据挖掘与深度分析钻取到北京大区钻取到商业类客户钻取到北京天力士数据挖掘与深度分析钻取到钻取到钻取到33相关性分析低业绩品种占比/有效品规占比毛利率正相关负相关相关性分析低业绩品种占比/有效品规占比毛利率正相关负相关3435波士顿矩阵分析采购金额/占比库存周转率/周转天数泡泡代表采购数量1.A群：采购金额高，库存周转快，优质群组2.B群：采购金额低、库存周转快，优质群组3.C群：采购金额高、库存周转低，需加强管理4.D群：采购金额低、库存周转低，末位淘汰35波士顿矩阵分析采购金额库存周转率/周转天数泡泡代表A群：80/20法则分析1千万5百万1百万其他客户80-20法则分析分类条件可调整80/20法则分析1千万客户80-20法则分析分类条件可调36可用MDX定义新量值与统计功能可用MDX定义新量值与统计功能37利用MDX创建销售预测系统利用MDX创建销售预测系统38邮件订阅邮件订阅39Mobile的应用BeagleDataMobileWebSiteBeagleDataMobileLicenseKey支持MobileDevices:1.任何版本iOS的iPhone、iPad2.Android2.2以上samrtphones3.Android3.0以上Tablets4.Blackberry6.0OS以上SmartPhones5.BlackberryPlaybookTabletDesktopBrowserscanaccessMobileWebsiteIE6.0以上Mobile的应用 支持Mobile Devices:4041天云ANALYZERMobile41天云ANALYZER Mobile内容总览目录业务背景和需求分析社保大数据解决方案信息资源中心建设方案问与答内容总览 目录 业务背景和需求分析社保大数据解决方案42信息资源中心发展历程各阶段系系统统的状况表现系统状况 基于主题的方 形式建立独立的分析管理系统 保存业务系统数据的数据 数据标准化，按主题归类 式创建数据平 系统状况 管理系统的数据来源分散 在各源系统 产生问题 交换中心存放，并进行轻度汇总 实现统一供数接口 台并轻度汇总 管理系统与数 据平台交互数 据，使数据完 整共享满足对数据的 一天多批与准 实时要求数据中心不加工源数据 ODS资源中心产生问题 生的问题典型各阶段存产在各管理系统重复从业务系 问题数据中心对下游系统供数 仅提供统一供数接口，各 统取数交叉重复性强，工作量大 管理系统间数据交换弱 业务系统与管理系统呈网 状结构，可维度性低 缺乏统一的数据标准化过 技术架构不支持一天多批 程，仅完成数据集中存放 与准实时的数据要求 信息孤岛式的数据应用消费源数据复制存储的数据交换平台基于业务主题构建的数据交换平台满足企业各系统数据交换的ODS以及大数据分析平台信息资源中心 发展历程 各阶段系系统统的状况表现系统状况43信息资源中心-ODSODS（OperationalDataStore，操作型数据存储）的特性及意义：具备数据仓库以及OLTP系统部分特征；面向主题的、集成的、当前或接近当前的、不断变化的数据；将各个孤立的业务系统的运营数据集成起来，组成面向全局的统一数据视图及数据共享业务数据经营数据财务数据人力资源上报数据填报数据其他数据统一数据采集接口 统一数据输出接口 定义数据存储周期 数据统计数据分发主题归纳 集成数据 清洗数据 数据集中 数据标准化 决策层经营报表管理报表管理层ODS分析报表信息查询执行层客户信息资源中心-ODS ODS（Operational D44信息资源中心-平台架构信息资源中心-平台架构 45信息资源中心构建要素企业级数据模型设计 业务主题划分，统一视图的建立 数据物理层次和数据提升 轻度统计汇总数据 高度汇总数据 数据应用模型 数据整合 现有各应用系统的数据模型分析 应用间的数据流图 元数据管理 ETL架构设计 数据生命周期管理 历史数据存储策略、原则 软硬件平台的配置 ODS数据仓库数据集市数据标准化管理 评估数据标准现状，覆盖范围 数据标准和管理制度的制定 差距分析和改善措施 数据质量管理 现有数据质量问题分析 数据质量控制方法 数据质量管理制度 差距分析和改善措施 建立数据保障体系 运行维护的组织建设 运行维护的制度 运行维护的方法改进 必要的应急措施 信息资源中心 构建要素 企业级数据模型设计 业务主题划46信息资源中心数据分析架构综合 应用 多维分析 关联可视化分析 数据挖掘 Excel报表 GIS 综合查询 数据存储 数据管理 综合信息资源库 数据仓库(DW)元 数 据 数据处理 平台 数据清洗 数据处理 数据加载 管 理 ODS数据库 信息整合 平台 数据源 经营 数据 财务 数据 人力资源 数据 业务 数据 上报 数据 内外网 交换数据 手工补录 数据 信息资源中心数据分析架构 综合 应用 多维分析 关联可视化47数据分析架构关键技术组件综合 应用 个性化门户WebSphere Portal Cognos/SPSS 数据存储 数据管理 综合信息资源库 数据仓库 PureData (DW)元 数 据 管 理 数据处理 平台 数据清洗 数据处理 DataStage 数据加载 MetaData ODS(DB2)信息整合 平台 WorkbencDataStage/CDC 经营 数据 财务 数据 人力资源 数据 业务 数据 数据源 上报 数据 内外网 交换数据 手工补录 数据 数据分析架构关键技术组件 综合 应用 个性化门户WebSp48数据仓库系统IBMPureDataSystemforAnalytics专为分析数据工作负载而优化System for Analytics 为分析提供数据服务 速度 比传统自定义系统快 10-100 倍*获得专利的 MPP 硬件加速（大规模并行处理）简单性 几小时内准备好数据加载 无需数据库索引 无需调优 无需存储管理 可扩展性 PB 级数据容量 智慧 设计为在几分钟内运行复杂分析，而不是几小时 最丰富的数据库中分析集合 数据仓库系统IBM PureData System for 49报表分析与数据挖掘工具 日常固定报表Cognos 报表 针对一个问题的不同侧面反复验证想法Cognos 多维分析 针对某中异常情况进行随机即席查询即席查询Cognos 数据钻取 找出业务数据背后隐藏的规律性信息及预测未来趋势数据挖掘SPSS 报表分析与数据挖掘工具 日常固定报表 Cognos 报50数据展示分析平台-IBMCognos让更多的用户做出更快、更有效的决策 完整的BI功能，随时随地为企业所有用户群及时地提供相关信息 开放的企业级平台，使企业IT能够更为经济地满足用户日益增长的需求 框架和最佳实践，提供专家知识，确保企业能够成功地实行绩效的管理 Web Office 移动 搜索 仪表盘 记分卡 报表 分析 计划 预测挖掘 当前我们的业 务表现如何 为什么高/低于 业务目标 未来的业务我们 应当怎么发展 未来业务可能会 发生什么情况 4/10/2014 数据展示分析平台-IBM Cognos 让更多的用户做出51社保大数据综合分析平台建设方案课件52Cognos 10 全新的图形引擎 -提供丰富、美观的展现形式 4/10/2014 Cognos 10 全新的图形引擎-提供丰富、美观的展现53预测分析型应用 参保人预测决策支持SPSS 缴费评估、稽查选案参保户调查离退休、经济景气分析计划分解与监控退休金发放预测参保人分析政策评估信息基础架构储存25 企业BI 硬件/云计算预测分析型应用 参保人预测 决策支持 SPSS 缴费评估、稽54SPSS SPSS 预测分析产品 4 4种分类产品 数据收集 为客户的态度和观点提供准确的视图 IBM SPSS Data Collection 统计分析 为分析人员提供专业的统计分析结果，提高决 策可信度 IBM SPSS Statistics 预测模型 建立预测模型，提供直观的辅助决策信息 IBM SPSS Modeler IBM SPSS Text Mining 部署 在企业日常运营中，降低分析维护成本，最大 限度地提高数据分析为企业带来的价值。IBM SPSS Decision Management IBM SPSS Collaboration&Deployment Services 26 Page 26SPSS 预测分析产品 4种分类产品 数据收集 为客户的态度55完整的安全控管体系-提供八层权限控管机制，可根据组织阶层与职位设定数据库存取权限资料来源存取权限Cube存取权限报表存取权限维度存取权限维度成员存取权限KPI量值存取权限数据格存取权限测试角色A角色B角色C角色D完整的安全控管体系-提供八层权限控管机制，可根据组织阶层56分析首页分析首页 57KPI管理驾驶舱KPI管理驾驶舱 58报表分析样例报表分析样例 59接口层并行数据导入/导出 分布式存储系统并行导入 分布式分布式分布式数据库文件系统数据仓库关系型数并行导出 据库文档数据大脑级数据仓库外部数据源外部数据源可以是关系型数据库或者数据仓库，包括：Oracle、SqlServer、PostgreSql、支持基于JDBC的数据源连接；也可以是各种文档文件：Log日志、多媒体文件等；，Mysql接口层并行数据导入/导出 分布式存储系统 并行导入 分60接口层API接口存储层通过对外提供API接口，供上层应用和外部系统访问。支持类型包括：REST、HTTP、SOAP。同时也可以提供URL页面链接地址，供外部系统嵌入到自己的应用中。接口层API接口 存储层通过对外提供API接口，供上层应61应用层让我们发现大脑背后的价值 商业智能(BI)是快速,准确,即时提供有价值的信息给最终决策者进行分析的一种技术应用层让我们发现大脑背后的价值 商业智能(BI)是快速,62应用层BIBI技术架构 多维分析动态表格图形化报表数字仪表盘Alerts&ProactiveNotification门户UNIFIEDWEBINTERFACEAdvancedAnalysisOLAPBI展现支撑组件展现场景配置支撑社保大脑Scorecards&DashboardsReportingIntegrated Backplane Services Oriented Architecture&Ad-hoc统一数据指标模型数据源及接口应用层BI技术架构 多维分析 动态表格 图形化报表 数字63应用层海量数据的分析预测 在基于大脑的社会保险统计分析项目中，预测模块是以统计分析海量数据库为基础，利用经济学、人口学、数理统计、精算科学等理论，通过建立不同的经济模型，进行政策模拟。并根据各种数据的历史发展与成长情况，做出相应的长期趋势预测分析和风险分析，对确保政策的制定、执行和完善提供定量性的依据。预测分析子系统 未来人口发展趋势 未来基金收支余发展趋势 长期精算平衡分析 人口预期寿命分析 整体人口抚养比分析 参保人口抚养比分析 缴费收入分析 待遇支出分析 偿付能力分析 长期封闭精算平衡检验 债务估计 长期敏感性分析 应用层海量数据的分析预测 在基于大脑的社会保险统计分析项64汇报完毕感谢聆听汇报完毕 感谢聆听65