大数据产品架构及应用方案课件

大数据产品架构及应用方案大数据产品架构及应用方案1业务价值导向业务价值实现大数据基础平台行业应用提供一站式大数据应用支撑平台产品能力交换汇集挖掘分析可视化存储计算融合治理提供专业服务能力政府金融能源交通军工企业咨询设计算法定制实施运维服务能力服务能力业务价值导向大数据行业应用提供一站式大数据应用支撑平台产品能2服务成果服务成果2016年11月，获得高新技术企业认定2017年3月，通过CMMIL5软件成熟度模型能力认证2017年3月，大数据基础平台SDCHadoop通过中国信通院产品能力认证2017年6月，大数据基础平台SDCHadoop分别通过中国软件评测中心产品能力认证2017年6月，大数据分析平台SDCMiner通过中国软件评测中心分析类产品能力认证2017年6月，大数据可视化平台SDCUE通过中国软件评测中心分析类产品能力认证已授权4项专利目前核心产品相关的还有20项发明专利已取得受理通知书，部分已进入实审阶段。专利权权威认证已取得74项著作权核心产品大数据基础平台、分析平台、可视化平台等均已取得相关著作权著作权产学研联合实验室与国内多家高校、研究机构成立了：大数据可视化应用联合实验室大数据基础架构研究实验室工业大数据应用联合实验室服务成果2016年11月，获得高新技术企业认定已授权4项专利3公司资质公司资质武器装备科研生产单位保密资格证二级国军标质量管理体系认证证书二级保密资格单位证书企业信用等级证书A军工涉密咨询服务ISCCC信息安全服务ISO27001信息安全管理ISO9001质量认证计算机信息系统集成2 2级级CMMIDEV5 5级级国家高新技术企业ITSS服务运维2 2级级软件企业认定证书ISO14001环境认证公司资质武器装备科研生产单位保密资格证二级军工涉密咨询服务4大数据产品架构大数据产品架构大数据产品架构5SDCETL大数据采集平台建立大数据的数据之源SDCETL大数据采集平台建立大数据的数据之源6产品定位及产品特色产品定位及产品特色复杂异构数据源实时性传输兼容大数据技术栈多人协作开发核心特色产品定位SDC融合数据ETL以元数据智能驱动，通过流程设计器快速构建数据处理模型，完成数据库、半结构化、非结构化数据之间的ETL工作，支持多人协作，大大节约了开发周期以及开发难度。提供强大的调度能力，使得相关部门全面地了解数据处理模型的运行情况，有助于迅速定位和排除故障。提供高可用集群管理以及HA能力，使得数据处理过程高效稳定。高效稳定操作智能便捷产品定位及产品特色复杂异构数据源实时性传输兼容大数据技术栈多7产品介绍（设计界面）产品介绍（设计界面）产品介绍（设计界面）8产品介绍（调度页面）产品介绍（调度页面）单一业务的任务详情图形化展示任务执行日志任务运行情况变化曲线全方位洞察一项任务执行定义指定任务的报警规则定制指定任务的报警渠道指定报警信息的接收者根据需要控制告警规则的启用与关闭告警帮你随时把握任务异常可视化手段多角度作业监控作业执行状态与成功率监控对作业进行多角度排序任务执行一览无余产品介绍（调度页面）单一业务的任务详情全方位洞察一项任务执行9SDCHadoop大数据存储计算平台构造大数据运行基石SDCHadoop大数据存储计算平台构造大数据运行基石10产品架构产品架构SDC企业级一站式大数据基础平台大数据领域-存储计算为核心的基础平台组件融合Hadoop+Spark生态组件融合；MPP+Hadoop混合框架；国内组件支持最多，最丰富。统一存储数据收集及整合萃取能力横向扩展能力数据备份、安全存储能力数据按策略存储能力全文检索基于数据的检索对结构化、半结构化、非结构化数据的全类型检索支持支持按类型分类呈现检索结果，在线播放音视频文件。交互式分析批量数据非实时分析能力秒级实时交互分析能力实时数据查询能力实时流计算亚秒级，低延时的实时流处理高可用的、基于内存计算的流计算引擎性能业界领先运维管理一键式安装可视化运维监控按需部署简单易用全生态安全加固产品架构SDC企业级一站式大数据基础平台大数据领域-11产品功能产品功能-运维管理子系统运维管理子系统产品功能-运维管理子系统12产品功能产品功能-日志分析子系统日志分析子系统产品功能-日志分析子系统13产品功能产品功能-设备可视化监控设备可视化监控产品功能-设备可视化监控14SDCSDC平台技术创新平台技术创新-命令解析工具命令解析工具SDC平台技术创新-命令解析工具15产品测试产品测试通过了权威机构性能评测2017年6月，四方伟业SDC大数据基础平台参加了中国信息通信研究院大数据性能评测，取得了以下成绩：比规定测试时间提前2天跑出性能结果。与其它参评的企业相比，数据查询性能处于行业第一梯队。性能评测场景30T数据情况下测试：场景1：复杂SQL语句查询。在30T数据情况5条不同SQL语句5次查询，分别执行时间为：202.7s,258.0s,50.8s,132.7s,53.1s.最好执行速度为：1.7s/T最坏情况：6.7s/T场景2：简单SQL语句查询。在30T数据情况5条不同SQL语句5次查询，分别执行时间为：52.9s,34.9s,66.3s,92.5s,79.8s.最好执行速度为：1.1s/T最坏情况：3s/T产品测试通过了权威机构性能评测2017年6月，16国家版权云项目案例国家版权云项目案例17项目背景项目背景难点原数据的种类多样，大小不同，大数据平台存储方式不同，对后续用户检索效率有影响，需要按类型，大小存储到不同的组件，提升检索效率。解决思路1.大文件存放HDFS，建立索引，将索引存入关系型数据库，小文件直接放入NoSQL数据库。2.提前配置好分类存储策略，自动分类存储：Size100M&Video存储#001，10MSize=100M&Video|Voice|Picture存储#002，0MSize=10M&Video|Voice|Picture存储#003项目背景难点原数据的种类多样，大小不同，大数据平台存储方式不18可视化效果可视化效果快速检索，性能高效可视化，资源使用情况查看500T数据检索速度平均小于=80A+类企业该类企业出口合格率高，出口数量金额较大，较多企业通过了ISO9000认证77,80）A类企业该类企业在数量、金额、批次上的合格率至少在90%以上，出口量较大75,77）B类企业部分合格率指标出现低于80%，但企业质量信用综合得分较高60,75）C类企业该部分企业中，存在至少一项合格率低于60%的企业较多，总体上合格率低，质量信用得分低，因数量较少，归为一类60D类企业黑名单或者封号企业，信用极差熵权法质量信用评估指标体系信用评估指标中文名不合格件数企业代码包装件数合格率企业名称货物总值(美元)企业类型不合格金额(美元)企业性质出口金额合格率检验方式出口批次黑名单标志出口不合格批次封号标志出口批次合格率备案标志二次检验次数是否通过ISO9000二次检验率可视化效果展现科学实现企业信用评分定级较好量化信用监管决策优40SDCUE大数据可视化平台支撑大数据丰富的可视化呈现SDCUE大数据可视化平台支撑大数据丰富的可视化呈现41SDCUESDCUE可视化平台优势是什么？可视化平台优势是什么？组件多样化：Dashboard图表、高级复合图表、3D图表、WEB组件（交互式选择类、容器类、布局类、表单类、高级Web应用类）数据多样化：结构化数据、文本数据、地理空间数据、关系网络数据、层级数据样式多样化：动态效果设计、精细化的样式自定义、动态背景、动画边框、组件皮肤、动态组件多样化数据筛选、组件联动、动态数据绑定、内外系统参数传递数据、组件、页面、业务实体场景互动与数据实时交流，让页面活起来事件交互自研SAE智能查询分析引擎，集多维分析、业务分析于一体，不仅仅是展示直接处理业务数据库，实时、便捷、灵活高性能完备的权限控制体系，功能权限、数据权限支持集团式、区域式管理灵活的数据授权方式安全性完全开放的组件、主题开发规范集成任意类型组件，效率高、多样化直接DOM对象操作，代码直接注入，无需编译个性化业务需求快速、灵活实现，游刃有余二次开发无需技术背景，业务人员可自服务完成分析需求拖拽式的可视化编排方式，极致的用户体验敏捷式页面开发，实改时生效,快速响应业务变化敏捷SDCUE可视化平台优势是什么？组件多样化：Dashbo42SDCUESDCUE可视化平台可视化平台介绍介绍交互式交互式WEBWEB页面页面DashboardDashboard仪表盘仪表盘/驾驶舱驾驶舱高级数据可视高级数据可视自助式分析自助式分析可视化大屏可视化大屏SDCUE可视化平台介绍交互式WEB页面Dashboar43SDCUESDCUE可视化平台解决客户哪些问题？可视化平台解决客户哪些问题？1、快速构建中国特色大屏效果，满足实时变化。2、提供可视化的快速配置服务，构建各类大数据可视化系统。政府部门提供快速开发可视化系统的平台，降低成本，提高开发效率。10个研发变为2个研发+3个实施集成合作商1、提供自助式分析的产品，部门、领导进行决策分析2、提供构建业务可视化的平台，不依赖软件公司，自己设计系统。企业SDCUE可视化平台解决客户哪些问题？1、快速构建中国特44大数据产品架构及应用方案课件45智慧城市运营管理中心智慧城市运营管理中心智慧城市运营管理中心46SDCME大数据多维可视化平台支撑大数据丰富的可视化呈现SDCME大数据多维可视化平台支撑大数据丰富的可视化呈现47产品功能产品功能管理驾驶舱数据驾驶舱基于行业决策需求，通过详尽的指标体系，实时反映行业的运行状态，将采集的数据形象化、直观化、具体化。数据可视数据分析用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。大屏展示提供共享信息、决策支持、态势显示技术；涉及多种信息接收处理显示、多类人员操作控制、部门管理协调等需求实现数字沙盘数字沙盘能够兼容所有类型的三维空间数据，将这些空间数据放入数据沙盘进行立体展示，并提供三维互动操作、数据标注、数据轨迹、实时告警、数据趋势演进等功能构成数据沙盘可视化技术。产品功能管理驾驶舱数据可视大屏展示数字沙盘48自动化智能数据建模技术 传统的数据建模方式，根据模型需求的多寡，往往需要投入大量的专业IT人员手动编辑SQL语句完成模型构建。ME产品从用户易用性出发，运用先进的AI技术对数据进行智能建模，减少用户对于SQL语句的依赖.SDCMESDCME多维可视化产品优势是什么？多维可视化产品优势是什么？创建数据集添加数据源建立模型自动化智能数据建模技术13构建交互部署控件系统授权权限共享跨平台数据同步分享技术组件式数据交互技术45制作数据高自由度数据编排技术自助式数据分析技术2数据模型组件智能高自由度数据编排技术高自由度数据编排技术可对不同种类的业务数据进行自定义拖拉拽操作布局，对每一个维度、每一项指标、每一张报表、每一个组件、每一组场景都可进行随心所欲的快速编排，配合自动化智能数据建模技术充分体现数据的灵活性，让数据在多维的视觉下更为生动，准确，直观，真实，远远超越TABLEAU等同类产品数据呈现效果；开放自助式数据分析技术自助式数据分析技术结合智能数据建模、数据编排、可视化交互技术，实现图形化情报信息查询、可视化关联分析、证据链和情报线索发掘等功能。该技术旨在利用人的洞察把人的思想与计算机的运算能力结合起来，通过直观的多维可视、交互手段，帮助人捕捉到事物之间的关联线索。灵活跨平台数据同步分享技术&组件式数据交互技术ME旨在帮助使用者在任何时间、任何地点、通过任何移动通讯设备处理与业务相关的任何事情。这种全新的数据分享交互模式，可以让使用者摆脱时间和空间的束缚。数据信息可以随时随地通畅地进行交互流动，工作将更加轻松有效，整体运作更加协调。有助使用者提高管理效率，推动效益增长。共享自动化智能数据建模技术SDCME多维可视化产品优势是什么49SDCMESDCME多维可视化产品解决客户哪些问题多维可视化产品解决客户哪些问题？减少数据接口兼容性开发成本数据库RDBMS、Excle/CSV文本数据源、基于hadoop的大数据平台数据源以及其他多种JDBC数据源降低对专业IT人员的投入在数据建模过程中，减少对SQL语句编写的场景，未接受过专业编程培训的用户也能够通过简单的可视化操作，将数据库中的数据表创建成待分析的数据模型；增加数据灵活性在多维分析的行业智能解决方案中ME产品更尊重市场变化，为用户建立一套更灵活的数据建模混合方案。着力基础数据抽取，不仅能够满足星型和雪花模型还能满足用户自定义的数据模型创建；保障安全共享提供了数据安全机制，用户能够对访问数据模型进行权限设置管理，也可以通过授权方式共享给其他用户使用，即保证了数据的访问权限，也保证了开放共享。SDCME多维可视化产品解决客户哪些问题？减少数据接口兼50智慧城市运营管理中心智慧城市运营管理中心智慧城市运营管理中心51智慧城管智慧城管智慧城管52SDCBE商业洞察平台支撑大数据丰富的多维分析报表SDCBE商业洞察平台支撑大数据丰富的多维分析报表53SDCBESDCBE商业智能是什么？商业智能是什么？01数据采集内置ETL工具，接入任意种类数据源，自定义算法规则，分布式大数据处理引擎。02数据存储RDB与大数据数仓结合，横向扩展支持PB级别以上数据量安全存储。03数据分析MOLAP于ROLAP结合，大数据分析引擎，多视角，多粒度快速呈现分析结果。04数据呈现丰富的可视化组件，涵盖2D、3D、GIS，辅助插件齐全，多终端流畅呈现。BE是一套面向大数据时代以及人工智能时代的BI工具！SDCBE商业智能是什么？01数据采集内置ETL工具，接54SDCBESDCBE商业智能产品优势是什么商业智能产品优势是什么？强悍的大数据处理能力通过分布式数仓能力理论上支持的数据量可以无限大；覆盖所有常用关系型数据库，大数据仓库以及常用文本数据。BE支持表关联、过滤、转换、拆分、聚合、自定义SQL等10余种预处理方式；处理1000万级别的数据，BE可以在3秒内完成。丰富强大的算法支持100余种算法；其中，预测回归算法10余种；灵活的扩展能力快速响应，满足用户各种定制化需求普通组件可在3日内完成定制；强大的可视化效果支持pc、手机、平板多终端呈现内置24种图表组件，10种报表组件根据数据特征智能推荐最合适的图表组件SDCBE商业智能产品优势是什么？强悍的大数据处理能力通55SDCBESDCBE商业智能产品商业智能产品介绍介绍数据预处理数据预处理联合多个异构数据源拖拽可视编辑数据处理流程算法节点丰富，可随时扩展直接SQL注入能力SDCBE商业智能产品介绍数据预处理联合多个异构数据源56SDCBESDCBE商业智能产品商业智能产品介绍介绍数据分析数据分析数据模型切换维度/度量/参数过滤排序时序轮播分析特性二维数轴图表分析显示数据分析快照智能图表选择SDCBE商业智能产品介绍数据分析数据模型切换维度/度57SDCBESDCBE商业智能产品商业智能产品介绍介绍可视化编辑可视化编辑10余种可视化插件可视化样式设置SDCBE商业智能产品介绍可视化编辑10余种可视化插件58SDCBESDCBE商业智能产品解决客户哪些问题？商业智能产品解决客户哪些问题？数据挖掘预测长远分析问题提高决策质量深入分析问题整合信息孤岛整体分析问题提高工作效率避免资源浪费帮助企业进行风险预警防控帮助企业开源节流增加利润SDCBE商业智能产品解决客户哪些问题？数据挖掘预测提高59制造行业案例制造行业案例3 M3M公司客户痛点：n已有BI工具灵活性有限，不能满足项目和产品利润分析的要求n已有平台复杂度高，缺乏专业的IT人员，无法及时响应业务需求解决方案：实时某业界领先BI产品，为全业务员工不是一套系统整合公司数据仓库、零散业务库、文件数据到统一的数据库中使用BI进行全球范围内的跨业务数据分析美国著名制造公司，拥有多种领先技术，在个人办公，医疗，电子，图像显示灯领域占有重要份额，员工人员69000，营销收入：229亿美元实施收益经营数据的分析时间降低了75%，快速响应市场变化管理层能够直观看到项目绩效，及时提高团队的效率的业务能力公司存货水平得到有效控制，与实际销售量基本一致制造行业案例3M3M公司美国著名制造公司，拥有多种领先技术60汇报完毕感谢聆听汇报完毕感谢聆听61