XXX大数据平台技术白皮书

XXX大数据平台技术白皮书 XXXX大数据平台 技术白皮书 文档版本号： 文档密级： 编写人： V1.0 文档编号： 归属部门/工程： 编写日期： 产品部 2023.04.21 XXXX 修订记录： 版本号 V 3.0 修订人 修订日期 修订描绘 2023 XXXX科技 保存所有权利 版权声明： 本文档著作权由XXXX科技享有。文中涉及XXXX科技的专有信息，未经XXXX科技书面答应，任何单位和个人不得使用和泄漏该文档以及该文档包含的任何图片、表格、数据及其他信息。 本文档中的信息随着XXXX科技产品和技术的进步将不断更新，XXXX科技不再通知此类信息的更新。目录 第1章 产品概述 . 3 第2章 系统架构 . 4 第3章 数据存储 . 5 3.1 分布式集群存储分布式文件系统 . 6 3.2 HBase-分布列式数据库 . 7 3.3 Hive-数据仓库 . 9 3.4 GraphDB-大规模分布式并行图数据库 . 12 第4章 数据总线 . 13 4.1 数据采集与交换 . 15 4.2 数据预处理 . 16 4.2.1 规那么过滤 . 17 4.2.2 定制化ETL . 19 第5章 计算引擎 . 21 5.1 功能 . 21 5.2 组成 . 21 5.3 计算框架 . 23 5.4 通用算子 . 23 5.5 专用算子及分析p 模板 . 25 第6章 高性能高可用 . 29 6.1 高性能 . 29 6.2 高可用 . 30 第7章 可视化分析p . 30 7.1 功能特色 . 30 7.2 效果展示 . 31 第8章 运维管理平台 . 33 8.1 系统监控界面 . 33 8.2 系统配置界面 . 33 8.3 SQL查询分析p . 34 8.4 批量数据导入导出 . 35 第9章 产品规格 . 35 9.1 产品指标 . 35 9.1.1 平台规模 . 35 9.1.2 系统才能 . 35 9.1.3 系统运营 . 36 9.2 硬件环境 . 36 9.3 软件环境 . 36 9.4 参考配置 . 36 第1章 产品概述 XX大数据引擎平台UDEUnited Data Engine是一款大数据通用平台软件产品，支持海量数据的采集、过滤、转换、存储、搜索、查询、统计、分析p 、可视化与平安管理等大数据全生命周期管理，各种行业应用和最终用户，可以通过平台提供的丰富的接口，完成大规模行业数据的挖掘分析p 和应用对接收理。对外提供大容量数据分析p 和查询才能，为解决各大企业的以下需求： ? 软硬件国产自主可控 ? 多异构数据接入 ? 数据关联交融、统一访问 ? 大规模、高性能、可扩展 ? 高可靠、高可用 XXXX在开Hadoop版本的根底上对HBase、 HDFS和MapReduce等组件增加了HA、查询和分析p 功能，并进展了性能优化。产品定位如图1-1所示: 第 8 页 共 8 页