大数据平台项目业务蓝图

西旅627工程项目大数据平台业务蓝图业务蓝图设计阶段大数据项目组12月大数据平台业务蓝图项目名称：西旅627工程项目作 者：？版 本 号：V1.0日 期：7/23/2022 8:43:11 上午文档批准历史版本号日期批准人备注文档版本历史版本号日期作者修改基于如下版本V1.0-12-11？参照文档编号文档名（链接）1.2.目 录大数据平台业务蓝图1第1章引言41.1项目背景41.2项目目的41.3项目调研41.4项目规划5第2章术语和定义、缩略语62.1术语和定义62.2缩略语6第3章大数据项目技术规定63.1技术架构63.2技术实现7第4章大数据项目蓝图设计84.1顶层设计（三期的总体业务规划图）84.2软件概要图94.3硬件（云服务）概要图104.4业务蓝图114.4.1数据采集11景区票务数据采集11微信平台数据采集11分销平台数据采集12气象环境数据采集12房地产数据采集13舆情数据采集13物业数据采集13商超数据采集13汽车数据采集13运营商(联通)数据采集134.4.2数据分析134.4.3数据应用134.4.3.1大屏134.4.3.2报表24第5章技术方案描述245.1技术架构245.1.1大数据平台架构245.1.2应用服务器负载245.1.3数据服务器负载245.1.4数据库245.1.5平台SaaS化24第6章参照文档25第7章蓝图签订阐明25第1章 引言1.1 项目背景西安旅游集团作为一种具有餐饮、旅游、汽车、房地产、物业、景区等业务的多元化集团，独占西安地区众多出名景点和老字号资源，具有得天独厚的资源优势。为了对集团资源进行有机的整合，释放资源优势，借助云计算、大数据、物联网、移动互联网等新兴技术，实现办公自动化业务数据、游客PC端有关数据、游客移动端有关数据、智慧景区有关数据（WIFI访问数据、视频监控数据、智能广播数据、寻人及救济数据、服务数据、电子门票数据、营销数据）、智慧物业有关数据的自动采集，形成大数据中心基本平台，以大数据中心基本平台为依托，建立西旅集团大数据舆情监测系统和旅游大数据指挥中心，为西旅集团领导决策提供数据支撑。1.2 项目目的基于西旅集团“做智慧都市的先行者，创立西安智慧公司的标杆”；“以科技为引擎，引领新旅游转型”；“以大数据建设为主体，再造新西旅”的三个战略目的，于启动西旅627项目建设，即建设六大智慧产业、两大共享平台、实现七个统一，以上建设均需以大数据为基本，通过联通数据、整合数据、分析数据，逐渐实现整体建设目的，因此本次大数据建设的目的是：为627项目建设打下坚实的基本，保证627项目顺利建设完毕。1.3 项目调研自10月开始，与集采项目同事对西旅有关产业进行联合调研，大数据方面重要调研内容为各产业目前信息化建设状况；历史数据录入与存储方式；各景区与否具有采集游客有关信息的条件；第三方数据采集与否具有条件；西旅集团的其她规定，截止12月，调研成果显示，公司方面，大部分产业信息化建设相对落后，诸多数据依赖手工填写，景区方面，缺少相应的可支撑数据源设备。基于此，我们结合627项目的总体规划与现状，提出了本次大数据建设蓝图。1.4 项目规划总体规划：西旅627项目大数据板块是整个项目的核心板块，是实现六个建设二个平台七个统一的总战略规划的基本，它将为将来的6大智慧建设（智慧旅游、智慧餐饮、智慧商贸、智慧酒店、智慧房产、智慧汽车）提供数据支撑。宏观上，为各产业提供行业发展趋势分析报告，为公司制定战略提供根据，微观上聚众分析顾客画像，实现精确营销。大数据板块主体涉及如下模块：数据仓库、数据采集模块、ETL模块、数据分析模块、报表。总体建设分为三期，在一期一方面完毕总数据仓储建设、内部数据打通、第三方数据接入、智慧旅游数据分析建模；同步与一期建设完毕的二大平台完毕数据交互；二、三期建设在一期的基本上，逐渐完毕其她5大智慧建设。一期规划：具体涉及可视化大屏管理系统、数据采集系统、数据互换共享系统、数据清洗存储系统、数据记录分析系统、天气环境监测、微信服务号、游客流量监测、旅游质量监测、网络舆情监测、网络预订监测、停车场预警、GPS定位、视频监控十四个方面。该系统同步为集团和13家分子公司提供监测及有关服务。同步完毕数据显示高清大屏假设，对接大数据中心，实时展示智慧旅游及其她方面的数据报告。大屏展示系统充足考虑到先进性、可靠性、经济性、可扩大性、可维护及管理性等原则，建设一套采用先进成熟的技术、遵循布局设计优良、设备应用合理、界面和谐简便、功能有序实用、升级扩展性好的液晶大屏幕拼接系统，以满足数据中心大屏幕图像和数据显示的需求。二、三期规划：完毕与其她5大产业的数据对接，建立行业分析模型，通过平台实现统一化、原则化智慧化的服务。第2章 术语和定义、缩略语2.1 术语和定义数据仓储：627项目内业务数据、互联网数据、舆情数据、其她数据的物理存储中心。此处补充；2.2 缩略语此处补充；第3章 大数据项目技术规定3.1 技术架构本项目开发的大数据平台基于云计算SaaS模式。1、西旅集团统一游客服务中心的SaaS服务平台作为西旅集团涉及本期项目在内的智慧旅游建设的基本平台，其建设需要运用新一代云计算技术、大数据技术、网络技术和通讯技术，在主流资源云（公共云）之上构建西旅集团游客SaaS服务平台，为终端顾客和行业顾客提供高效、便捷的云服务，使得西旅集团游客SaaS服务平台服务可以延伸至各子公司、景区及涉旅公司，为后续整个集团一体化智慧旅游建设提供基本支撑，为智慧旅游应用高效、稳定运营提供坚实的基本。2、系统完毕SaaS服务平台的有关管理功能，有效保证SaaS服务平台的安全性、可靠性、可用性、扩展性。3.2 技术实现系统具有先进成熟的技术架构。系统应提供高性能高可用的部署方案和劫难恢复解决方案，应支持平顺的硬件升级和扩展。系统架构中各层应采用成熟的、符合技术原则的产品。系统应对数据和应用的安全性作充足考虑，并提供较完善的数据日记跟踪与分析功能。应用系统开发规定运用主流Web应用开发技术，基于SOA体系架构，以搭积木式的方式组织，系统构成灵活。每个应用模块开发维护以便，可以动态地适应需求的变化。在系统的云计算环境中，每个顾客可以根据自己的需要来构建自己的应用环境。 在可视化方面充足运用图形化展示技术，以柱状图，圆饼图、进度图折线图、条形图、饼图、雷达图、仪表盘、热力图、关系网络图、气泡图、树图、流图、散点矩阵图、弦图、滚动信息列表、宫格等等新兴可视化展示方式。例如，通过热力图，用不同颜色的区块叠加在地图上描述游客分布、密度和变化趋势。 数据分析应从大量复杂的旅游大数据中挖掘未知的、有价值的模式和规律，进行比较选择并总结出原理和法则。数据挖掘技术的应用应能提高政府决策能力，形成旅游大数据应用。通过应用建模，形成旅游市场秩序指标指数、形成满意度指数。采用应用与数据通道分离方式，大数据互换应提供基于 http、web services等通用数据互换接口，采用JSon、xml作为数据互换格式，支持与第三方软件的应用集成与多种复杂网络拓扑构造下的数据接入。第4章 大数据项目蓝图设计4.1 顶层设计（三期的总体业务规划图）1. 数据采集和接入：景区票务数据采集、微信平台数据采集、分销平台数据采集、气象环境数据采集、房地产数据采集、舆情数据采集、物业数据采集、商超数据采集、汽车数据采集、运营商(联通)数据采集。2. 数据分析：建立基于旅游数据中心的记录分析系统，根据采集的数据信息，按数据类型、时间维度等多种查询条件进行数据检索与记录。3. 数据应用：a) 旅游数据大屏展示：天气监测、环境监测、微信服务数据监测、实时客流量、游客数据分析、旅游投诉监测、旅游评价监测、网络舆情监测、网络预订记录、分销渠道分析、停车场车位数预警、运营车辆定位、执法人员定位、视频实时预览。b) 旅游数据报表：销售分析报表、旅游资源分析报表、客户分析报表、营销活动分析报表4.2 软件概要图大数据平台功能概览加色彩表述阐明大数据平台系统架构4.3 硬件（云服务）概要图4.4 业务蓝图4.4.1 数据采集景区票务数据采集票务数据源1：票务数据源2：在数据采集工具中加入配套程序（需程序开发），访问票务系统开发的数据接口（需票务系统有此功能），获取数据，并进行数据清洗（将不符合规范的数据清除掉），最后将数据存储到数据仓库中。采集数据内容如下（不限于如下数据）：当天实时售票数量（多种类别）和售票单价（多种类别），景点编号。如因网络因素产生对接失败，可采用人工录入的方式向大数据平台提交汇总数据。微信平台数据采集微信平台不提供对外部系统的数据服务功能，需要人工录入的方式向大数据平台提交汇总数据。采集数据内容如下（不限于如下数据）：昨日粉丝数量和今日粉丝数量，微信编号。分销平台数据采集需西旅集团旗下景点、酒店、餐饮等公司，与OTA对接为前提，并能协同OTA向大数据平台提供数据接口，在数据采集工具中加入配套程序（需程序开发），访问OTA数据接口，获取数据，并进行数据清洗（将不符合规范的数据清除掉），最后将数据存储到数据仓库中。采集数据内容如下（不限于如下数据）：当天实时售票数量（多种类别）和售票单价（多种类别），景点编号。如因网络因素产生对接失败，可采用人工录入的方式向大数据平台提交汇总数据。气象环境数据采集需要西旅集团对接气象部门获取气象信息（各个景点的气象信息），如不能获取，将使用陕西省气象台发布的气象信息作为气象数据的根据。在数据采集工具中加入配套程序（需程序开发），访问省气象台的数据接口，获取数据，并进行数据清洗（将不符合规范的数据清除掉），最后将数据存储到数据仓库中。房地产数据采集舆情数据采集物业数据采集商超数据采集汽车数据采集运营商(联通)数据采集4.4.2 数据分析建立基于旅游数据中心的记录分析系统，根据采集的数据信息，按数据类型、时间维度等多种查询条件进行数据检索与记录。根据大数据平台积累的数据，按照常用的数据模型进行建模，例如，舆情类模型：自然语言分析模型。4.4.3 数据应用4.4.3.1 大屏大屏展示的形式为18块屏幕进行拼装。大屏展示标题：西安旅游集团大数据中心大屏实行原则：以大数据平台为依托，在液晶屏上实行展示各项旅游数据。大屏功能列表：1、 景区汇总信息a. 旅游团队运营状况（柱状图、折线图）b. 旅游大巴运营状况（表格）c. 景区当天门票销售状况（折线图）需对接OTA（携程、同城、驴妈妈等），或者景区票务系统。d. 重点景区拥挤限度（柱状图）e. 重要景区停车场（表格）2、 景点实时信息a. 接待游客数量（柱状图）显示7天的景区流量b. 景区监控视频（表格）c. 旅游总收入（柱状图）显示七天的景区收入d. 重要客源地人数（柱状图）横版3、 景区监控展示a. 按景辨别屏视频监控显示（由于液晶屏幕有黑边，不便于分割显示）4、 景区运营监测a. 景区名称、今日接待人数、最大承载量、今日在园、停车位、将来5天预测5、 GIS地理监测a. 地图显示西旅各个旅游景点、资源、产业信息（景点类型标签）6、 舆情检测（根据西旅目前的舆情系统定平台显示的内容）a. 今日核心词（列表）b. 热门信息排行（排行列表）c. 最新舆情（列表）d. 情感走势（趋势图）e. 媒体情感分析(柱状图)4.4.3.2 报表第5章 技术方案描述5.1 技术架构5.1.1 大数据平台架构：5.1.2 应用服务器负载硬件部署上，将多台应用服务器与Nginx负载均衡服务器并行接入同一网段，并由一种互换机来统一调度。Nginx负载均衡服务器对多台应用服务器进行负载均衡。由于逻辑架构中使用了Cache，因此负载均衡时采用Session有关方略，保证同一会话数据的一致性。5.1.3 数据服务器负载两台MySql数据库服务器进行主从集群。两台数据库共享一种数据库存储设备，业务数据库和查询数据库分开，以便业务数据操作和查询，每台服务器都会自动保存到备份数据库。将不用的业务数据定期迁移到历史数据库。5.1.4 数据库数据库使用mycat+mysql，Mycat用作读写分离、以及分表分库、容灾备份，并可以支持后来多租户应用开发、云平台基本设施、增长架构适应性和灵活性，分表分库，对于超过 1000 万的表进行分片，最多支持 10 亿的单表分片。多租户的支持，应用直连 Mycat。更好的支持 saas 化应用架构。5.1.5 平台SaaS化集采平台支持 SaaS化，建立租户域，对租户进行隔离式身份管理、权限管理、帐套管理。采用 oauth2统一鉴权。同步基于 mycat 实现数据库层面多租户。每个应用一种库，但应用统一连接 mycat。第6章 参照文档无。第7章 蓝图签订阐明通过项目准备阶段、调研和蓝图设计阶段的工作，西旅627工程集采供应链项目组和西旅各单位领导及同事的共同努力，产出交付该蓝图报告文档，通过项目办公室的检查确认，上述文档与627项目中有关集采的预期目的相符，大数据平台项目蓝图阶段关闭。西旅627工程-集采供应链项目蓝图签字页业务需求方业务需求代表签名: 日期:项目经理项目经理签名: 日期:项目总经理项目总经理签名: 日期:项目监理项目监理签名: 日期:项目办公室主任项目办公室主任签名: 日期: