基于运营商游客大数据辅助平台

招标编号 XX 市旅游局 关于移动 联通 电信游客大数据决策辅助平台项目 技 术 文 档 XXXXXXXX 科技有限公司 2015 年 2 月 10 日 目录 第一章 项目背景及需求分析 1 1 项目背景 1 1 1 智慧旅游及散客时代来临是本项目启动的必然基础 1 1 2 旅游大数据分析引发旅游业第二次技术革命 5 2 项目需求分析 12 2 1XX 智慧旅游管理需要一个强有力的大数据支撑系统 12 2 2XX 智慧旅游建设必须建立游客数据分析系统 14 2 3 项目具体需求描述 18 3 项目工作计划与措施 19 3 1 项目工作计划 19 3 2 项目保障措施 22 第二章 平台建设方案 24 1 建设原理 24 2 平台总体架构 26 2 1 网络组织架构 26 2 2 系统架构 27 2 3 平台总体架构 28 2 4 平台操作界面 32 3 平台技术架构 34 3 1 业务应用服务组件 34 3 2 应用支撑组件 35 3 3 统计分析服务 35 3 4 ETL 服务 35 3 5 展现服务 36 3 6 全服务生命周期管理 36 4 平台拓扑结构 36 5 平台关键流程 37 5 1 平台业务主流程 37 5 2 信令分析处理流程 38 第三章 大数据解决方案 40 1 数据来源 40 1 1 网络端数据 40 1 2 现实统计数据 43 2 研究方案 43 2 1 方案思路 43 2 2 大数据辅助分析架构 45 2 3 分析方法 46 2 4 方案特点 48 2 5 方案优势 50 3 数据接口服务 54 3 1 信令采集接口 54 3 2 基站信息位置接口 61 3 3 景区接口查询 68 第四章 大数据分析报告 71 1 XX 旅游市场概述 72 1 1 人文景观类 72 1 2 自然景观类 82 2 来 X 游客数据分析报告 95 2 1 游客基本特征 97 2 2 游客地域结构分析 100 2 3 游客动机与行为特征 102 2 4 游客空间选择特征 106 3 大数据可视化分析 108 3 1 景点游客实时流量分析 108 3 2 景区客流来源统计 109 3 3 新增游客分析 110 3 4 游客客源统计分析 111 3 5 景区每日游客数量变化趋势 112 3 6 景区游客数量预估图 113 4 分析报告的目标和意义 113 4 1 挖掘有价值的旅游信息 113 4 2 挖掘潜在旅游客户 114 4 3 优化旅游线路策略 114 4 4 推荐旅游项目与目的地 114 第五章 平台安全方案 115 1 安全方案原则 115 1 1 技术方面 115 1 2 管理方面 116 2 安全方案设计 116 2 1 物理安全 117 2 2 网络安全 118 2 3 系统安全 122 3 应用安全 124 3 1 安全审计 124 3 2 内容过滤 124 4 管理安全 125 4 1 加强基础设施和运行环境建设 125 4 2 加强设备管理和使用工作 125 4 3 建立健全安全管理内控制度 126 4 4 加强员工思想和安全意识教育 126 5 数据安全 126 5 1 访问控制 127 5 2 入侵检测 127 5 3 风险评估 127 5 4 数据传输安全 128 5 数据加密管理 129 5 6 安全审计 129 5 病毒防御 129 1 第一章 项目背景及需求分析 1 项目背景 1 1 智慧旅游及散客时代来临是本项目启动的必然基础 目前 许多地方都在开展智慧旅游建设 并取得了很好的效果 基于地方智慧城市和智慧旅游建设的实践和推进旅游业发展成为现 代服务业的目标 国家旅游局对 智慧旅游 试点工作进行了部署 2011 年又正式确定江苏镇江的 国家智慧旅游服务中心 我国正 在积极推进有条件的城市开展智慧旅游试点工作 此外还将在认真 总结一些成功数字景区经验的基础上 逐步提高精品旅游景区的数 字化水平 鼓励旅游酒店 旅游车船公司 旅游购物公司在信息化 建设方面大胆探索 不断提高对旅客服务的智能化水平 从而推动 国内旅游者在中国大地上实现 智慧旅游 2011 年 7 月 15 日 国家旅游局局长邵琪伟正式提出 旅游业 要落实国务院关于加快发展旅游业的战略部署 走在我国现代服务 业信息化进程的前沿 争取用 10 年时间 在我国初步实现 智慧 旅游 从社会的现代化进程看 技术变革特别是信息技术的飞速发展 正在对人们的生产生活产生深刻影响 2010 年 我国移动电话用 2 户达到 8 59 亿户 其中 3G 移动电话用户达到 4705 万户 互联网 上网人数 4 57 亿人 成为世界上互联网使用人数最多的国家 未 来随着每秒数据传输速度达到 2 5G 的超高速网络的建设和普及 人民的生产生活方式还将有更深刻变革 旅游活动作为人们生活方式的延伸 旅游业作为服务业的龙头 产业 必然会因为信息技术发生革命性的变化而变革 此外 随着 生产生活的发展 在线旅游 邮轮游艇旅游 房车旅游 自驾车旅 游等新的旅游方式正在快速发展 旅游业如何去满足这部分新兴需 求 同样离不开自身的现代化 从技术层面说 这里面最重要的就 是实现 智慧旅游 智慧旅游将是从传统的旅游消费方式向现代的旅游消费方式转 变的 推手 虽然旅游消费的内容还是传统的吃住行游购娱 但 是我们可以通过信息技术的广泛运用实现消费方式的现代化 在 国 家 中 长 期 科 技 发 展 规 划 纲 要 2006 2020 第 三 部 分 重 点 领 域 及 其 优 先 主 题 中 第 7 点 信 息 产 业 及 现 代 服 务 业 首 先 提 到 的 优 先 主 题 现 代 服 务 业 信 息 支 撑 技 术 及 大 型 应 用 软 件 重 点 研 究 开 发 金 融 物 流 网 络 教 育 传 媒 医 疗 旅 游 电 子 政 务 和 电 子 商 务 等 现 代 服 务 业 领 域 发 展 所 需 的 高 可 信 网 络 软 件 平 台 及 大 型 应 用 支 撑 软 件 中 间 件 嵌 入 式 软 件 网 格 计 算 平 台 与 基 础 设 施 软 件 系 统 集 成 等 关 键 技 术 提 供 整 体 解 决 方 案 3 从 政 策 层 面 上 把 旅 游 和 云 计 算 网 格 计 算 结 合 起 来 作 为 信 息 产 业 优 先 发 展 的 主 题 也 说 明 了 基 于 云 计 算 技 术 的 旅 游 信 息 平 台 是 智 慧 旅 游 的 基 础 2009 年 国 务 院 出 台 了 关 于 加 快 发 展 旅 游 业 的 意 见 第 五 条 提 出 建 立 健 全 旅 游 信 息 服 务 平 台 促 进 旅 游 信 息 资 源 共 享 第 十 条 提 出 以 信 息 化 为 主 要 途 径 提 高 旅 游 服 务 效 率 积 极 开 展 旅 游 在 线 服 务 网 络 营 销 网 络 预 订 和 网 上 支 付 充 分 利 用 社 会 资 源 构 建 旅 游 数 据 中 心 呼 叫 中 心 全 面 提 升 旅 游 企 业 景 区 和 重 点 旅 游 城 市 的 旅 游 信 息 化 服 务 水 平 说 明 旅 游 信 息 服 务 政 策 已 经 提 上 议 事 日 程 尤 其 是 要 建 立 一 个 能 共 享 旅 游 信 息 的 大 型 平 台 2012 年 5 月 为 贯 彻 落 实 国 务 院 关 于 加 快 发 展 旅 游 业 的 意 见 精 神 积 极 引 导 和 推 动 全 国 智 慧 旅 游 发 展 国 家 旅 游 局 确 定 18 个 国 家 智 慧 旅 游 试 点 城 市 西 部 仅 XX 市 入 选 国 家 旅 游 局 同 时 要 求 各 试 点 城 市 将 智 慧 旅 游 作 为 一 项 重 点 工 作 来 抓 政 府 要 在 整 合 资 源 组 建 机 构 和 配 套 服 务 方 面 发 挥 主 要 作 用 积 极 引 导 民 间 资 本 参 与 建 设 智 慧 旅 游 建 立 统 筹 发 展 的 体 制 机 制 探 索 科 学 有 效 的 发 展 模 式 国家旅游局公布了 2014 中国旅游主题 智慧旅游 要求全 国各旅游部门围绕 智慧旅游 来展开一系列的旅游推广宣传和旅 游营销活动 4 智慧旅游是旅游业发展到现阶段出现的一种旅游新形态 全国 各级政府高度重视智慧旅游的发展 特别是对 2014 年旅游主题宣 传的定位 各地如火如荼地构建智慧旅游体系 这充分表明了智慧 旅游是是旅游业未来发展的趋势 也是旅游业成长为现代服务业的 关键 2014 中国智慧旅游年 掀开了中国旅游产业发展的新篇章 智慧旅游发展的直接受益者是旅游者 在后续年份的智慧旅游 建设中也是 而且游客会享受到更多的智慧旅游服务 比如游客通 过电脑 手机 IPAD 等移动工具 到网上查询信息 网上订票 还可以订制旅游线路 合理安排旅游日程 最大化地利用旅游时间 另一方面 随着人们生活水平的日趋提高和旅游经历的增多 旅游者开始由过去的观光型旅游方式转向个性化 多样化旅游方式 这种趋势不仅表现在外来游客身上 而且在城市居民近郊旅游中表 现得也比较突出 中国旅游业已经逐渐进入 散客 时代 游客不 再满足基于成本考虑的团队观光旅游 自由行 自驾游等出游方式 和消费行为的改变 使得旅游者对旅游相关信息提出了更高的要求 也势必将要求城市旅游公共服务水平 经营和接待旅游散客的能力 等顺势做出改变和提升 一个国家或地区旅游业成熟度的重要标志就是其接待散客旅游 5 的能力 散客旅游服务体系已然成为现代旅游业发展不可或缺的重 要因素 它不仅标志着区域旅游业发展的水平 也是衡量旅游者对 特定旅游目的地满意度的一个重要指标 同时 旅游目的地城市品 牌形象的树立 不仅要结合旅游资源开发 经济发展 城市建设 宣传特色等诸多环节 还需重视最终落在游客心里的形象和满意度 如何 各级政府为大力促进当地旅游产业的发展 采取了一系列的 手段来不断加强对当地旅游的宣传力度 随着散客时代的到来 各地旅游主管部门如何更好的实现旅游 数据的统计分析 为游客提供更好的服务 实现智慧旅游的管理 智慧旅游服务 这是当前全国各地旅游主管部门面临的最为迫切的 任务 1 2 旅游大数据分析引发旅游业第二次技术革命 大数据 IT 行业的又一次技术变革 大数据的浪潮汹涌而至 对国家治理 各行业领域 企业决策和个人生活都已经或者将要产 生深远的影响 并将成为云计算 物联网之后信息技术产业领域又 一重大创新变革 未来的十年将是一个 大数据 引领的智慧科技 的时代 随着社交网络的逐渐成熟 移动带宽迅速提升 云计算 物联网应用更加丰富 更多的传感设备 移动终端接入到网络 由 此而产生的数据及增长速度将比历史上的任何时期都要多 都要快 6 数据技术发展历史如图一所示 1 2 1 大数据定义 大数据 是一个涵盖多种技术的概念 简单地说 是指无法 在一定时间内用常规软件工具对其内容进行抓取 管理和处理的数 据集合 IBM 将 大数据 理念定义为 4 个 V 即大量化 Volume 多样化 Variety 快速化 Velocity 及由此产生的价值 Value 如图二 7 图二 要理解大数据这一概念 首先要从 大 入手 大 是指数据规 模 大数据一般指在 10TB 1TB 1024GB 规模以上的数据量 大数 据同过去的海量数据有所区别 其基本特征可以用 4 个 V 来总结 Vol ume Variety Value 和 Veloc ity 即体量大 多样性 价值密度低 速度快 数据体量巨大 从 TB 级别 跃升到 PB 级别 数据类型繁多 如前文提到的网络日志 视频 图 片 地理位置信息 等等 价值密度低 以视频为例 连续不间断监控过程中 可能有用的数据仅仅有一两秒 处理速度快 1 秒定律 最后这一点也是和传统的 8 数据挖掘技术有着本质的不同 物联网 云计算 移动互 联网 车联网 手机 平板电脑 PC 以及遍布地球各个角 落的各种各样的传感器 无一不是数据来源或者承载的方 式 大数据技术是指从各种各样类型的巨量数据中 快速获得有价 值信息的技术 解决大数据问题的核心是大数据技术 目前所说的 大数据 不仅指数据本身的规模 也包括采集数据的工具 平台和 数据分析系统 大数据研发目的是发展大数据技术并将其应用到相 关领域 通过解决巨量数据处理问题促进其突破性发展 因此 大 数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值 的信息 也体现在如何加强大数据技术研发 抢占时代发展的前沿 1 2 2 旅游大数据分析引发旅游业第二次技术革命 通过大数据改变旅游格局 推动旅游发展 不少省市都在试水 其中 走得较前的是山东 该省在旅游发展中明确提出以移动互联 网应用为重点 以大数据应用为核心 提升产业现代化水平 其所 提出的战略思路是 整合公安 交通运输 环保 国土资源 城乡 建设 商务 航空 邮政 电信 气象等相关方面涉及旅游的数据 同时与百度 谷歌 淘宝等主要网络搜索引擎和旅游电子运营商合 作 建立社会数据和旅游及相关部门数据合一的旅游大数据资源 9 携程利用自家的预订和访问数据 每逢年终岁尾以及黄金周发 布旅游分析报告 以后几家 OTA 都相继跟进 毫无悬念 各类报告 还是以目的地和客源地排行榜为主体 间或少量的旅游者行为分析 开始的时候 得到了许多目的地的呼应 如 XX 市荣登携程目的 地排行榜 之类的 以后排行榜多了 也就逐渐应者寥寥 理论上 以 OTA 预订量数据预测目的地的流量热度以及客源分布与其他网络 分析预测数据来源相比 确定性提高 准确度相对较高 因为这是 旅游者动身前最后一个 数据门槛 但这里有一个前提 就是单 个 OTA 的市场占有率和对主体旅游者的覆盖度 从实践对比情况来 看 对长中线旅游者尤其是出境旅游的数据分析结果准确率高一些 对短途尤其是周边游的数据分析结果准确率相对较低 无论是节假 日或者黄金周的国内旅游活动 从各方面数据来看 短途和周边游 是旅游活动的主体 目的地对此类的数据分析应用应当有清醒的认 识 以前旅游网络服务商的分析数据是以住宿预订数据为主 其中 商旅客户占有相当大的部分 因而目的地排行榜中商业活动活跃的 城市往往位居前例 这两年 景区门票电商风生水起 几个 OTA 大 头依据景区门票预订数据顺势发布旅游景区排行榜 严格说来 依 据电商预订数据来反映景区的吸引力和热度要考虑其他因素的影响 比如预订流量占实际流量的比重 景区的信息化水平和网络营销力 度 OTA 操办的预订优惠活动等等 不能把预订数据反映简单等同 10 于实际景区流量和吸引力 在同等条件下 依赖搜索数据的热度更 能反映实际情况 在实际应用层面 以前在进行目的地搜索数据分 析时 发现山东省内的游乐园类景区出现了大范围的搜索数据提升 半年后 OTA 公布的数据就实际呈现了这种趋势 依据旅游单个要素产品比如酒店客房 景区门票等的预订流量 数据来分析目的地的吸引力和热度是片面的 这个问题对于网络服 务商和目的地来说是硬币的两面 核心是目的地关联消费和产品组 织 对于网络旅游服务商来说 把景区门票作为吸引流量入口 既 要 赔本赚吆喝 还要稳固 下盘 产品关联预订 在浮华的 门票预订数据背后 会发现没有一家披露门票预订者的关联预订数 据 比如预订门票的旅游者有多少预订了当地的酒店客房等其他旅 游要素产品 这才是 OTA 的核心家底 也是反映 OTA 旅游产品组织 能力和目的地营销能力的主要数据 还有就是预订流量数据中周边 游短途和中长线客源的比重 一般来说周边游短途游客的关联预订 能力更弱一些 更可能是受到优惠折扣的吸引而进行的单要素产品 预订 只买啤酒 不理尿布 客户粘性也差一些 相比较一般电商 旅游产品的关联度更强 更能够利用大数据的模式和方法 寻找旅 游者的产品偏好和产品组织偏好 对于目的地来说 考察一个旅游 网络服务商的目的地营销能力 要看订单流量 也要看订单客源结 构 更要看关联预订数据 11 今年 OTA 都高喊着做 平台 首当其冲是可劲地增加旅游 产品丰富度 海内外目的地 短中长线 旅游产品要素等一网打尽 实际上与一般电商平台相比 旅游电商平台还需要旅游产品要素组 织能力 以吸引游客的关联预订比重 这里主要前提是对大数据的 占有和分析 是衡量旅游电商 平台 的核心依据 但是作为旅游主管部门 如果仅仅是依靠主 OTA 提供的大数 据分析报告是远远不够的 对各地的旅游主管部门来说 掌握一手 的旅游大数据分析 更好的为当地旅游服务 这才是最迫切的需求 因此 当前不管是旅游运营商还是旅游主管部门 旅游目的地 对旅游大数据的分析都呈现出强烈的需求 虽然很多平台的数据分 析还只是侧重于某一个方面 但这种必然的发展趋势已经是越来越 明显 国家旅游局信息中心蔡家成主任强调 旅游本身是依托信息资 源的活动 怎么样精准的了解游客的需求 传统方式很难细致 深入的反映每一个游客的评价 而利用大数据资源 可以让旅游产 业发展的更好 让游客对旅游的服务和产品更加满意 大数据对旅 游的消费活动 经营活动等有很好的支撑作用 综合来看 目前大多数旅游业的大数据分析应用可以归结为三 12 大类 一类是提升企业内部运营效率 二是优化定价和库存 三是为 客户提供更好的 基于情景的服务 所有三种分析都面临大数据挑 战 旅客产生的各种数据 如目的地 航班 火车 游船 酒店房 间 定价等每年都在以惊人的速度增长 因此 旅游是一种非常特殊的商品 移动的不是商品而是消费 者 消费决策之前有一段信息搜索获取过程 搜索平台的性质决定 了可以在这个过程中记录下旅游者的信息以获取行为数据 大数据 成为智慧旅游发展中至关重要的工具 依靠大数据提供的资源 智 慧旅游能得以 智慧 发展 旅游业的大数据革命表现为 开始拥 抱网格集群系统 高速分析以及开源平台 这也是为什么各地旅游 主管部门纷纷加强旅游大数据分析的重要原因 2 项目需求分析 2 1XX 智慧旅游管理需要一个强有力的大数据支撑系统 XX 拥有中国最佳旅游城市 美食之都 世界优秀旅游目的地 网络成员 中国最佳休闲城市等殊荣 旅游产业在近年实现了高速 发展 并奠定了其在西部 全国乃至世界令人瞩目的地位 XX 作 为国际旅游目的地的魅力正在日益凸显 XX 市率先开展 智慧旅 游 创建工作 2012 年被国家旅游局确定为全国 18 个智慧旅游 试点城市之一 成为西部唯一入选的城市 2014 年全国旅游主题 13 年确定为 中国智慧旅游年 主题口号为 美丽中国 智慧旅游 智慧旅游 让生活更精彩 新科技 旅游新体验 据不完全统计 目前 XX 市已有国家 A 级旅游景区 63 家 星级 饭店 140 家 社会旅馆 5300 余家 旅行社 364 家 星级农家乐 187 家 星级乡村酒店 107 家 旅游产业规模不断壮大 质量有效 提升 内涵更趋丰富 全面促进了 XX 旅游业的健康良性发展 也 吸引了众多国内外游客前来旅游度假 2014 年 全市共接待国内 外游客 1 862 亿人次 同比增长 20 05 其中入境游 197 万人次 同比增长 11 66 实现旅游总收入 1665 亿元 同比增长 25 13 以 2014 年上半年的数据为例 星级酒店 2014 年上半年 纳入统计的 118 家星级宾馆接待 累计接待游客 189 81 万人次 同比下降 12 14 其中接待国内过 夜游客 183 23 万人次 同比下降 11 58 接待入境过夜游客 6 58 万人次 同比下降 25 41 平均客房出租率为 51 93 同比下降 3 15 平均房价为 449 87 元 同比下降 0 18 累计实现营业总 收入 17 66 亿元 同比下降 7 3 A 级景区 2014 年上半年纳入统计的 55 个 A 级景区 累计接 待 5793 48 万人次 同比增加 14 33 累计营业收入达到 46 87 亿元 同比增加 17 95 其中门票收益达到 5 5 亿元 同比增加 17 95 14 2014 年上半年纳入统计的 55 个 A 级景区中 4A 级景区接待游客 3697 87 万人次 同比增加 4 5 其次 3A 级景区接待游客 933 24 万人次 同比增加 84 旅行社 2014 年上半年全市纳入统计的 142 家旅行社 累计 接待国内游客 136 4 万人次 同比减少 12 15 接待入境游客 18 65 万人次 同比减少 6 25 组织出境游客 45 14 万人次 同 比增加 44 06 累计营业收入 25 6 亿元 同比 27 9 上述数据表明 近几年来 XX 旅游业发展健康发展 游客数 据呈现大幅增长比例 因此加强对 XX 游客数据的统计分析 为游 客提供更好的服务 更好的为 XX 旅游决策提供有效支撑 这是当 前旅游行业主管部门首要考虑的问题 2 2XX 智慧旅游建设必须建立游客数据分析系统 2015 年 1 月 13 日 国家旅游局下发了 关于促进智慧旅游发 展的指导意见 意见指出 我国将鼓励博物馆 科技馆 旅游景 区运用智慧旅游手段 建立门票预约制度 景区拥挤程度预测机制 和旅游舒适度的评价机制 建立游客实时评价的旅游景区动态评价 机制 中国有句老话 叫 凡事预则立 对旅游景点等人流密集场 所科学监控 理性应对 是实现科学管理的必由之路 也是做好应 急预案的题中之义 于此而言 门票预约 拥挤预测等机制 就像 15 消防安全一样 利好虽然看似务虚 兜底意义却很务实 这几年 有关黄金周堵成 黄金粥 的段子 在微信朋友圈早 就审美疲劳了 华山万人滞留 泰山爆满 庐山堵成停车场 鼓浪 屿几乎被 踩沉 大规模的旅客滞留和一点即着的拥堵隐患 翻片似地频繁上演 据统计 去年 10 月 2 日 故宫实际接待人数 为 14 4 万人 而故宫的最大承载量仅为 8 万人 当天景区超载了 6 4 万人 10 月 3 日 厦门鼓浪屿实际接待人数为 7 9 万人 而鼓 浪屿最大承载量为 5 万人 超载约 2 9 万人 游客的旅游体验倒也 罢了 关键是这种状态 已成为风险社会的心头大患 2015 年 1 月 5 日 国家旅游局下发了 景区最大承载量核定导 则 要求对景区进行流量监控 并给出了明确的测算方法和测算 公式 要求不同景区根据景区的类别和特殊性收集相关数据得出承 载标准 其实 2013 年 10 月 1 日起施行的 旅游法 中 早已明 确规定 景区应当公布景区主管部门核定的最大承载量 制定和实 施旅游者流量控制方案 并可以采取门票预约等方式 对景区接待 旅游者的数量进行控制 事实上 北京也在 2013 年十一黄金周前 首次向社会公布了各大重点景区的最大承载量 不过 如何确定承 载量并有效控制景区客流 在不少地方显然还是个束之高阁的议题 个中利害关系倒也不复杂 人流控制了 收入也就控制了 何况拥 堵终究是 小概率 尽管墨菲定律利剑高悬 但架不住侥幸心理 结果呢 法律与现实成了两层皮 井喷 爆棚 总是与热门景 16 区黏在一起 要解决这个问题 以智慧旅游为载体 利用大数据思维 破解 旅游管理中的粗放之弊 不仅迫在眉睫 亦是大势所趋 一方面 不久前 一项针对中国大陆用户的年度调研显示 46 5 的用户在 过去一年用移动终端预订过旅游产品 76 的用户表示 2015 年会考 虑或者继续使用移动端预订 而不打算用移动端预订的用户比例仅 占 11 6 移动终端 智能手段 不仅方便了游客出行 也为职能 部门管控人流与服务提供了技术可能 另一方面 大数据时代 公 共管理需要有 大思维 它山之石可以攻玉 以美国纽约的消防 安管为例 该市约有 100 万栋建筑物 每年有差不多 3000 栋会因 火灾损毁 由于城市状况复杂 消防人员往往难以第一时间赶赴现 场 预防火灾成了减少损失的重中之重 为此 纽约市消防部门依 据数据收集划分出了 60 个可能会产生火险的因素 借助相关算法 纽约市消防部门给建筑物都标注了风险指数 并据此确定消防检查 的优先级和重点 那么 如果我们的博物馆 科技馆 旅游景区 也能从详实有效的大数据中找到公共治理的科学模型 并据此建构 符合实际情况的管理思路 恐怕比事后 高度重视 更有性价比 对于各地旅游管理部门来说 在旅游数据的统计上存在的主要 问题表现在 有多少游客到达本地 游客在本地都去了哪些景点 游客在本地停留多久 在每个景点会停留多久 如何区分本地游客 和外地游客 游客数量变化是怎么样的 同比如何 环比如何 游 17 客都来自什么地方 定点投放广告是否有效 国家 省份 地市 景区实时游客流量是多少 超过景区接待能力是否能预警 这些数 据如何获取 如何进行有效的分析 从而提供有效的参考 智慧旅游的发展离不开大数据 依靠大数据提供足够有利的 资源 智慧旅游才能得以 智慧 发展 借助大数据的分析和挖掘 对游客时代有效推动智慧旅游精准营销 提高旅游公共服务满意度 和增强旅游企业智能体系建设具有重要意义 本项目的提出 采用 云数据 物联网等技术手段 为旅游活动各参与者提供服务 为散 客出行创造更加便利条件的同时 对 XX 市旅游大数据进行挖掘分 析 为决策者带来一系列数据分析支撑 主要体现在以下三个方面 第一 通过与携程等大型旅游在线服务商合作 采集大量外 部数据并进行数据分析挖掘 实现 XX 旅游目的地的精准营销 第二 形成以来 X 游客为核心的旅游行业数据库 并根据实 际情况建立分析模型进行分析推演 能有效指导 XX 市及各景区的 游客预警 分流及公共服务体系建设 第三 逐步通过对大量数据的分析和挖掘 指导和管理 XX 旅 游企业工作 如酒店更加精准地根据散客特征和偏好推荐有吸引力 的旅游产品和服务 旅游景区更好地进行客流疏导和调控 旅行社 18 更方便地整合信息资源而开发出更有针对性和个性化的旅游产品等 因此 来 X 游客大数据决策辅助平台项目的建设 其自身对于 XX 旅游行业发展 行业管理 有效决策起着非常重要的关键作用 2 3 项目具体需求描述 XX 市旅游局关于移动 联通 电信来 X 游客大数据决策辅助 平台项目 根据采购方的需求 结合当前旅游行业基于游客大数据 分析的应用 在本项目的建设上 应主要基于移动 联通 电信三 大运营商公众基础数据的应用分析 搭建外省来 X 游客大数据决策 辅助平台 实现对外地来 X 游客来源归属地 滞留时间 客流量预 估等信息的采集与分析计算 为流量控制 游客分流 景区交通疏 导 景区安全管理提供数据依据 同时提供信息服务 游客投诉及 建议收集等短 彩信服务手段 可为改善 XX 市旅游业的接待能力 制定各旅游行业经营策略等旅游行业管理工作提供科学的信息化决 策辅助大数据平台 外省来 X 游客旅游信息化决策辅助大数据平台实现的主要功能 外省来 X 游客滞留时间统计分析 外省来 X 游客归属来源地统计分 析 外省来 X 游客客流量预估模型 热点区域热度预警 3A 级以 19 上景区 项目系统特点主要体现为 GSM 全协议栈解码能力 支持现网 的全系列设备厂家 海量数据处理 内存数据库 多线程调度 分 布式计算 实时业务和非实时数据的分离 高效体系架构 全业务 应用理解能力 高度商业化产品 XX 市旅游局关于移动 联通 电信来 X 游客大数据决策辅助 平台针对游客客源特征 将建设一套统一的行业应用平台 平台将 周期性地从信令监控系统中获取信令数据并进行预处理 利用移动 联通 电信通信基站与景区空间场所对应关系 建立移动 联通 电信信息与实体世界关联 在此基础上 通过智能建模从统计上精 确的把握用户与旅游资源的时空关联 进一步进行各种方式的信息 整合和发布 3 项目工作计划与措施 本项目计划采用标准而规范化的软件开发流程进行管理 以保 障本项目的顺利实施 分为以下几个步骤 3 1 项目工作计划 3 1 1 需求调研分析 1 相关系统分析员向用户初步了解需求 列出要开发的 XX 20 市旅游局关于移动 联通 电信来 X 游客大数据决策辅助平台的大 功能模块 每个大功能模块有哪些小功能模块 对于有些需求比较 明确相关的界面时 在这一步里面可以初步定义好少量的界面 2 系统分析员深入了解和分析需求 清楚列出系统大致的大 功能模块 大功能模块有哪些小功能模块 并且还列出相关的界面 和界面功能 3 系统分析员向用户再次确认需求 3 1 2 概要设计 概要设计需要对 XX 市旅游局关于移动 联通 电信来 X 游客 大数据决策辅助平台的设计进行考虑 包括系统的基本处理流程 系统的组织结构 模块划分 功能分配 接口设计 运行设计 数 据结构设计和出错处理设计等 为软件的详细设计提供基础 3 1 3 详细设计 在概要设计的基础上 描述实 现具体模块所涉及到的主要算 法 数据结构 类的层次结构及调用关系 需要说明软件系统各个 层次中的每一个程序 每个模块或子程序 的设计考虑 以便进行编 码和测试 21 3 1 4 编码 开发者根据 XX 市旅游局关于移动 联通 电信来 X 游客大数 据决策辅助平台中对数据结构 算法分析和模块实现等方面的设计 要求 开始具体的编写程序工作 分别实现各模块的功能 从而实 现对目标系统的功能 性能 接口 界面等方面的要求 3 1 5 测试 包括编写测试用例和测试实施 测试用例要求覆盖系统的全部 业务分支和实现逻辑分支 要求保存测试结果从而形成测试结果文 档 3 1 6 软件交付准备 在软件测试证明软件达到要求后 向用户提交开发的目标安装 程序 数据库的数据字典 用户安装手册 用户使用指南 需 求报告 设计报告 测试报告等双方合同约定的产物 3 1 7 验收 用户对最终开发出的产品和相关文档进行验收 项目的总体阶段划分和计划如下 里程碑 名称 计划时间 22 里程碑 1 项目启动 10 日 里程碑 2 需求分析 20 日 里程碑 3 概要设计 15 日 里程碑 4 详细设计 30 日 里程碑 5 编码 50 日 里程碑 6 单体测试 20 日 里程碑 7 结合测试 15 日 里程碑 8 系统测试 15 日 里程碑 9 交付 签约 6 个月后交付 3 2 项目保障措施 为了保证项目的最终品质和开发进度 启动优势将成立专门的 运营团队负责此项目的开发 建设 运营 运营团队包括技术 数 据分析员 商务 客服等岗位 运营团队人员具有丰富的行业工作 经验 技术 数据分析员 商务 客服均是一直服务于旅游移动互 联网领域的专业人士 从项目开发的具体操作上 运营团队将主要采取以下工作措施 对各个阶段的成果 代码 文档 进行内部评审 评审合格才 能进行下阶段任务 对评审不合格的 及时返工 如果需要调整进 度安排和资源 23 对项目总体进行模块分割 把项目总体分割成独立的大模块 保证各个模块最小相关 对每个每个模块进行计划开发 对于开发 过程中有问题的模块 重新调整资源 从而保证进度和品质 本项目实施以下管理方法 管理种类 担当 内容和职责 管理文书 进度管理 LD PM 各种作业计划制定 执行的指示 根据计划进行进度管理 发生延迟 以实施适当对策 对项目成员进行 负荷调整 1 全体开发计划 2 组级的详细开发计划 3 程序模块级的进度和品质管理表 4 会议记录 5 作业周报 6 课题管理表 品质管理 LD PM 品质管 理员 对全工程品质进行管理 保证提交 品质 对项目的各个过程 进度管 理实施 记录 评审的实施 记录 测试的实施 记录 交付的确认等 的实施付品质责任 1 开发规则 2 各种检查核对表 3 评审记录票 4 QA 表 要员管理 LD PM 为了提高项目组成员的技能 维持 项目组成员的积极性进行实地的控 制 1 开发人员管理表 2 开发人员技能一览表 3 个人的业务履历书 4 个人评价表 5 开发体制图 6 人员投入计划书 沟通管理 LD PM 通过电话 电视会议 电子邮件 会议等沟通手段迅速的进行意思的 传达从而解决问题 会议的制度化 顾客 关联其他部 门 上司 组内 会议的即时化 必要时随时举行会 议 1 会议记录 2 联络表 课题管理 LD PM 整理课题 进行有效的解决 课题管理表 24 变更管理 LD PM 设计担 当 按照正确的次序 方法 对文档和 程序进行变更 1 式样变更表 2 版本管理记录 故障管理 LD PM 品质管 理员 构筑故障管理系统 在开发和维护 期间发生的故障 式样变更等要求 进行统一管理 故障发生时 变更 点发生时将其内容登录进管理系统 在将此问题对应完成之前 一直进 行跟踪情报的记录 能够在此系统 内进行检索和分析 可以再项目组 内进行情报共有 从而进行有力的 开发管理 1 故障管理表 2 故障对应流程 安全管理 LD PM 对项目内使用的机密信息 个人信息等进行确认 管理 1 社内安全规章 2 入出室管理规定 3 资料管理规定 危机管理 LD PM 事前分析 做成风险一览 检讨风险的对应方法 对其实施过 程进行监视 检讨防止再次发生的对策 对其情 报进行共有 1 故障对应联络体制 2 病毒防治对应方法 构成管理 LD PM 系统环 境文档 管理员 为代码和设计书做成共通的目录进 行保存 同时使用管理工具对版本 进行管理 在项目组内设置系统环 境文档管理员 使用 VSS 或 CVS 工具管理 案件管理目录设定 项目开发建设后 运营团队将配合 XX 市旅游局开展为期三年的数据分 析服务 25 第二章 平台建设方案 1 建设原理 本平台是通过分析移动 联通 电信通讯过程中的各种信令过 程 获得用户当前的位置信息 当用户的位置信息与业务选择发送 的特定区域一致时 统计该用户是否为旅游游客 为获得准确 全 面的用户信息 当前位置信息和用户手机号 需要监控业务特定 区域所属的 MSC VLR 到周边的所有信令链路 即下面的拓扑图中双 向箭头所对应的物理链路 本项目使用的信令数据由信令监测系 统定时提供 移动 联通 电信通信网络部分拓扑图如下所示 26 BSC B TS B SC MSC VLR HLR 其它 MSC VLR LSTP BTS 基站 BSC 基站控制器 MSC VLR 移动业务交换中心 访问位置寄存器 HLR 用户归属位置寄存器 LSTP 低级信令转接点 移动通信网络 部分拓扑图 利用信令带有的时间 地点 业务类型等信息 通过分析用户 海量信令数据 建立用户属性模型 用户业务模型 活动区域模型 且具有实时分析 信令回溯等功能 通过分析信令数据支撑景区客 情信息化分析应用 运营商手机用户网络的信令数据 提取其中的 BSSAP 协议相关数据 利用 CallTrace 技术做客户信令流程跟踪 提供出联通手机用户与网络的交互过程 位置更新 呼叫过程等业 务信息 以及用户使用网络的位置信息等客户行为 利用这些信息 实现外省来 X 游客信息化智能分析功能 为旅游局提供决策辅助功 27 能 项目系统特点 GSM 全协议栈解码能力 支持现网的全系列设 备厂家 海量数据处理 内存数据库 多线程调度 分布式计算 实时业务和非实时数据的分离 高效体系架构 全业务应用理解能 力 高度商业化产品 2 平台总体架构 2 1 网络组织架构 通过采集设备采集 Mc 口以及 L 局链路的信令数据 构建 SDR 信令数据平台 部署应用服务器 含数据库服务器 解析服务器 后台处理服务器以及 WebServer 应用服务器等 和防火墙构建基础 数据应用平台 MC 接口和 L 局的信令数据从采集设备获取后 通过实时的 Socket 数据包传送到解析服务器上 由解析服务器完成信令数据 的解码和 Call Trace 处理后 每分钟将相应的数据传递到后台处 28 理服务器上面 再由后台处理服务器进行业务逻辑计算和处理 将 各个分析结果存放到相应的结果表中 Web Server 在使用过程中 接到相应的查询指令就会根据界 面输入的条件到相应的结果表中查询相应的数据 进行展示 并根 据需要可以进行相关统计数据的下载和保存 2 2 系统架构 目前 移动 联通 电信集团针对信令采集 数据共享 业务 应用制定了相关系统架构和系统规范 其系统架构采用三层架构 即信令采集层 信令共享层和业务应用层 系统总体架构如下所示 29 图 1 信令采集平台系统总体架构 从上图可以看出 系统分为数据接入层 数据共享层 数据应 用层的三层结构设计 应用层的 Web Server 放置到公网网段 通过 internet 直接可以登陆 TIS 系统并访问相关的统计分析结果 2 3 平台总体架构 30 系统架构图 来 X 游客大数据决策辅助应用平台采用信令数据采集接入 数 据分析整合 页面展示三层架构的方式实现 信令数据采集接入层主要获取信令数据 并对数据进行预处理 本层与信令监测平台接口 数据处理层采用专用数据统计算法和数据发掘分析技术 根据 实时采集到的信令接口数据 及定期更新的基站 小区 场所及号 码段数据 综合分析各个视角的数据 包括统计区域实时流量数据 流量总量数据 流量密度数据 流量驻留数据 景点流量告警等 页面展现层具备将各种统计分析结果进行图表化 图形化的展 示 并可以多种格式导出 同时通过界面建立同接触渠道的接口 31 包括短彩信 12580 接口 可以通过接口推送给商家及用户相关的 实时信息 2 3 1 数据后台分析能力 利用网络侧数据 通过综合分析能力手段 结合相关位置的 CGI 数据 及景区场所数据及时间段等丰富特征 综合分析各景区 旅游游客及游客的轨迹特征 分析白名单游客列表 所谓白名单即 景区周边的工作人员 住户等经常出现人群 这部分白名单用户统 计时间越久越准确 这部分为非游客用户 进而分析游客的来源 构成情况等综合特征 系统通过实时反馈景区的游客流量信息 改 变景区只有事后统计门票数量等情况的能力 2 3 2 Web 前端能力 在数据分析能力基础上 为系统展示和应用开发相应的 Web 前 台 将此 Web 前台放置到公网环境 旅游局相关工作人员可以通过 Internet 直接 IE 访问本系统 进行系统相关分析数据的查看和下 载 功能体现 景区 用户数 实时及跨日期方式分别查看景区的实时在 园游客数及入园游客总数及全网总游客推算数据 归属省 用户数 实时及跨日期方式分别查看景区的实时 32 入园游客归属省 实时在园游客归属省 全网归属省总游客推算数 据数 归属省游客占比数 归属省 地市 用户数 实时及跨日期方式分别查看景区的 实时入园游客归属省 实时在园游客归属省 全网归属省总游客推 算数据数 归属省游客占比数 景区人数预报 通过景区流量预判模型分析景区未来 3 天 的游客数量 旅游景区热度排名 实现 按省总人数排名 按省 地 市总人数排名 两个功能 展示 TOP10 省及地市的排名情况 景区流量上限告警 实现 总用户实时估算值告警 流 量实时统计告警 两个功能 分别实现景区入园用户总数告警及当 前在园游客数告警能力 旅游景区游客密度分析 实现 景点用户人数 展示能力 展示各个景区当前重要景点的游客数情况 景点可以根据需要进行 调整 数据查看 包括省信息查看 市信息查看 号码归属地 景区信息查看及景点信息查看功能 将主要的相关配置信息进行系 统展示 33 安全管理 包括 用户管理 角色管理 及 权限管理 功能 控制和管理系统的权限 2 3 2 辅助能力 包括系统导出 系统打印等功能支持 2 4 平台操作界面 2 4 1 登陆界面 2 4 2 功能模块界面 34 2 4 3 系统设置 35 3 平台技术架构 总体技术架构设计定义了来 X 游客大数据决策辅助的整体技术 单元构成 及各个技术单元之间的关系 总体技术架构如下图所示 技术架构图 3 1 业务应用服务组件 业务应用服务组件由负责具体业务的业务组件完成 业务组件 36 相对独立 组件间通过标准接口进行通信 以实现组件间的业务协 作 从而降低了业务组件间的耦合度 某些服务共用同样的业务逻 辑 可将公用组件抽取出来 为各业务逻辑提供服务 保证组件的 重用性 业务应用服务组件包括门户应用类服务组件 在建以及新建系 统提供的业务应用类服务组件 业务应用类服务组件有应用系统开 发商根据服务要求提供 3 2 应用支撑组件 应用支撑服务组件以统一的支撑环境 规范软件接口标准 显 著提高平台的可重用性和各系统间的互连互通性 3 3 统计分析服务 统计分析服务提供报表定制的功能 是用户能够灵活设定报表 的格式和各种填报指标 3 4 ETL 服务 ETL 是数据抽取 清洗 转换 装载的过程 同时提供数据质 量的管理 数据转换与清洗 调度监控 并且贯穿整个数据中心解 决方案的全过程 ETL 是构建数据中心的关键环节 按照统一的规 则集成并提高数据的价值 是负责完成数据从数据源向目标数据中 37 心转化的过程 3 5 展现服务 实现用户使用的操作界面 它使用共享的数据和业务服务实现 与后端企业资源的交互 将业务人员与共享服务连接在一起 并提 供统一的 个性化 多渠道的访问入口 3 6 全服务生命周期管理 所有服务被纳入到了全生命周期开发与管理服务和统一安全支 撑服务的管理范围内 以保证一致性的平台管理 4 平台拓扑结构 38 平台网络拓扑 来 X 游客大数据决策辅助平台的所有服务器都将部署在移动 联通 电信公司网络内部 同时给企业用户提供公网的访问方式 结合移动 联通 电信集团对网络安全性的要求 本平台的服务器 将分部署在移动 联通 电信 IDC 机房 部署在移动 联通 电信 IDC 机房的服务器通过防火墙与移动 联通 电信核心机房的信令 监测系统的 FTP 服务器进行信令数据的接收 这种部署既保证了移 动 联通 电信网络的安全 同时也为系统的用户和其他企业用户 访问本平台提供了便利的方式 5 平台关键流程 5 1 平台业务主流程 由信令监测平台将信令数据放到指定目录并开通 FTP 服务器 来 X 游客大数据决策辅助应用平台通过 FTP 方式登录并下载接口数 据文件 然后来 X 游客大数据决策辅助应用平台进行实时的统计分 析各景区游客的相关信息数据 信令数据包括语音通话信令 SMS MO 和 MT 通信信令以及 Location Update 数据 包括正常位置更新和周期位置更新信令 内容 然后通过 数据采集模块 进行采集 采集后经过 文件加 载模块 到数据库 之后通过 数据清洗模块 过程 去除错误及 39 需要翻译的数据内容 以及进行数据精简 之后经过两个路径 第 一 提供给白名单分析流程 作为景区白名单分析数据 第二 提 供给数据分析进程 过白名单过滤过程 然后进行景区范围数据过 滤 生成用户的轨迹特征表 再根据轨迹特征向前比对分析处理模 式 根据分析思路的模型算法 分析出真正的游客列表 之后跟游 客列表及识别时间分别汇总在园游客数及入园游客数列表 之后根 据游客列表进行其归属地分析以及根据总数估算算法运算全网游客 总数 5 2 信令分析处理流程 信令分析处理流程图 流程如下 40 1 由信令监测平台将信令数据放到指定目录并开通 FTP 服务 器 2 来 X 游客大数据决策辅助平台通过 FTP 方式登录并下载信 令数据文件 3 对信令数据进行去除错误 翻译转义和数据精简等操作 最后将数据加载到数据库 日 期 2012 5 12 市 6 00 8 00 8 00 10 00 18 00 20 00 20 00 22 00 合 计 估算总人数 武 汉 41 4 对数据库中当前时间片的信令数据进行统计分析 包括正 常位置更新和周期位置更新信令 各区域人员的相关信息数据 5 提供给白名单分析流程 作为各区域白名单分析数据 6 然后进行区域范围数据过滤 生成用户的行为特征表 第三章 大数据解决方案 1 数据来源 1 1 网络端数据 1 1 1 三大运营商方面信令数据以及号码段分布数据等 利用信令带有的时间 地点 业务类型等信息 通过分析用户 海量信令数据 建立用户属性模型 用户业务模型 活动区域模型 且具有实时分析 信令回溯等功能 通过分析信令数据支撑景区客 情信息化分析应用 运营商手机用户网络的信令数据 提取其中的 BSSAP 协议相关数据 利用 CallTrace 技术做客户信令流程跟踪 提供出联通手机用户与网络的交互过程 位置更新 呼叫过程等业 务信息 以及用户使用网络的位置信息等客户行为 利用这些信息 实现外省来 X 游客信息化智能分析功能 为旅游局提供决策辅助功 42 能 即通过此部分数据转化 分析后提取出有关外来游客的位置信 息 来源地域信息等 数据处理层采用专用数据统计算法和数据发 掘分析技术 根据实时采集到的信令接口数据 及定期更新的基站 小区 场所及号码段数据 综合分析各个视角的数据 包括统计区 域实时流量数据 流量总量数据 流量密度数据 流量驻留数据 景点流量告警等 1 1 2 互联网数据包括移动互联网方面数据 互联网方面的可用于旅游决策的数据目前主要来源于以下三类 网站 以下三类网站规模大 用户多而且集中 更重要的是使用这 三类网站的人一般多为 70 后 80 后以及 90 后 这类人是今后旅 游消费的主力军 现在是移动社交时代 70 后 80 后以及 90 后将会越来越多的 使用互联网站 那么通过网络收集他们的个人年龄 工作 偏好 消费习惯等信息 是建设好智慧旅游以及旅游大数据辅助决策平台 的重要工作组成部分 1 旅游大数据 一般可以涉及三方面 旅游者属性数据 游客来源结构 性别结构 年龄结构等属 43 性信息 旅游者行为数据 游客的意愿 抵达交通 停留 消费等旅 游行为信息 旅游者信息获取行为数据 游客在游前游中游后与外界的信 息交互数据 一般而言 虽然旅游者相当一部分的属性数据和行为数据可以 通过信息获取行为数据获得 但是对旅游者本身的信息获取行为数 据的研究还是处于非常初级的阶段 比如 我们可以了解网民搜索 泰山 关键词的总量 来源结构以及涉及 泰山 LBS 相关数据 但是对网民搜索 泰山 这个行为前后的搜索行为关联 预订 泰 山 相关旅游产品以前的整个获取信息行为链条 乃至和网民 LBS 数据的关联性等等 缺乏研究方法和路径 只是见诸于公开资料的 是 游客在游前要在百度或者谷歌上搜索旅游信息多少次等 如果 在加上游中信息获取行为 跨平台 跨社交媒体等整体信息获取行 为的研究 比如游客在百度搜索信息的同时 在微博和微信上的旅 游信息获取行为 2 社交类网站相关大数据 3 旅行相关类网站数据 44 1 2 现实统计数据 旅游局以及景区对历年跟游客有关的数据统计资料 这部分资 料对游客来源地 预估等信息分析有重要的同比作用 这部分数据 在平台建成之后 历史相关数据资料将会全部输入到数据库中 一 方面有助于查询 另一方面作为今后大数据分析的基础 2 研究方案 2 1 方案思路 利用信令带有的时间 地点 业务类型等信息 通过分析用户 海量信令数据 建立用户属性模型 用户业务模型 活动区域模型 且具有实时分析 信令回溯等功能 通过分析信令数据支撑景区客 情信息化分析应用 运营商手机用户网络的信令数据 提取其中的 BSSAP 协议相关数据 利用 CallTrace 技术做客户信令流程跟踪 提供出联通手机用户与网络的交互过程 位置更新 呼叫过程等业 务信息 以及用户使用网络的位置信息等客户行为 利用这些信息 实现外省来 X 游客信息化智能分析功能 为旅游局提供决策辅助功 能 项目系统特点 GSM 全协议栈解码能力 支持现网的全系列设 备厂家 海量数据处理 内存数据库 多线程调度 分布式计算 实时业务和非实时数据的分离 高效体系架构 全业务应用理解能 力 高度商业化产品 45 移动 联通 电信运营商侧拥有丰富的网络信令数据 用户在 每一个业务应用和操作时 包括语音通话 收发短信等业务时 都 会在网络侧记录用户相关的基站位置信息 除此之外还有用户的主 动位置更新 更新 LAI 和定期的位置更新 一般为 2 小时以内 也会记录用户的位置信息 通过这些信令数据上下文 我们可以通 过基站描点勾勒出用户的活动轨迹 在利用运营商在旅游景区的基 站信息同景区进行有效的结合 可以实时分析各景区的移动 联通 电信本网当前用户人数及本