大数据业务介绍

RTB试点项目DMP业务与项目汇报2014年1月中国电信大数据运营中国电信大数据运营1中国电信在作为国内三大运营商之一，通过电信全业务经营、多产品融合的中国电信在作为国内三大运营商之一，通过电信全业务经营、多产品融合的服务能力和渠道体系的运营，积累了各类丰富的大数据资源：服务能力和渠道体系的运营，积累了各类丰富的大数据资源：客户数据话单数据信令数据帐务数据服务数据位置信息数据渠道数据宽带上网行为数据3G上网行为数据上网行为偏好标签数据Cookie数据搜索关键字数据终端数据邮件数据业务数据大数据资产中国电信大数据对内应用实践如何变现如何变现如何变现如何变现电信大数据资产大数据资源整合大数据资源整合大数据能力整合大数据能力整合一起构建共赢的一起构建共赢的大数据运营商业模式大数据运营商业模式数据共享服务共享能力共享中国电信合作方总体描述本次本次RTBRTB试点，主要为了整合电信丰富的大数据资源和能力、合作方分析挖掘能试点，主要为了整合电信丰富的大数据资源和能力、合作方分析挖掘能力，并通过电信力，并通过电信DMPDMP平台，实现对外提供高并发、低延时的标签类数据服务。平台，实现对外提供高并发、低延时的标签类数据服务。业务内容现状市场规模商业附加值商业风险汇聚电信数据资产、外部关联数据，经过汇聚电信数据资产、外部关联数据，经过脱敏、分析挖掘等加工处理后依按需有偿脱敏、分析挖掘等加工处理后依按需有偿与权限最小化原则向第三方提供数据接口与权限最小化原则向第三方提供数据接口调用服务；调用服务；如亿赞普、集奥、phorm等。小小小小大大数据能力开放平台的虚拟运营模式，第三数据能力开放平台的虚拟运营模式，第三方可以租用平台的空间、计算和数据资源，方可以租用平台的空间、计算和数据资源，开展进一步的数据分析和挖掘，实时应用，开展进一步的数据分析和挖掘，实时应用，满足自身业务需要或向其客户提供商业信满足自身业务需要或向其客户提供商业信息服务。息服务。如RTB-DMP、DSP等；大大中中中中对电信数据、关联外部数据进行收集、存对电信数据、关联外部数据进行收集、存储和加工，形成有价值的商业咨询报告，储和加工，形成有价值的商业咨询报告，向第三方提供，帮助实现业务创新、扩大向第三方提供，帮助实现业务创新、扩大销售以及改善业务。销售以及改善业务。上海已开始闵行区政府流动人口动态统计；与埃森哲合作互联网指数报告等中中大大小小综合数据出售、数据咨询、数据能力业务，综合数据出售、数据咨询、数据能力业务，整合电信自有渠道和外部社会渠道资源，整合电信自有渠道和外部社会渠道资源，与电信产品集成，提供的一体化的数据应与电信产品集成，提供的一体化的数据应用解决方案业务。用解决方案业务。如行业应用、互联网精确营销、callcenter精准外呼大大大大小小中国电信数据运营2电信数据运营pp从服务、行业、数据三个维度从服务、行业、数据三个维度进行能力组合和商业模式创新进行能力组合和商业模式创新pp随着业务发展，三个维度的内随着业务发展，三个维度的内容也在不断的改进和增加。容也在不断的改进和增加。中国电信大数据运营商业模式1行业维度行业维度用户静态属性数据用户静态属性数据用户静态属性数据用户静态属性数据服务维度服务维度数据维度数据维度用户位置信息数据用户位置信息数据用户位置信息数据用户位置信息数据用户宽带上网行为数据用户宽带上网行为数据用户宽带上网行为数据用户宽带上网行为数据用户用户用户用户3G3G3G3G上网行为数据上网行为数据上网行为数据上网行为数据零售快消零售快消互联网互联网政府政府教育教育广告媒体广告媒体医疗卫生医疗卫生用户通话行为数据用户通话行为数据用户通话行为数据用户通话行为数据用户行为偏好标签用户行为偏好标签用户行为偏好标签用户行为偏好标签LBSLBS位置服务位置服务模型标签输出模型标签输出全局标识服务全局标识服务统计咨询报告统计咨询报告整合解决方案整合解决方案数据能力服务数据能力服务中国电信大数据运营商业模式2行业维度行业维度零售快消零售快消互联网互联网政府政府教育教育广告媒体广告媒体医疗卫生医疗卫生RTB-DMP广告业务数据维度数据维度用户静态属性数据用户静态属性数据用户静态属性数据用户静态属性数据用户位置信息数据用户位置信息数据用户位置信息数据用户位置信息数据用户宽带上网行为数据用户宽带上网行为数据用户宽带上网行为数据用户宽带上网行为数据用户通话行为数据用户通话行为数据用户通话行为数据用户通话行为数据用户行为偏好标签用户行为偏好标签用户行为偏好标签用户行为偏好标签用户用户用户用户3G3G3G3G上网行为数据上网行为数据上网行为数据上网行为数据服务维度服务维度LBSLBS位置服务位置服务模型标签输出模型标签输出全局标识服务全局标识服务统计咨询报告统计咨询报告整合解决方案整合解决方案数据能力服务数据能力服务中国电信大数据运营商业模式3行业维度行业维度数据维度数据维度零售快消零售快消互联网互联网政府政府教育教育广告媒体广告媒体医疗卫生医疗卫生上海闵行区政府流动人口监控项目用户静态属性数据用户静态属性数据用户静态属性数据用户静态属性数据用户位置信息数据用户位置信息数据用户位置信息数据用户位置信息数据用户宽带上网行为数据用户宽带上网行为数据用户宽带上网行为数据用户宽带上网行为数据用户用户用户用户3G3G3G3G上网行为数据上网行为数据上网行为数据上网行为数据用户通话行为数据用户通话行为数据用户通话行为数据用户通话行为数据用户行为偏好标签用户行为偏好标签用户行为偏好标签用户行为偏好标签服务维度服务维度LBSLBS位置服务位置服务模型标签输出模型标签输出全局标识服务全局标识服务统计咨询报告统计咨询报告整合解决方案整合解决方案数据能力服务数据能力服务集团下文要求根据中国电信市场根据中国电信市场201386201386号文号文关于开展关于开展“大数据大数据RTBRTB广告业务广告业务”试点工作通知试点工作通知，为了验证大数据对外经营，为了验证大数据对外经营体系和体系和RTBRTB商业模式，集团决定在上海分公司、广东分公司、商业模式，集团决定在上海分公司、广东分公司、江苏分公司、号百公司联合开展大数据江苏分公司、号百公司联合开展大数据RTBRTB广告业务试点运广告业务试点运行工作。行工作。pp承担承担试点大数据部分工作。试点大数据部分工作。pp完成完成上海大数据平台上海大数据平台改造，集团改造，集团统一统一DMPDMP平台平台建设和运营建设和运营pp负责负责DMPDMP平台对外经营，为广告媒体运营提供高并发、快速响应平台对外经营，为广告媒体运营提供高并发、快速响应的数据服务能力的数据服务能力。1 1 1 1上海分公司职责上海分公司职责pp要求与要求与20142014年年4 4月月1 1日日前完成所有平台建设，实现与合作伙伴系统前完成所有平台建设，实现与合作伙伴系统对接，初步具备大数据对接，初步具备大数据RTBRTB广告业务运营能力。广告业务运营能力。2 2 2 2项目进度要求项目进度要求合作域的建立pp在本次试点中，在本次试点中，电信电信将与外部合作方在大数据运营领域进行合作将与外部合作方在大数据运营领域进行合作，在数据侧、平在数据侧、平台侧、台侧、DMPDMP侧、对外服务侧，侧、对外服务侧，构建构建垂直多层次的垂直多层次的合作合作域域。pp合作合作域包括对外服务、数据处理、数据交互等多个方面。域包括对外服务、数据处理、数据交互等多个方面。平台架构图商业模式1的实现面向合作伙伴的数据加工支持根据根据合作方使用的脱敏数据内容（字段级）和数量进行合作方使用的脱敏数据内容（字段级）和数量进行收费。收费。根据根据合作方算法模型使用的电信大数据平台资源数量收合作方算法模型使用的电信大数据平台资源数量收费（存储、费（存储、CPUslotCPUslot数量和使用时间）。数量和使用时间）。商业模式商业模式1 1：面向合作伙伴的数据加工支持：面向合作伙伴的数据加工支持ppp合作方式主要为：电信向合作方有偿提供电信脱敏数据资源的使合作方式主要为：电信向合作方有偿提供电信脱敏数据资源的使合作方式主要为：电信向合作方有偿提供电信脱敏数据资源的使用，由合作方提交算法和模型，经电信安全测试后，部署于电信用，由合作方提交算法和模型，经电信安全测试后，部署于电信用，由合作方提交算法和模型，经电信安全测试后，部署于电信大数据平台进行分析、挖掘处理。分析结果统一上传电信大数据平台进行分析、挖掘处理。分析结果统一上传电信大数据平台进行分析、挖掘处理。分析结果统一上传电信DMPDMPDMP平台，通过平台，通过平台，通过K-VK-VK-V方式，对外提供实时标签数据查询服务方式，对外提供实时标签数据查询服务方式，对外提供实时标签数据查询服务。ppp电信电信电信按以下两方面向合作方收取按以下两方面向合作方收取按以下两方面向合作方收取费用费用费用商业模式2的实现面向外部客户的标签产品服务商业模式商业模式2 2：面向外部客户的标签产品服务：面向外部客户的标签产品服务ppp要基于要基于要基于DMPDMPDMP对外实时查询服务能力的实现对外实时查询服务能力的实现对外实时查询服务能力的实现：DMPDMPDMP实现对外提供实现对外提供实现对外提供 标签化数据的实时标签化数据的实时标签化数据的实时查询服务（查询服务（查询服务（Key-ValueKey-ValueKey-Value）ppp标签结果数据分为两类标签结果数据分为两类标签结果数据分为两类：离线离线离线标签结果数据电信：电信或第三方合作方算法模型在大数标签结果数据电信：电信或第三方合作方算法模型在大数标签结果数据电信：电信或第三方合作方算法模型在大数据平台分析处理脱敏离线数据后获取的离线标签结果。离线标签据平台分析处理脱敏离线数据后获取的离线标签结果。离线标签据平台分析处理脱敏离线数据后获取的离线标签结果。离线标签结果通常基于用户长时间的互联网行为习惯的积累。结果通常基于用户长时间的互联网行为习惯的积累。结果通常基于用户长时间的互联网行为习惯的积累。如如如：用户上网行为标签、偏好标签等：用户上网行为标签、偏好标签等：用户上网行为标签、偏好标签等。实时实时实时标签结果数据：电信或第三方合作方算法模型在大数据平标签结果数据：电信或第三方合作方算法模型在大数据平标签结果数据：电信或第三方合作方算法模型在大数据平台分析平台脱敏实时数据后获取的实时标签结果。实时标签结果台分析平台脱敏实时数据后获取的实时标签结果。实时标签结果台分析平台脱敏实时数据后获取的实时标签结果。实时标签结果通常基于用户较短时间（分钟级或小时级）互联网行为的标签化通常基于用户较短时间（分钟级或小时级）互联网行为的标签化通常基于用户较短时间（分钟级或小时级）互联网行为的标签化描述。描述。描述。如：用户较短时间内的搜索关键词标签、上网浏览行为标签等如：用户较短时间内的搜索关键词标签、上网浏览行为标签等如：用户较短时间内的搜索关键词标签、上网浏览行为标签等商业模式2的实现面向外部客户的标签产品服务商业模式商业模式2 2：2 2种查询服务方式种查询服务方式ppp方式方式方式1 11：标签结果数据查询（实时：标签结果数据查询（实时：标签结果数据查询（实时标签或离线标签或离线标签或离线标签的实时查询）标签的实时查询）标签的实时查询）输入输出输入内容输入方式输出内容输出方式合作域标识合作域标识+客户约定客户约定IDID实时实时 约定的离线标签结果输出（用户长时间累积行约定的离线标签结果输出（用户长时间累积行为偏好标签）为偏好标签）约定的实时标签结果输出（用户短时间实时行约定的实时标签结果输出（用户短时间实时行为标签）为标签）实时实时ppp方式方式方式2 22：用户标签匹配查询用户标签匹配查询用户标签匹配查询输入输出输入内容输入方式输出内容输出方式合作域标识合作域标识+标签集与标签标签集与标签值值实时实时 客户约定的合作域客户约定的合作域IDID列表列表准实时准实时DMP平台S层：形成多种业务形态，对外提供高速K-V查询服务DMP平台K层：建立多套标识体系关联映射，作为Key值主键整合电信及合作方的多套标签结果，建立基于电信用户标识的多维标签树提供开放的大数据平台能力，支持多方数据模型算法加载DMP平台通过Key-Value-Service三层对外提供标签数据实时查询服务DMPDMP平台整合大数据平台分析挖掘能力，通过平台整合大数据平台分析挖掘能力，通过Key/Value/ServiceKey/Value/Service三层架构，对三层架构，对外提供高并发、低延时的标签数据服务。外提供高并发、低延时的标签数据服务。商业模式2的实现DMP数据服务能力DMP服务能力特色建立多维标签结果树p合作方输入自己的ID标识p通过标签树的关联、映射，快速进行各类标识转换、共享各类标签结果。整合电信和第三方的各类用户ID标识和标签体系，建立以（AD+UA）为根的多维标签结果树。对外提供DMP服务。基于电信自有数据、电信平台获取的标签信息功能模块图DMPDMP平台新建平台新建大数据平台改造优化大数据平台改造优化硬件逻辑图功能新增数量业务管理2分发服务器2K-V数据库（flash卡）8数据整合18数据ETL2日志采集2数据交换接口2大数据平台46小计82硬件拓扑图平台性能目标1 1 1 1DMPDMP性能要求性能要求ppDMPDMP平台具备平台具备1010万并发、万并发、10ms10ms响应的高速数据查询匹配服务能力。响应的高速数据查询匹配服务能力。大数据平台性能要求大数据平台性能要求2 2 2 2pp大数据平台具备大数据平台具备1010个挖掘应用的并发处理个挖掘应用的并发处理能力。能力。pp按照按照每天每天35TB35TB的原始数据的原始数据,10,10个个DSPDSP模型的批量处理要求在模型的批量处理要求在5 5小时之小时之内完成。内完成。谢谢 谢谢 ！21