精准营销大数据分析平台建设方案课件

智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案精准营销大数据分析平台建设方案2019精准营销大数据分析平台建设方案20191智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案2全网触点潜在客户和会员客户价值转化潜在客户购买客户高价值客户原CRM售后销售核心业务系统数据企业网站电商APP自媒体第三方社会网站电商APP社会化人口产品行为数据其他渠道关注接触过产品门店客服活动互动提高客户再销售转化率提高高价值客户购买金额实时推荐营销活动营销促销营销广告其他服务会员关怀客户分析产品分析订单分析行为分析提高复购和转销售社会化全网触点客户库把潜在客户转化为购买客户把触点客户转化为潜在客户全网触点潜在客户和会员客户价值转化潜在客户购买客户高价值客智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案3系统产品功能模块第二大模块数据抽取聚合清洗整合建模第三大模块用户主数据画像第四大模块数据服务电商WEBAPP接触数据第三方电商WEBAPP、电信数据门店客服互动数据业务系统数据APP营销宝会员关怀标签查询营销活动线上线下精准推荐聚合全网用户接触数据清洗整合形成唯一标示提供给其他系统和部门调用对每一标签用户画像分类群组并挖掘发现其数据价值不同场景为客户提高服务提高购买转化率提高接触客户转化率标签标示画像服务360全景画像9个属性180个维度6300个触点分类分群分组9个门类27个群1800个组数据价值挖掘解析第一大模块全网数据采集系统产品功能模块第三大模块第四大模块电商WEB第三方电商WE智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案4 行为数据驱动的个性化推荐服务基于客群的推荐客户画像（客群）客户标签产品（订单、行为）标签历史购买推荐当某人发生行为时在线实时评分匹配产品（订单、行为）画像客户身份属性数据交易售后业务系统全网接触行为数据产品特征属性数据交易数据被行为数据基于产品群的推荐群广告推荐购买到期推荐相关搭配推荐客群相关推荐客户行为推荐客户属性推荐产品交易推荐产品特征推荐产品优惠推荐产品相关推荐产品搭配推荐客群相关推荐产品群相关推荐数据源画像行为数据驱动的个性化推荐服务基于客群的推荐客户画智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案5WEB、APP、电商、门店秒级实时推荐精准营销任何行为发生时RDBMSEDWwrite&readfine-grainDataOff-lineNear-line(reads)RDBMSDataMart/ModelRealTimeProcessGross-grainData社交媒体WEB数据移动位置APP数据视频机具数据客户CRM身份数据历史交易数据账单明细订单数据NOSQLKafkaOLTP在线评分模型Zementis实时预测模型PMML数据集市DataMart挖掘模型MiningModel行为模式模型 最佳产品模型营销指标模型秒级实时个性化推送交互执行实时分析评分规则预测模型历史数据挖掘分析探索分析知识库Batchprocess匹配身份+行为+产品WEB、APP、电商、门店秒级实时推荐精准营销任何行为发生智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案6全网触点客户和全渠道营销CRM订单已有客户门店咨询客户参加活动客户ADSL点击客户区域人口基础客户其他渠道来源客户网站APP注册客户网站APP点击客户软文评价微博客户自有电商网站APP注册客户网站APP点击客户软文评价客户第三方电商自己网站推荐D包包和D鞋自己APP微信推荐D包包和D鞋第三方网站推荐D包包和D鞋第三方APP推荐D包包和D鞋门店活动渠道推荐D包包和D鞋线上线下关联推荐D包包和D鞋直销员电话推荐D包包和D鞋D品牌37码红色中跟旅游鞋D品牌红色中号带拉链包包在线匹配兴趣偏好女性25岁每月8000元工资喜欢红色活泼开朗买A品牌鞋包包一年购买时机前周2次到专卖店咨询D鞋包上周3次在麦包包网站注册点击D包在APP关注评价过D服装姓名年龄性别手机家庭人口小区等级同学同事朋友收入历史购买产品注册询价放购物篮历史购买订单评论搜索点击跳转停留上那些网站关注点击商品上网习惯购买时机购买渠道咨询问题关注要点客户兴趣习惯偏好客户唯一编码统一视图全渠道营销推荐引擎视图标签画像推全网触点数据全网触点客户和全渠道营销智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案71.1.全网数据采集全网数据采集2.2.客户统一视图客户统一视图目录Contents3.3.客户客户360360度全景图像度全景图像4.4.推荐引擎推荐引擎5.5.大数据可视化分析与大数据可视化分析与APPAPP1.全网数据采集2.客户统一视图目录Cont智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案8Part1全网数据采集Part1全网数据采集智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案9采集全网触点数据聚合2011年购买一台A空调留下姓名手机2013年淘宝买了一台吹风机留下地址2012年维修留下了地址电话邮箱2013年月进入到集团官网注册留下手机邮箱2014年进入到某集团APP留下点击产品行为数据2014年9月在京东把某产品放入购物篮没有付款2015年6月在国美网站点评过某品牌冰箱范冰冰接触过某集团全网轨迹产品推荐导购需求预测全套产品组合最豪气的电冰箱世界上最静音的空调豆浆机送给自己最好的生日礼物范冰冰在集团标签画像集团给范冰冰的关怀与推荐服务关怀空调冰箱吹风豆浆机优美生活组合数采宝营销宝画像宝营销活动空调冰箱吹风豆浆机优美生活组合把匿名用户转化为实名用户把实名用户转化成购买客户提高客户场景购买转化率挖掘忠诚潜在流失客户价值提高产品再销售转销售金额数聚宝采集全网触点数据聚合2011年购买一台A空调留下姓名智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案10核心业务系统2024/7/5第一类业务系统数据的抽取销 售 数 据C R M数据产 品 数 据SqoopODSHIVE贴源层HQL/MR特征识别器精准特征识别(EMAIL.)模糊特征识别DWHIVE模型层DMHBASE客户身份集市层DMHBASE客户行为集市层DMHBASE产品集市层DMHBASE其他集市层ML交易数据.数据清洗引擎排错去重合并数据属性不同，特征不同，清洗规则不同逐步建立地址基准库DMHBASE地址标准库其他系统.核心业务2023/8/13第一类业务系统数据的抽取销售智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案11第二类：自动抽取WEB数据，建立产品库样本分析人为干预形成规则及代码配置好:交给机器就OK啦!机器学习自动编码类似传统ETL过程可视化社会媒体、自媒体、博客、微博、电商、论坛等数据数据采集抽取第二类：自动抽取WE智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案12企业产品和行业产品内容数据采集包含消费者和产品数据的来源种类数据种类采集方式自有网站网站页面商品名称、特征描述、价格促销方式、促销价格销售数量、评价自动抓取行业网站网站页面商品名称、特征描述、价格促销方式、促销价格销售数量、评价自动抓取友商网站网站页面商品名称、特征描述、价格促销方式、促销价格销售数量、评价自动抓取京东天猫等第三方网站网站页面商品名称、特征描述、价格促销方式、促销价格销售数量、评价自动抓取企业产品和行业产品内容数据采集包含消费者和产品智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案13数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）进入网站流量来源渠道转化率来访时段试用设备广告有效性访问量分析浏览网站浏览路径页面跳出率停留时间页面关联访问页面页面点击习惯页面停留时间页面收藏注册会员个人信息联系方式家庭地址会员转化率顾客留存率顾客忠诚度下单购物购物历程购买转化率最有价值渠道重复购买率关联销售促销效果评估关闭网站访问深度访问时间潜在销售机会线上第三类自有电商WEB行为数据抓取自营电商平台数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案14包含消费者和产品数据的来源种类数据种类采集方式自有电商网站自有门户网站自有APP自媒体微信公众号博客微博论坛网页显示数据商品名称、价格、营销方式、评价等直接抓取身份数据注册姓名、邮箱、电话、手机、账号IP、行为数据Cookie数据进入网站打开页面数据点击选择商品鼠标点击停留时间放入购物篮支付离开网页交易数据购买商品名称、数量、价格、交易时间自有电商、WEB数据采集包含消费者和产品数据的来源种类数据种类采集方式自有电商网站网智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案15自营电商WEB端数据采集整合消费者在自营电商平台浏览结构化的业务数据业务数据库数据处理消费者统一视图库非结构化的业务数据页面埋点程序日志服务器在线流式处理行为特性库分布式消息队列自营电商WEB端数据采集整合消费者在自营电商平台浏智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案16第三类自有APP行为数据采集分析层APP请求(action/request)APP上报(event)渠道(渠道API)服务器（运营日志）消息（Message）数据总线（DataBus）数据采集总线网站(Session)总线层业务系统（用户/消费）存储层分布式存储（HDFS）离线计算（Hadoop）（日常报表，规律趋势分析）即席查询（Mongodb）实时计算（Spark/MPP内存数据库）（用户、实时行为、访问量、及时广告）推荐引擎（广告精准营销）仓库层离线数据仓库实时数据仓库内存数据仓库应用层APP数据平台摇奖引擎广告系统同城会用户画像数据开放平台搜索引擎Redis采集层第三类自有APP行为数据采集分APP请求APP上报(智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案17自营APP端数据采集整合消费者在自营电商平台视图结构化的业务数据业务数据库数据处理消费者统一视图库APP端操作行为数据处理服务器端行为特性库HTTP请求智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案18数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）进入网站流量来源渠道转化率来访时段试用设备广告有效性访问量分析浏览网站浏览路径页面跳出率停留时间页面关联访问页面页面点击习惯页面停留时间页面收藏注册会员个人信息联系方式家庭地址会员转化率顾客留存率顾客忠诚度下单购物购物历程购买转化率最有价值渠道重复购买率关联销售促销效果评估关闭网站访问深度访问时间潜在销售机会线上第四类第三方电商WEB行为数据抓取自营电商平台第三方电商平台所产生的数据业务、行为数据数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案19第三方电商、WEB、APP、电信数据采集包含消费者和产品数据的来源种类数据种类采集方式第三方电商网站第三方门户网站APP广电机顶盒电信ADSL网页显示数据商品名称、价格、营销方式、评价等抓取取得身份数据注册姓名、邮箱、电话、手机、账号IP、直接购买结果数据、购买过程数据、合作埋点取得行为数据Cookie数据进入网站打开页面数据点击选择商品鼠标点击停留时间放入购物篮支付离开网页交易数据购买商品名称、数量、价格、交易时间第三方电商、WEB、APP、电信数据采集包含消费者智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案20协议在第三方电商机房远程埋点消费者在第三方电商平台所产生的点击、浏览等行为数据，由于第三方公司对数据的保护，现在无法单纯的从技术上实现，只能通过合作的方式，购买与集团消费者相关的行为信息协议在第三方电商机房远程埋点消费者在第三方电商平智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案21数据商数据商数据数据预计可贡献指标预计可贡献指标合作方式合作方式/金额金额Takingdata数据堂九次方iclick访问记录，其他品牌竞品的销售统计行为数据用户兴趣，产品定价合作或购买集奥GEO部分区域上网，查询记录用户兴趣合作或购买淘宝商家数据魔方行业分析用户兴趣合作或购买京东数据罗盘流量分析，行业（商品，购买，买家，搜索热词）用户兴趣900/季度国家统计局房地产开发和销售情况月度/季度区域潜在购买指数爬取搜房网房屋价格区域购买指数爬取京东用户特征，支付方式用户评级，支付手段合作或购买支付宝用户特征，支付方式用户评级，支付手段合作或购买移动电信傲天上网行为数据行为数据合作或购买协议购买第三方结果数据或过程数据数据商数据预计可贡献指标合作方式/金额Takingdata 访智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案22第五类、400或客服互动、营销活动数据的采集包含消费者和产品数据的来源种类数据种类采集方式400客服中心CallCenter投诉语音通话数据登记记录访问询问记录语音通话文本文件ExcelWordPDF科大讯飞语意分析分词分析营销活动语音通话数据登记记录活动填表访问询问记录语音通话文本文件ExcelWordPDF门店互动交谈咨询语音通话数据登记记录访问询问记录语音通话文本文件ExcelWordPDF第五类、400或客服互动、营销活动数据的采集包含消费者和智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案23第六类渠道门店推荐导购全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）线下各个业务系管理系统中所积累的结构化业务数据客户在门店、商场所产生的数据进入门店进店入口交通方式日期时间顾客活跃度逛来逛去逛店路线停留时间来店伙伴停留场所消费取向消费能力关联销售WiFi上网个人信息兴趣评估社交网络消费购物会员卡金额品类信用卡信息忠诚度顾客价值离开门店离店入口潜在销售机会线下说明：线下数据源包括业务系统的数据、基于室内定位采集到用户状态变化数据、基于人脸识别提供的相片数据第六类渠道门店推荐导购全渠道、立智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案24门店行为数据采集RFID读写器路由RFID天线监控控制Ibeaconibeacon高清被动面部数据摇一摇手机数据客户位置数据WIFI:注册身份数据、手机、行为数据商品拿起放下次数数据高清监控器可选试点门店行为数据采集RFI智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案25门店数据采集方式线下瞳孔数据采集瞳孔识别：注意力、兴奋度、情绪、决定、犹豫、轨迹。视频位置数据采集位置关系：位置与商品关系、可能意向、移动轨迹。WIFI数据采集点击行为：手机、点击网站、页面、鼠标停留、偏好倾向。Ibeacon摇一摇身份数据采集身份：姓名、手机、邮箱、其他、。Ibeacon位置数据采集位置：购买品牌型号、特征、数量、价格、层级、。面部数据采集面部识别：身份、来店周期、面部表情、面对商品情绪。DFID试用选择数据选择犹豫：拿起放下商品次数、试用操作、反复比较。门店数据采智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案26门店数据整合消费者在线下专属的各门店、商场专柜数据专属门店商场专柜消费者统一视图库行为特征库智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案27Part2客户统一视图Part2客户统一视图智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案28统一视图=客户数据聚合+清洗合并建模唯一标识+调用接口一、抽取业务系统、电商、WEB、APP、门店等客户（产品、订单、行为）数据加载到Hadoop二、数据聚合：1、跨系统打通各系统的数据，合并各系统的客户（产品、订单、行为）数据2、建立用户与用户、产品和产品、产品与用户之间的数据关系和流向 3、编制跨系统数据蓝图三、合并清洗建模：清洗合并规则建模、对每一个客户(产品、订单）形成唯一的一个识别编码1、用户基本属性清洗合并建模（姓名、地址、手机、固话、邮箱。）2、产品基本属性清洗合并建模（品名、指标、性能、功能、价格、评价。）3、订单基本属性清洗合并建模（订单产品、单价、总价、分类、结构。）4、行为基本属性清洗合并建模（点击、鼠标停留、注册、门店行为。）5、建唯一客户识别码和触点数据清单四、提供服务调用接口Webservers,提供客户识别编码和触点数据标签客户统一视图客户统一视图智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案29 会员系统数据Sqoop售后系统数据Kettle渠道系统数据财务CRM文字会话录音语音台聊天会话科大讯飞 数据存储 HDFS 批处理 MapReduceFlume其他核心业务系统数据Kafka电商WEBAPP电信行为数据门店行为数据进入网店页面注册登录点击选购搜索商品鼠标停留时间位置放入购物篮支付交易离开网店网页iBeacon定位摇一摇身份数据WIFI市内定位面部识别表情数据RFID商品移动识别数据POS等数据SparkStreamingStormSparkMLlib其他核心业务系统数据API、ETL销售物流物料数据抽取采集聚合Kafka系统结构化数据行为数据数据计算 Hive、HBase、Impala、Spark SQL SqoopKettle渠道系统数据财务CRM文字会话科大讯智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案30核心业务系统2024/7/5业务系统数据的抽取销 售 数 据C R M数据产 品 数 据SqoopODSHIVE贴源层HQL/MR特征识别器精准特征识别(EMAIL.)模糊特征识别DWHIVE模型层DMHBASE客户身份集市层DMHBASE客户行为集市层DMHBASE产品集市层DMHBASE其他集市层ML交易数据.数据清洗引擎排错去重合并数据属性不同，特征不同，清洗规则不同逐步建立地址基准库DMHBASE客户订单集市层其他系统.核心业务2023/8/13业务系统数据的抽取销售数据CRM数智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案31数据源统一数据采集平台KettleflumesocktFTP文件数据库流统一数据存储池支持包括文件、流以及DBMS各种类型数据源支持结构化和非结构化数据采集提供多种接口对接各种数据源打通所有系统、进行数据融合SqoopKafkaETL科大讯飞用户维度、产品维度、订单维度、行为维度数据源统一数据采集平台KettleflumesocktFT智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案32整合跨系统、建立数据蓝图DBDBFileFileWebWebService Stream StreamStreamETLigrationDBStoredProcedureDBSQLHadoopM/RScriptPhonixSQLSparkSQLSparkScalaScriptSparkMLlibSparkGrapicXSqoop实时流计算，库外计算批处理计算，库外计算批处理计算，库内计算库内 or 库外内存，在线分析快速检索离线分析SQL or 类 SQL 数据访问数据库与Hadoop数据迁移传统数据库MPPRDBMSHBASEHDFS整合跨系统、建立数据蓝图DBFileWe智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案33电商订单（天猫/京东）1、姓名2、手机3、电话4、省市5、地址未获取信息1、下单时间2.支付方式微信未获取信息1。账号2、Q龄3、交易次数4、实名认证5、快捷绑定6.注册时间7、交易额8、活跃度9、会员信息10、权益信息11.浏览器信息12.IP地址支付宝未获取信息1、是否学生2、支付宝评价3、实名类型4、交易类型5、资产水平6、消费档次7、交易评分京东未获取信息1、身份证2、手机3、用户商龄4、累积消费金额5、购买力6、有房/车7、子女8、消费活跃9.价格敏感度购买安装售后系统1、姓名2、手机3、省市4、地址未获取信息客服系统1、姓名2、手机3、省市4、地址 未获取信息客服体验智能家居1、.2、.3、.4、.5、.未获取信息1.xxxx内部数据外部数据标签人口属性产品特征订单特征行为特征门店1、姓名2、手机3、省市4、地址未获取信息1、支付方式网页访问数据未获取信息1、竞争对手产品2、价格3.浏览量4、评分5、购买量APP1、.2、.3、.4、.5、.未获取信息1.xxxx搜房网未获取信息1、楼盘2、价格体验环节：和数据厂商，合作或购买统计数据购买环节：引入合作商用户数据合并客户触点数据电商订单1、姓名未获取信息1、下单时间微信未获取信息1。账号智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案342024/7/5 数据清洗整合规则建模应用系统现状:数据分布各地信息分离、共享程度低消费者信息不统一无法实现一对一个性化精准营销目标:高度共享的集中统一数据平台，统一消费者视图，实现精准营销、精准决策客户统一元数据产品集中统一平台数据共享统一消费者标识实现个性化精准营销会员身份信息库消费行为信息库产品基本属性产品生命周期主题数据数据挖掘客户忠诚度客户消费能力客户消费习惯产品主动售后客户消费需求地域消费需求统一会员视图客群粗粒度分析个性化精准营销和关怀个性化细粒度分析个性化精准营销和关怀2023/8/13数据清洗整合规则建模应用现状:智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案352024/7/5Department35购买交易数据从渠道和零售系统采集用户的交易记录退换货数据从渠道系统采集退换货记录咨询投诉数据投拆客服互动数据从呼叫中心采集投拆数据偶发出现行为数据从WEBAPP电商门店数据CRM或合作购买数据从或第三方购买数据清洗规则手机号匹配姓名匹配地址匹配产品号匹配固话匹配邮箱匹配会员基本信息会员购买的产品会员存在的问题会员间的亲友关系会员的售后记录客户数据清洗形成统一标签提供其他系统调用2023/8/13Department35购买交易数据退换货智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案36基于各类业务系统数据分析平台数据流架构在线平台读取型HBASE细粒度数据DataMart/ModelHADOOPODS层/HIVEDW层/HIVE清洗合并规则报表应用Pentaho数据服务HTML5JDBCWEB、手机Cassandra离线平台读写型 粗粒度数据PhoenixHBASEAPIMongoDB售后系统实时处理+规则引擎SparkStreaming业务系统KafkaOLTP.偶发行为批处理Sqoop基于Hadoop的大数据仓库ETL服务器Kettle基于各类业务系统数据分析平台数据流架构HADOOPODS层/智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案37BIGDATAUNIONTel:400-00-31368Website:bigdataunion.org手机清洗逻辑手机正则(b0d2,3)?-_/*)?(134578(0-99)去除非数字校验区号NY匹配字符长度11且匹配手机号后一位非数字N格式正确格式错误原始字符长度=11NYBIGDATAUNIONTel:400-00-31368智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案38手机清洗规则模型手机清洗规则模型智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案39BIGDATAUNIONTel:400-00-31368Website:bigdataunion.org固话清洗逻辑固话正则(b0d2,3)?-_/*)(d7,8)(-_、呼转)+d1,6)?去除非数字校验区号NY匹配字符长度9且匹配固话号后一位非数字Y格式正确格式错误原始字符长度7,8位NY重复数字NNBIGDATAUNIONTel:400-00-31368智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案40地址清洗方案根据数据特点，分为两类数据清洗方案：规则1.存在标准地区代码，可以到标准地区库标准地址规则2.不存在地区代码或者是脏地区代码，根据百度地图api接口标准地址odshive贴源层数据源.用户基本信息表（ods.t_cs_customer）地区代码不为空地区代码为空地区标准库百度api接口递归找出标准地址返回标准地址DWhive模型层地址清洗方案根据数据特点，分为两类数据清洗方案：odshi智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案41地址唯一标示清洗地址唯一标示清洗智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案42ODS业务数据消费者主对象问题数据LeftOuterJoin消费者主对象(干净)规范性规则消费者主对象(编码)对应关系（得出关联客户）附属表插数应用数据模型（Hbase）增量数据清洗、加载（废弃）消费者主对象(唯一)数据合并ODS消费者主对象问题数据LeftOuterJoin消费智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案43ODS业务增量数据消费者主对象问题数据消费者主对象(干净)规范性规则对应关系（得出关联客户）附属表插数应用数据模型（Hbase）增量数据清洗、加载（保留）合并规则消费者唯一比较唯一性比对数据合并存在获取UID不存在消费者主对象(编码)合并不能合并ODS消费者主对象问题数据消费者主对象规范性规则对应关系附属智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案44多系统客户数据整合流程图业务系统数据(biz1)客户表(stage)1.stg_cust_biz1客户表(normal)2.normal_cust_biz电话,地址,.统一客户表(ods)4.ods_cust_incremental客户表(tmp)3.tmp_cust_biz统一客户表(ods)5.ods_cust_unique(唯一)WB.数据匹配NWC.数据合并(M/R)统一客户表(ods)5.ods_cust_unique(唯一)Y客户表-脏数据(ods)5.dirty_cust_incremental规则过滤新增客户业务系统数据(biz2)业务系统数据(bizx)和业务表关联WA.数据规范WA.数据规范客户表(stage)1.stg_cust_biz1客户表(stage)1.stg_cust_biz1多系统客户数据整合流程图业务系统数据客户表(stage)客户智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案45整合规则实现顺序清洗后的用户数据完全去重覆盖手机规则覆盖地址规则覆盖固话规则覆盖姓名规则手机、地址、固话、姓名完全相等手机相等的前提下，任意两条记录两两相比，根据规则判定这两条记录是否相等用户基本信息表用户联系方式表用户地址信息表用户关联关系表带唯一标识的合并前全量用户信息整合规则实现顺序清洗后的用户数据完全去重覆盖手机规则覆盖地址智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案46提供客户标签调用和查询2024/7/5Department46客户数据客户分群客户标签目标客户客户接触呼叫中心售后服务营销活动导购互联网客户关怀计划产品推荐优惠活动转介绍会员活动亲情服务营销活动公关活动忠诚会员u提升销量u加强竞争地位u营销成本底u无需价格战u有利新品推广通过会员关怀提高忠诚客户的比例提供客户标签调用和查询2023/8/13Depart智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案47Part3客户360度全景图像Part3客户360度全景图像智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案48画像身份产品订单行为画像群组价值挖掘客户产品订单行为画像建立客户产品行为订单9个属性180个维度6300个触点标签画像建立客户产品行为订单9类画像27群画像180组画像建立客户产品行为订单每一类群组的数据价值挖掘画像客户产品订单行为画像建立客户建立客户建立客户智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案49 客户画像客户画像智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案50客户唯一基本属性标识标签9个属性、180个维度6300个触点360全景画像姓名匹配手机匹配邮箱匹配关系人链匹配电话匹配等级匹配。统一标示代码35个基本人口属性25个区域小区楼栋房号15个关系群体人员属性15个爱好兴趣属性20个使用习惯偏好属性20个品牌偏好倾向属性15个购买比较条件属性9个门类27个群1800个组喜欢3.00汽车喜欢静音喜欢负离子清新通风喜欢自动睡眠功能喜欢粉红色喜欢智能定时。9个门类27个群1800个组数据价值挖掘高价值客户低价值客户负价值客户活跃客户流失客户粉丝。客户画像20个购买倾向情绪15个购买时间时机属性客户唯一基本属性标识标签9个属性、180个维度姓名匹配手机匹智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案51客户唯一标识标签姓名匹配电话匹配邮箱匹配关系人链匹配订单匹配等级匹配。统一标示代码第一步建立客户产品唯一识别标签标签记录客户、产品特征数据和全网触点行为数据唯一识别一、标签的唯一性二、标签的精准性三、标签的简单明了四、标签的可调用性五、标签的可修改回写产品唯一识别标签姓名标示产品名称产品型号产品参数产品指标产品价格产品交易量。统一产品标示代码标签权重=衰减因子行为权重网址子权重时间衰减因子客户唯一标识标签姓名匹配电话匹配邮箱匹配关系人链匹配订单匹配智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案52OCRM客户操作型数据与客户互动电话记录、业务操作、货款交付售前售中售后服务等数据CRM客户基本信息姓名、电话、性别、地址特征习好、客户关联关系ACRM客户行为数据WEB、WIFI、APP点击浏览POS刷卡消费行为CCRM客户协同型数据呼叫中心、客户渠道、交互服务售后回访、拜访数据采集聚合客户数据唯一标签标示9个属性、180个维度6300个触点360全景画像姓名标示姓名匹配电话匹配邮箱匹配关系人链匹配订单匹配等级匹配。统一标示代码统一客户视图第二步客户画像把来自于全网各种渠道混杂的客户身份（产品、订单、行为）数据清洗统一标示后的客户特征画像35个基本人口属性25个区域社区楼栋房号15个关系群体人员属性15个爱好兴趣属性20个使用习惯偏好属性20个品牌偏好倾向属性15个行为属性20个购买能力属性15个购买时间时机属性OCRMCRMACRMCCRM采集聚合客户数据唯一标签标示9智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案53姓名性别年龄婚育状况行业收入教育程度所在区域人口构成人口文化教育水准购买品牌等级价格区域门店网购购买批量评价.Cookie、注册IDEmail微信微博QQ习惯常浏览网站类型购买产品类别特征.35个基本人口属性15个行为属性上网时长时段频次20个消费偏好购买习惯消费季节周期消费习惯地域接受营销活动类别.消费周期时段频次活动圈子特征.社交关系网络15个关系群体人口属性使用年限.使用频次时间15个使用习惯偏好属性使用过程客户9个属性180个维度6300个触点标签画像购买品牌等级价格区域门店网购购买批量评价.购买产品类别特征25个区域社区楼栋房号活动圈子特征.业余爱好兴趣15个兴趣爱好属性消费批次次金额.购买品牌等级20个购买能力属性购买品牌等级价格15个购买时间时机属性姓名性别年龄婚育状况行业收入教育程度所在区域人口构成人口文化智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案54学员维度可提供的数据维度1、基本属性2、社会属性（班级、老师）3、进度成绩（评价）4、课程内容级别5、订单数据6、课程评价（课程打分）7、app行为数据8、兴趣爱好9、潜在客户购买能力（）？10、缺少的知识点分析主题：1、获客营销2、老学员的关怀招揽3、学员知识点4、老师和课程的评价评分5、预测（）学员维度可提供的数据维度智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案55学员维度数据来源一、内部数据1、CRM2、进度系统3、TMK电话系统4、HR5、财务6、线上培训系统7、APP8、微信公众号二、外部数据：1、百度2、邀约、活动3、电信adsl需求要点1、投入产出2、转化率学员维度数据来源智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案56标签画像模型算法分类与回归 决策树、扑素贝叶斯向量支持向量机SVMsMLR（softmaxRegreesion）二元分类SvmWithSGDLogisticRegressionWithSGD、RF&GBDT、逻辑回归、线性回归 聚类k-means、canopyEM(Expectation-Maximization）吉布斯（Gibbs Sampling）模糊聚类、狄利克雷 线性模型 Slope One 图计算 Pagerank 时序模型 BP、GA 梯度下降 GradientDescent特征提取转换 TF-IDF 标签画像模型算法分类与回归决策树、扑素贝叶斯聚类k-me智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案57竞争对手产品特征产品名称、型号、参数、特征交易量、价格、客群定位、评价竞争对手维度比较企业内部产品特征产品名称、型号、参数、特征交易量、价格、客群定位、评价竞争对手维度比较第三方电商产品特征产品名称、型号、参数、特征交易量、价格、客群定位、评价竞争对手维度比较行业产品特征库产品名称、型号、参数、特征交易量、价格、客群定位、评价采集聚合产品数据清洗统一产品唯一标示匹配数据清洗规则姓名标示产品名称产品型号产品参数产品指标产品价格产品交易量。统一产品标示代码姓名标示细分产品分类细分订单分类细分产品客户分类客户营销手段分类细分产品特征分类细分评价分类。其他维度分类统一产品视图产品画像+订单画像把来自于各种渠道混杂的产品特征数据、交易数据、评价数据清洗统一标示，按特征分群建立行业产品特征库9个属性、180个维度6300个触点产品360全景画像竞争对手产品特征企业内部产品特征第三方电商产品特征行业产品特智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案58订单分析标签画像HDFS数据存储（结构化、非结构化、半结构化数据）客户画像（品牌型号、量、结构、排名、利润、财务）Hbase（Hive)筛选查询（地区、销量、利润、同比、环比、排序）Impala(Spark)报表分析（固定、维度、指标、相关、交叉、报告）Impala(Spark)预测挖掘&领导定制（各类业务和挖掘分析模型的复杂分析和领导特殊分析）Impala+Spark MLlib实时交互分析（当某事件发生时，指标的关联与对策）高频数据和流处理分析Spark Streaming订单分析标签画像HDFS数据存储客户画像Hbase（Hive智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案59喜欢3.00的客户群组喜欢3.00喜欢静音喜欢负离子清新通风喜欢自动睡眠功能喜欢粉红色喜欢智能定时。第三步客户和产品划分类分群分组划分为9个门类27个群2700个组喜欢3.00喜欢卡通喜欢自然风喜欢自动提醒喜欢粉黄色喜欢有音乐。喜欢3.00喜欢其他喜欢其他喜欢其他喜欢其他喜欢其他。喜欢3.00的客户群组喜欢3.00喜欢静音喜欢负离子清新通风智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案609个门类27个群2700个组数据价值挖掘采用评分法、相似算法等算法模型高价值客户低价值客户负价值客户活跃客户流失客户粉丝。第四步、数据价值挖掘分析80分以上的客户其他群组触点出现频次评分法79-30分的客户30分以下的客户转卖友商或触点频次变化评分法点评忠诚度等维度评分法（粉丝会员活跃客户）扩大销售再销售搭配销售转销售新产品（潜在客户接触客户）以高价值客户以产品群找客户群（流失客户）激活挽救9个门类27个群2700个组数据价值挖掘高价值客户低价值客户智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案61举例：一、客户全网数据价值打分排序（基于人口属性）怎样使接触关注某品牌消费者转化为购买者（匿名实名）行为数据高价值用户（80分以上）中价值用户（79-60分）低价值用户（59-20分）负价值用户（20分以下）放入购物篮次数多次放入购物篮偶尔放入购物篮无放入购物篮无放入购物篮差评点击商品次数10次上次上1次上无记录注册关注品牌次数10次上次上1次上无记录进入电商网站/WEB、APP、第三方电商页面20次上10次上5次上无记录评价答复五星好评三星一般二星差评门店接触数据10次上次上1次上无记录门店咨询10次上次上1次上无记录从下到上，取得更多的实名数据、强相关举例：一、客户全网数据价值打分排序（基于人口属性）怎样使接智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案62举例二、客户（会员）全网数据价值打分排序（基于内容属性）行为数据高价值客户（80分以上）中价值客户（79-60分）低价值客户（59-20分）负价值客户（20分以下）购买品种次数购买多型号多频次购买单型号有购买差评无购买差评购买价值额度10万元上万元万元购买同品牌其他产品只买本品牌产品购买多种产品购买其他产品量更大买其他产品忠诚度评分五星好评三星一般二星差评线上接触咨询次数10次上次上1次上无浏览门店接触数据10次上次上1次上无记录线上注册关注每月10次以上点击关注每月次以上点击关注每月1次以上点击关注无记录怎样把需求客户转化为某品牌的购买者（匿名实名）举例二、客户（会员）全网数据价值打分排序（基于内容属性）行为智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案63行为标签评分权重推荐推荐置信度置信度收藏收藏0.20.2搜索搜索0.150.15点击点击0.150.15注册注册0.10.1评论评论0.150.15关注关注0.150.15上网上网次数次数0.10.1门店门店次数次数0.10.1客户客户标签标签产品产品标签标签1.00AAAAA-多多AA0.8ABABAA多多A-0.8A-ABAA多多A-0.4ABBBAA-多C-0.6ABAB-C多多A-0.2BBA-CA多多B-0.4AB-BCC多多-0.4ABC-AA多多-0.2BBAB-A-B-智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案64统计分析聚类分析关联分析预测.行为建模刚性需求兴趣图谱真实想法实时行为数据比较.标签画像分群价值行为数据忠诚度高价值客户挖掘潜在客户转化率分析流失客户客户分析客户活跃度分析客户刚性需求分析接触客户分析客户粘性分析客户满意度分析再销售分析转销售分析新产品接受度分析客户价值挖掘分析 根据客户行为和身份数据进行价值挖掘分析统计分析聚类分析关联分析预测.行为建模刚性需求兴趣图谱真智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案65客户产品画像系统输出交付的结果和目的一、对全网接触客户和产品建唯一识别标签二、对每一个客户和产品个属性、180个维度、6300个触点360度全景画像二、对客户和产品进行特征属性进行个门类27个群2700个组粒度细分三、对每一个群组门类及客户和产品数据进行数据价值挖掘四、融合客户产品订单行为表现的需求特征客户产品画像系统输出交付的结果和目的一、对全网接触客户和产智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案66Part4推荐引擎Part4推荐引擎智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案67客户+产品+订单匹配的行为数据触发推荐客户标签车型标签特征需求触点行为关注客户清单电话短信邀请线上推荐前1000可能购买者推荐推荐置信度置信度触点触点数据数据0.60.6客户客户标签标签0.20.2产品产品标签标签0.20.20.2-A-0.4-AA1.00AAA0.8A-A0.8AA-0.6A-0.4A A-B0.4AB B-0.2ABB B客户+产品+订单匹配的行为数据触发推荐客车智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案68七、推荐引擎总体层次结构七、推荐引擎总体层次结构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案69推荐系统架构推荐系统架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案70系统数据流消费者消费者系统数据流消费者消费者智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案71平台逻辑架构平智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案72核心推荐引擎设计说明：整个推荐引擎在设计上依赖于整个数据平台的支撑；场景引擎：场景引擎是整个推荐引擎的核心，它的作用是将用户行为抽象为与具体业务相关联的场景。也就是用场景来表征一个用户在具体业务下的需求；规则引擎：规则引擎接受场景引擎中计算出来用户意图，向算法引擎请求需要推送的数据；算法引擎：主要是实现各种推荐算法，把结果推向展示引擎进行前端展示；展示引擎：数据前端展示；核心推荐引擎设计说明：智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案73基于商品的协同过滤算法在全网用户数据库中遍历，寻找与用户N行为最相似的用户，并进行排序，如图所示：（彩色连线代表该用户购买、浏览、评论过这个商品）如何为用户N推荐商品ABC0.450.30.40.35+=0.65按照蓝色路径计算，用户C和用户N的相似度为0.45，用户A与用户N的相似度为0.3按照红色路径计算，用户B与用户N的相似度为0.4、用户A与用户N的相似度为0.35所有路径的相似度叠加之后，用户A、用户B、用户C与用户N 的相似度分别为0.65、0.4和0.45，因此A是最像 N 的用户N核心算法基于商品的协同过滤算法在全网用户数据库中遍历，寻找与智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案74在线流计算框架框架流程：数据暂存：Kafka作为日志传递中间件来接收日志，抓取客户端发送的流量日志，同时接受SparkStreaming的请求，将流量日志按序发送给SparkStreaming集群。数据处理：SparkStreaming从Kafka集群中获取流量日志并进行处理。SparkStreaming会实时地从Kafka集群中获取数据并将其存储在内部的可用内存空间中。当每一个batch窗口到来时，便对这些数据进行处理。结果存储：处理得到的结果将写入到数据库中通用需求：低延迟：实时计算系统高性能：性能不高就是浪费机器分布式：单机搞不定可扩展：数据量、计算量大了怎么办？容错：一个节点挂了不能影响我的应用Storm：实时统计、实时风控、实时推荐个性化搜索实时sparkstreaming原理：SparkStreaming把输入数据按照batchsize（如1秒）分成一段一段的数据，每一段数据都转换成Spark中的RDD实时性：最小的0.5SBatchSize2S，而Storm=100ms系统资源整合:更方便（对于我们来说）实时计算与离线计算相结；在线流计算框架框架流程：通用需求：Storm：智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案75SPARK对算法模型支撑SPARK对算法模型支撑智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案76推荐引擎模型算法模型常用算法基于物品推荐itembaseCF（冷启动、热启动）基于用户推荐user-baseCF（冷启动、热启动）基于协同过滤推荐Simarnk基于模型推荐Random Walk、pLSA、SVD、SVD+基于关联规则推荐Apriori、AprioriTid、DHP、FP-tree基于知识推荐基于效用推荐混合的推荐机制加权的混合、切换的混合、分区的混合、分层的混合相似度算法K-neighborhoods、User-CF、Item-CF显性反馈ALS隐性反馈ALS情景感知推荐Context-Aware相似度推荐历史矩阵、共生矩阵、标识符矩阵推荐引擎模型算法模型常用算法基于物品推荐itembase智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案77对历史购买客户推荐和关怀客户画像产品画像客户B购买第二年月日体系加雪种C第三年月日推荐新品空调关联推荐搭配推荐当浏览空调时匹配客群匹配产品群推荐相关产品红线：基于历史购买周期推荐人口属性推荐蓝色：基于相关推荐产品属性推荐绿线：基于行为的推荐行为属性推荐黄线：客户主动行为A2010年买空调重排序算法协调过滤算法个性化实时推荐把低价值客户转化为高价值客户对历史购买客户推荐和关怀客户画像产品画像客户B购买第二年智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案78根据点击行为数据进行个性化精准推荐购买空调P的群体购买时尚卡通类群体购买噪音少小的群体购买负离子清风群体购买自动智能功能群体购买语音音乐功能群体.少女房用空调群体营销群组营销个性个体营销浏览点击行为数据把消费者转化成购买客户其他接触数据根据点击行为数据进行个性化精准推荐购买空调P的群体购买智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案79增加产品的销售量相关推荐和搭配推荐关联推荐增加产品的销售量相关推荐和搭配推荐关联推荐智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案80 cookie_id:“1234512413243”,advertiser:apple:actions:im