资源描述
个性化搜索技术和应用,一淘及搜索事业部,-,搜索技术,-,算法技术,目录,个性化搜索,个性化搜索系统,用户数据,个性化模型,为什么做个性化搜索,解决长尾需求，实现搜索结果多样性,满足用户隐含购物需求，缩短购物路径,T,恤,T,恤 女,T,恤 女 甜美,T,恤 女 甜美,50100,个性化搜索的挑战,如何描述用户的个性，是否准确？,如何应用个性化数据，改进搜索结果？用户个性和用户未来的点击、购买的宝贝之间有什么关系？,性别 准确率：,94%,，召回率：,86%,搜“,T,恤”，男性用户点“男,T,恤”的概率：,58%,搜“,T,恤”，女性用户点“女,T,恤”的概率：,77%,什么时候需要个性化,训练数据,转化型,query,浏览,型,query,Query,的个性化意图,地域,性别,购买力,年龄段,。,显,式：,query,包含个性化,tag,隐,示：,query,不包含个性化,tag,连衣裙，大裤衩,电影票,骷髅头,T,恤,情侣装,蕾丝,正版,海外购,官网,高档,samsung,三星,galaxy note i9220 3g,( gsm/ wcdma ),手机,黑色,弹力修身高腰小脚裤 薄款,eg.,用户意图分析模型,个性化程度,无个性化,过度个性化,适度个性化,对于高档购买力的人，搜“,T,恤 女”时，展示的结果,个性化的时效性,当前点击“甜美”的人，未来点击“甜美”的概率,横轴是未来点击与当前的点击次数间隔，即未来第,n,次点击,纵轴是点击“甜美”的概率,个性化搜索系统,搜索基础数据,用户数据引擎,Query,处理引擎,商品搜索引擎,前端,离线计算,商品,用户,Query,全量数据处理,实时数据处理,个性化搜索平台,用户,基本特征：,性别,年龄,职业,地域,购物偏好：,购买力,风格,销量,服务质量,类目,品牌,关键词,宝贝,销量,价格,类目,风格,品牌,关键词,卖家,服务质量,特色,个性化模型,宝贝,用户,Query,性别模型,确定模型目标,整合训练数据,训练模型,模型评测,样本特征表述,转化为,2,分类问题,支付宝身份证性别数据,GBDT,准确率,/,召回率,人工评测,选择性别差异明显的类目上的男女行为（点击，成交，收藏）占比,考虑行为时效性,购买力模型,类目价格分档,根据用户,宝贝的价格来计算用户,+,类目的购买力,利用协同过滤的思想，补充没行为的用户,+,类目的购买力,U_1,U_2,U_3,C_1,C_2,C_3,U_4,U_5,U_6,C_4,C_5,？,？,？,？,？,？,？,？,？,C_1,C_2,C_3,C_1,C_2,C_3,C_4,C_5,C_4,C_5,用户,类目,类目,类目,关键词偏好,通过用户点击，购买，成交，收藏的商品的标题挖掘用户所关注的语意单元的信息,方法：,基于历史商品标题分词粒度的,TF-IDF,统计模式,问题：,粒度太细，用户在单个词上难有长期偏好,词太多，存储空间大,页面展示效果较凌乱,建立基于,原始统计为基础的,topic model,的解决方案,PLSA,LDA,人工,review topic,下的词,森女 森系 森林系 森女系。,个性化定制,线上：,新方案：,方便用户查看、修改个性化信息,用户数据,用户数据,数据分析工具,数据分析工具,数据分析工具,购买力接近的人，,点击的商品也接近,数据分析工具,数据分析工具,年龄接近的人，,点击的商品也接近,个性化模型,利用用户偏好和宝贝属性，预测用户对宝贝的满意度。,使用,L1-LR,逻辑回归模型,L1-LR,的优点是可以产生稀疏的特征权重，更容易解释,搜索结果页,成交,宝贝详情页,点击宝贝,点击评价、收藏、购买。,满意度,L1-LR,模型,模型训练,MPI,集群：,200,台机器*,24,线程,10,亿条训练数据，,500G,100,万个特征，,0/1,特征,10,分钟训练,特征处理,特征离散化,加快处理速度,非线性,特征平滑,威尔逊区间,PV,越小，,CTR,的置信度越小,防止低,pv,的商品占优势,特征组合,非线性,PV+IPV,组合，比,CTR,的信息更多,特征聚合,特征降维：特征维度高、稀疏、误差大,相似,特征有相似的权重,特征的权重近似于后验概率,评估指标,线下,特征权重分析,AUC (area under curve),NDCG (Normalized Discounted Cumulative Gain),分,query AUC,分用户,+,类目,AUC,线上：,A/B test,成交转化率，,CTR,业务指标,Case,查看,特征权重,历史,7,天商品,Ctr,与,weight,分布,7,天,CVR,与,weight,分布,历史,30,天商品,Ctr,与,weight,分布,商品销量档,偏好高销量用户,无高销量用户,购买力,档,位,-,商品价格,低购买力,中购买力,高购买力,男性,女性,森系,欧美,个性化搜索技术和应用,公 达,谢谢！,
展开阅读全文