推荐系统课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,推荐系统,1,PPT课件,推荐系统1PPT课件,推荐系统出现的原因,随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了,信息过载,（,information overload,）的时代。在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战。,无明确需求,信息过载,PPT课件,推荐系统出现的原因随着信息技术和互联网的发展，人们逐渐从信息,推荐系统和搜索引擎的异同,相同点：,都是一种帮助用户快速发现有用信息的工具,不同点：,搜索引擎,需要用户主动提供准确的关键词来寻找信息,推荐系统,不需要用户提供明确的需求，而是通过分析用户的历史行为给用户的兴趣建模,从某种意义上说，推荐系统和搜索引擎对于用户来说是两个,互补,的工具,搜索引擎,满足了用户有明确目的时的主动查找需求,推荐系统,能够在用户没有明确目的的时候帮助他们发现感兴趣的新内容,PPT课件,推荐系统和搜索引擎的异同相同点：PPT课件,推荐系统的概念和定义,定义：它是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程”。,推荐系统有3个重要的模块：,用户建模,模块、,推荐,对象,建模,模块、,推荐算法,模块。,推荐系统把用户模型中兴趣需求信息和推荐对象模型中的特征信息匹配，同时使用相应的推荐算法进行计算筛选，找到用户可能感兴趣的推荐对象，然后推荐给用户。,图1 推荐系统通用模型,PPT课件,推荐系统的概念和定义定义：它是利用电子商务网站向客户提供商品,推荐系统的任务,联系用户和信息（物品）,帮助用户发现对自己有价值的信息,让信息能够展现在对它感兴趣的用户面前,图,2,推荐系统的基本任务是联系用户和物品，解决信息过载的问题,PPT课件,推荐系统的任务联系用户和信息（物品）图2 推荐系统的基本任务,推荐系统是如何工作的,以看电影为例,向朋友咨询。这种方式在推荐系统中称为,社会化推荐,，即让好友给自己推荐物品。,打开搜索引擎，输入自己喜欢的演员名，然后看看返回结果中还有什么电影是自己没有看过的。这种推荐方式在推荐系统中称为,基于内容的推荐,。,查看排行榜,找到和自己历史兴趣相似的一群用户，看看他们最近在看什么电影，这种方式称为,基于协同过滤,的推荐。,PPT课件,推荐系统是如何工作的以看电影为例PPT课件,推荐系统（算法）的本质,通过一定的方式将用户和物品联系起来，而不同的推荐系统利用了不同的方式。,图,2,展示了联系用户和物品的常用方式，比如利用,好友,、,用户的历史兴趣记录,以及,用户的注册信息,等。,图3 推荐系统常用的3种联系用户和物品的方式,PPT课件,推荐系统（算法）的本质通过一定的方式将用户和物品联系起来，而,推荐系统模块用户建模模块,一个好的推荐系统要给用户提供个性化的、高效的、准确的推荐，那么推荐系统应能够,获取,反映用户多方面的、动态变化的兴趣偏好,推荐系统有必要为用户建立一个用户模型，该模型,能获取、表示、存储和修改用户兴趣偏好，能进行推理,对用户进行分类和识别,帮助系统更好地理解用户特征和类别，理解用户的需求和任务，从而更好地实现用户所需要的功能,PPT课件,推荐系统模块用户建模模块一个好的推荐系统要给用户提供个性,建立用户模型之前，需要考虑下面几个问题：,模型的输入数据有哪些，如何获取模型的输入数据。,如何考虑用户的兴趣及需求的变化。,建模的对象是谁。,清楚了上述内容后，怎么建模呢。,模型的输出是什么。,PPT课件,建立用户模型之前，需要考虑下面几个问题：PPT课件,用户建模的大致过程如图,图2中获取用户信息就是解决模型输入数据的问题，模型的输入数据主要有以下几种：,用户属性,用户手工输入的信息,用户的浏览行为和浏览内容,推荐对象的属性特征,图 4 用户建模的过程,PPT课件,用户建模的大致过程如图图 4 用户建模的过程PPT课件,获取模型输入数据的方式有,显式获取,、,隐式获取,显式,的获取方式：用户主动告之,优点：简单而直接的做法，能相对准确地反映用户的需求，同时所得的信息比较具体、全面、客观，结果往往比较可靠,缺点：很难收到实效，主要原因就是很少用户愿意花时间或不愿向系统表达自己的喜好,隐式,获取法：指系统通过跟踪用户行为，通过推理获取用户的兴趣偏好,优点：减少用户很多不必要的负担，不会打扰用户的正常生活,缺点：跟踪的结果未必能正确反映用户的兴趣偏好,PPT课件,获取模型输入数据的方式有显式获取、隐式获取PPT课件,用户的兴趣,和需求会随着时间和情景发生,变化,，用户建模时要考虑到用户长期兴趣偏好和短期兴趣偏好，还要考虑兴趣的变化，目前很多研究关注了用户的长期兴趣，建立了静态模型，用户兴趣更新的动态模型也受到了很多关注，短期兴趣的关注还比较少,建模的对象,有单用户建模和群组建模之分,单用户,建模针对单个用户进行建模，比如基于内容的推荐,群组建模,是针对群体用户进行建模，比如协同推荐,PPT课件,用户的兴趣和需求会随着时间和情景发生变化，用户建模时要考虑到,用户模型的,建模方法,主要有遗传算法、基于机器学习的方法，例如,TF-IDF,、自动聚类、贝叶斯分类器、决策树归纳和神经网络方法等。,PPT课件,用户模型的建模方法主要有遗传算法、基于机器学习的方法，例如T,推荐系统模块推荐对象的建模,推荐对象进行描述之前也要考虑以下几个问题：,提取推荐对象的什么特征，如何提取，提取的特征用于什么目的。,对象的特征描述和用户文件描述之间有关联。,提取到的每个对象特征对推荐结果会有什么影响。,对象的特征描述文件能否自动更新。,PPT课件,推荐系统模块推荐对象的建模推荐对象进行描述之前也要考虑以,不同的对象，特征也不相同，目前并没有一个统一的标准来进行统一描述，主要有,基于内容,的方法和,基于分类,的方法两大类方法。针对文档类对象的这两个表示方法给以分析。,基于内容,的方法是从对象本身抽取信息来表示对象，使用最广泛的方法是用加权关键词矢量，该方法通过对一组文档的统计分析得出文档的特征向量。在完成文档特征的选取后，还得计算每个特征的权值，权值大的对推荐结果的影响就大。目前使用最广泛的是TFIDF方法。,基于分类,的方法是把推荐对象放入不同类别中，这样可以把同类文档推荐给对该类文档感兴趣的用户了。文本分类的方法有多种，比如朴素贝叶斯（Naive-Bayes），k最近邻方法（KNN）和支持向量机（SVM）等。对象的类别可以预先定义，也可以利用聚类技术自动产生,PPT课件,不同的对象，特征也不相同，目前并没有一个统一的标准来进行统一,文本,等对象,特征提取技术,相对比较成熟，但推荐系统的对象不一定具有文本特征或文本不足以作为描述，尤其是网络上广泛存在的多媒体数据，自动化的特征提取方法需要结合多媒体内容分析领域的相关技术。,推荐系统推荐给用户的对象首先不能与用户看过的对象,重复,，其次也不能与用户刚刚看过的对象不是太,形似,或者太不相关，这就是所谓的,模型过拟合,问题（可扩展性问题）。,推荐系统中,出现新的对象,时，推荐系统尤其是协同过滤系统中，新对象出现后必须等待一段时间才会有用户查看并进行评价，在此之前推荐系统无法对此对象进行分析和推荐，这就是推荐系统研究的另一个难点和重点,冷启动问题,。,PPT课件,文本等对象特征提取技术相对比较成熟，但推荐系统的对象不一定具,推荐系统模块推荐算法模块,推荐算法是整个推荐系统中最核心和关键的部分，在很大程度上决定了推荐系统类型和性能的优劣,公认的推荐算法基本包括以下几种：,基于内容的推荐,协同过滤推荐,基于知识的推荐,混合推荐,PPT课件,推荐系统模块推荐算法模块推荐算法是整个推荐系统中最核心和,基于内容的推荐,该方法是根据用户已经选择的对象，从推荐对象中选择其他特征相似的对象作为推荐结果,首先提取推荐对象的内容特征，和用户模型中的用户兴趣偏好匹配，匹配度较高的推荐对象就可作为推荐结果推荐给用户,计算推荐对象的内容特征和用户模型中兴趣特征二者之间的相似性是该推荐策略中一个关键部分,计算所得的值按其大小排序，将最靠前的若干个对象作为推荐结果呈现给用户,PPT课件,基于内容的推荐该方法是根据用户已经选择的对象，从推荐对象中选,协同过滤推荐,推荐算法中最成功的策略，它于20世纪90年代开始研究并促进了整个推荐系统研究的繁荣,协同过滤推荐一般分为两类：,基于用户的协同推荐,基于物品的协同推荐,PPT课件,协同过滤推荐推荐算法中最成功的策略，它于20世纪90年代开始,基于用户的协同推荐,它的,基本思想,是用户选择某个推荐对象是基于“同好”的推荐,也就是说，如果一些用户对某些推荐对象的评分比较相似，则说明这些用户的兴趣偏好相似，那么他们对其他推荐对象的评分应该也是相似的,首先找到和目标用户兴趣偏好相似的最近邻居，然后根据他的最近邻居对推荐对象的评分来预测目标用户对未评分的推荐对象的评分，选择预测评分最高的若干个推荐对象作为推荐结果反馈给用户,User-CF,PPT课件,基于用户的协同推荐它的基本思想是用户选择某个推荐对象是基于“,基于物品的协同过滤推荐,基于用户对推荐对象“品牌”的信任而进行的推荐,基于物品的协同推荐是基于这样一个,假设,：如果大部分用户对一些推荐对象的评分比较相似，则当前用户对这些项的评分也比较相似。就好像很多用户对某个品牌比较信任，则其他用户就比较容易选择该品牌的产品,首先找到目标对象的最近邻居，由于当前用户对最近邻居的评分与对目标推荐对象的评分比较类似，所以可以根据当前用户对最近邻居的评分预测当前用户对目标推荐对象的评分，然后选择预测评分最高的若干个目标对象作为推荐结果呈现给当前用户,Item-CF,PPT课件,基于物品的协同过滤推荐基于用户对推荐对象“品牌”的信任而进行,基于知识的推荐,如果把注意力投向其他应用领域，比如消费类电子产品，就会涉及大量的单次购买者，这就意味着推荐系统无法依赖购买记录,此时，系统需要利用额外的因果知识生成推荐,在这种基于知识的方法中，推荐系统通常会用到有关当前用户和有效物品的额外信息,PPT课件,基于知识的推荐如果把注意力投向其他应用领域，比如消费类电子产,混合推荐,各种推荐方法都有各自的优缺点，在实际应用中可以针对具体问题采用推荐算法的组合进行推荐,目的,是通过组合不同的推荐策略，达到扬长避短的目的，从而产生更符合用户需求的推荐,PPT课件,混合推荐各种推荐方法都有各自的优缺点，在实际应用中可以针对具,个性化推荐系统的应用,在网站中的主要作用是通过分析大量,用户行为日志,，给,不同用户,提供,不同的个性化页面,展示，来提高网站的点击率和转化率。,所有的推荐系统应用都是由,前台的展示页面,(UI),、,后台的日志系统,(,数据,),以及,推荐算法系统（算法）,3,部分构成的。,应用领域,电子商务（亚马逊）电影和视频网站（Netflix）,个性化音乐网络电台 社交网络（Facebook）,个性化阅读（,Google Reader,）,基于位置的服务,个性化邮件和广告,PPT课件,个性化推荐系统的应用在网站中的主要作用是通过分析大量用户行为,推荐系统评测,什么是好的推荐系统？这是推荐系统评测需要解决的首要问题,一个完整的推荐系统一般存在3个参与方：用户、物品提供者和提供推荐系统的网站,好的推荐系统不仅仅是能够准确预测用户的行为,图5 推荐系统的参与者,PPT课件,推荐系统评测什么是好的推荐系统？这是推荐系统评测需要解决的首,评测指标,用户满意度,预测准确度,覆盖率,多样性,新颖性,惊喜度,信任度,实时性,健壮性,商业目标,PPT课件,评测指标用户满意度PPT课件,1、用户满意度,用户作为推荐系统的参与者，其满意度是评测推荐系统的,最重要,指标,用户调查,获得用户满意度主要是通过调查问卷的形式,GroupLens曾经做过一个论文推荐系统的调查问卷，请问下面那句话最能描述你看到推荐结果的感受？,推荐的论文都是我非常想看的。,推荐的论文很多我都看过了，确实是符合我兴趣的不错论文。,推荐的论文和我的研究兴趣是相关的，但我并不喜欢。,不知道为什么会推荐这些论文，它们和我的兴趣丝毫没有关系。,PPT课件,1、用户满意度用户作为推荐系统的参与者，其满意度是评测推荐系,在线系统,中，用户满意度主要通过一些对用户行为的统计得到,电子商务网站中，用户如果购买了推荐的商品，就表示他们在一定程度上满意，可以利用,购买率,度量用户的满意度,有些网站会通过设计一些用户,反馈界面,收集用户满意度，有对推荐结果满意或者不满意的反馈按钮，统计两种按钮的单击情况,更一般的情况下，我们可以用,点击率,、,用户停留时间,和,转化率,等指标度量用户的满意度,PPT课件,在线系统中，用户满意度主要通过一些对用户行为的统计得到PPT,2、预测准确度,预测准确度,度量,一个推荐系统或者推荐算法预测用户行为的能力,这个指标是,最重要,的推荐系统离线评测指标,需要一个包含用户的历史行为记录的离线,数据集,将该训练集通过时间分成,训练集,和,测试集,通过在,训练集,上建立用户的行为和兴趣模型预测用户在测试集上的行为,计算预测行为和测试集上实际行为的重合度作为预测准确度,PPT课件,2、预测准确度预测准确度度量一个推荐系统或者推荐算法预测用户,3、覆盖率,描述一个推荐系统对物品,长尾,的发掘能力,覆盖率最简单的定义：推荐系统能够推荐出来的物品占总物品集合的比例,以图书推荐为例，出版社可能会很关心他们的书有没有被推荐给用户,覆盖率为100%的推荐系统可以将每个物品都推荐给至少一个用户,热门排行榜的推荐覆盖率是很低的，它只会推荐那些热门的物品，这些物品在总物品中占的比例很小,一个好的推荐系统不仅需要有比较高的用户满意度，也要有较高的覆盖率,PPT课件,3、覆盖率描述一个推荐系统对物品长尾的发掘能力PPT课件,为了更细致地描述推荐系统发掘长尾的能力，需要统计推荐列表中不同物品,出现次数的分布,。如果所有的物品都出现在推荐列表中，且出现的次数差不多，那么推荐系统发掘长尾的能力就很好,马太效应,：,强者更强，弱者更弱,很多研究表明现在主流的推荐算法（比如协同过滤算法）是具有马太效应的,PPT课件,为了更细致地描述推荐系统发掘长尾的能力，需要统计推荐列表中不,4、多样性,为了满足用户广泛的兴趣，推荐列表需要能够覆盖用户不同的兴趣领域，即推荐结果具有多样性,多样性推荐列表的好处用一句俗话表述就是”不在一棵树上吊死“,多样性描述了推荐列表中物品两两之间的,不相似性,PPT课件,4、多样性为了满足用户广泛的兴趣，推荐列表需要能够覆盖用户不,5、新颖性,新颖的推荐是指给用户推荐那些他们以前没有听说过的物品,在一个网站中实现新颖性的最简单方法：把那些用户之前在网站中对其有过行为的物品从推荐列表中过滤掉,Oscar Celma在博士论文中研究了新颖度的评测,评测新颖度的最简单方法是利用推荐结果的平均流行度，因为越不热门的物品越可能让用户觉得新颖,如果推荐结果中物品的平均热门程度较低，那么推荐结果就可能有比较高的新颖性,但是，用推荐结果的平均流行度度量新颖性比较粗略，因为不同用户不知道的东西是不同的,要准确的统计新颖性需要做,用户调查,PPT课件,5、新颖性新颖的推荐是指给用户推荐那些他们以前没有听说过的物,6、惊喜度,惊喜度是最近这几年推荐系统领域最热门的话题,惊喜度和新颖性是有,区别,的：,Guy Shani论文中的例子,如果推荐结果和用户的历史兴趣不相似，但却让用户觉得满意，那么就可以说推荐结果的惊喜度很高,推荐的新颖性仅仅取决于用户是否听说过这个推荐结果,提高推荐惊喜度需要提高推荐结果的用户满意度，同时降低推荐结果和用户历史兴趣度的相似度,PPT课件,6、惊喜度惊喜度是最近这几年推荐系统领域最热门的话题PPT课,7、信任度,度量推荐系统的信任度只能通过,问卷调查,的方式，询问用户是否信任推荐系统的推荐结果,提高推荐系统的信任度的两种方法：,增加推荐系统的透明度（如，提供推荐解释）,考虑用户的社交网络信息，利用用户的好友信息给用户做推荐，并且用好友进行推荐解释,PPT课件,7、信任度度量推荐系统的信任度只能通过问卷调查的方式，询问用,8、实时性,物品（新闻、微博等）具有很强的时效性，需要在物品还具有时效性时就将它们推荐给用户,推荐系统的实时性包括两个方面：,推荐系统需要实时地更新推荐列表来满足用户新的行为变化,推荐系统需要能够将新加入系统的物品推荐给用户,PPT课件,8、实时性物品（新闻、微博等）具有很强的时效性，需要在物品还,9、健壮性,任何一个能带来利益的算法系统都会被人攻击，这方面最典型的例子就是,搜索引擎,（作弊和反作弊斗争）,推荐系统目前也遇到了同样的作弊问题，而,健壮性,指标衡量了一个推荐系统抗击作弊的能力,最著名的作弊方法：,行为注入攻击,算法健壮性的评测主要利用,模拟攻击,在实际系统中，提高系统的健壮性，除了选择健壮性高的算法，还有以下方法：,设计推荐推荐系统时尽量使用代价比较高的用户行为,在使用数据前，进行攻击检测，从而对数据进行清理,PPT课件,9、健壮性任何一个能带来利益的算法系统都会被人攻击，这方面最,10、商业目标,很多时候，评价推荐系统更加注重网站的商业目标是否达成，商业目标和网站的盈利是息息相关的,最本质的商业目标是平均一个用户给公司带来的盈利,不同的网站具有不同的商业目标,电子商务网站，商业目标可能是销售额,基于展示广告盈利的网站，商业目标可能是广告展示总数,基于点击广告盈利的网站，商业目标可能是广告点击量,网站使用推荐系统的目的除了满足用户发现内容的需求，也需要利用推荐系统加快实现商业上的指标,PPT课件,10、商业目标很多时候，评价推荐系统更加注重网站的商业目标是,评测维度,增加评测维度的,目的,就是知道一个算法在什么情况下性能最好,评测维度分为如下3种：,用户维度,：主要包括用户的人口统计学信息、活跃度以及是不是新用户等,物品维度,:包括物品的属性信息、流行度、平均分以及是不是新加入的物品等,时间维度,：包括季节，是工作日还是周末，是白天还是晚上等,利用评测维度，可以找到一个看上去比较弱的算法的优势，发现一个看上去比较强的算法的缺点,PPT课件,评测维度增加评测维度的目的就是知道一个算法在什么情况下性能最,谢谢！,PPT课件,谢谢！PPT课件,