搜索引擎技术解析课件

搜索引擎技搜索引擎技术解析解析更实际一些更实际一些信息源信息源网页集合网页集合（10亿量级）亿量级）Query过滤过滤候选信息候选信息页面页面相关性排序相关性排序结果结果最初的思路最初的思路网页从哪里来网页从哪里来CrawlerCrawler最初的思路最初的思路关键字匹配关键字匹配好文档至少要包含好文档至少要包含queryquery中的所有词中的所有词分词分词清华大学邮编清华大学邮编分词分词清华大学清华大学邮编邮编最初的思路最初的思路索引查询、归并索引查询、归并Term:清华大学清华大学倒排倒排索引索引doc1doc2doc3docNDoc list ADoc list BAND候选集候选集最初的思路最初的思路倒排索引查询原理倒排索引查询原理Term倒排索引倒排索引Header二分二分/HashSignDocCountOffsetOther InfoTermInfo 1SignDocCountOffsetOther InfoTermInfo N doc1doc2doc3docNDoc ID list Index最初的思路最初的思路相关性计算相关性计算候选集候选集Query相关性计算相关性计算打分的打分的候选集候选集排序排序&Top搜索结果搜索结果最初的思路最初的思路相关性计算相关性计算文本相似度文本相似度TF-IDFTF-IDFBM25BM25最初的思路最初的思路结果如何？结果如何？在这个阶段，搜索是一门技术活在这个阶段，搜索是一门技术活第一次进化第一次进化权威性的引入权威性的引入PagerankPagerank第一次进化第一次进化模糊匹配模糊匹配纠错纠错“芍药据芍药据”-同义词同义词“清华大学邮编清华大学邮编”-动态丢词动态丢词“怎样把个人电脑上的图片做成怎样把个人电脑上的图片做成qqqq空间的背景空间的背景”第一次进化第一次进化用户行为的引入用户行为的引入点击反馈点击反馈单个结果的反馈单个结果的反馈一类结果的反馈一类结果的反馈第一次进化第一次进化结果结果搜索变得简单可依赖搜索变得简单可依赖20042004年年8 8月，月，GoogleGoogle上市上市一年后，百度上市一年后，百度上市还能做的更好吗？还能做的更好吗？第二次进化第二次进化整合搜索整合搜索第二次进化第二次进化整合搜索整合搜索BlenderQueryQP需求识别需求识别网页搜索网页搜索视频搜索视频搜索其它垂搜其它垂搜 第二次进化第二次进化框计算框计算比整合搜索更进一步比整合搜索更进一步应用开放平台应用开放平台第二次进化第二次进化结果？结果？今天的话题今天的话题搜索进化史如何盈利如何盈利新的形态如何盈利如何盈利互联网广告互联网广告BannerBanner广告广告互联网广告互联网广告定向广告定向广告互联网广告互联网广告关键字广告关键字广告互联网广告互联网广告用户需求用户需求精准度精准度广告广告效果效果Banner广告广告定向广告定向广告关键字广告关键字广告三者博弈三者博弈CPM（千次展现收益）（千次展现收益）=CTR（点击率）（点击率）*CPC（单价）（单价）*1000Click（点击数）（点击数）ROI（回报率）（回报率）相关性相关性本质问题本质问题根据关键字找广告根据关键字找广告跟搜索很类似，对不对？跟搜索很类似，对不对？区别区别数据量数据量目标目标需求满足需求满足 .vs.CPM.vs.CPM最大化最大化三个难点三个难点召回问题召回问题竞价词.vs.网页百万量级广告.vs.百亿量级网页准确问题准确问题CPM=CTRCTR*CPC*1000尽可能准确的CTR预估竞价机制竞价机制让广告主报出自己的心理价位召回问题召回问题模糊匹配变得更加重要模糊匹配变得更加重要QueryQuery改写改写Bid Word 1Bid Word 2Bid Word N召回问题召回问题与搜索相同的方法与搜索相同的方法同义词纠错中心词抽取更泛的方法更泛的方法Query竞价词分类SimRank准确的准确的CTRCTR预估预估Top QueryTop Query针对单个广告简单统计长尾长尾QueryQuery针对类别统计逻辑回归竞价机制竞价机制最简单的竞价最简单的竞价明拍每个人能看到别人的出价价高者得CPC=竞价竞价机制竞价机制聪明一些的竞价聪明一些的竞价暗拍每个人只能看到自己的出价根据预估的CPM来决定次序CPC=竞价优化了最终结果的优化了最终结果的CPM竞价机制竞价机制更聪明的竞价更聪明的竞价暗拍每个人只能看到自己的出价根据预估的CPM来决定次序CPC=次位竞价Why?竞价机制竞价机制次位竞价（次位竞价（GSPGSP，General Second PriceGeneral Second Price）广告商出价等于紧跟其后的广告商报价P 理想价格理想价格徒增成本徒增成本P 理想价格理想价格丧失机会丧失机会P=理想价格理想价格最优效果最优效果广告主说出了自己的理想价格广告主说出了自己的理想价格今天的话题今天的话题搜索进化史如何盈利新的形态新的形态个性化个性化环境与设备环境与设备个性化个性化用户用户不同的用户需要不同的答案不同的用户需要不同的答案推荐引擎推荐引擎帮助用户说出帮助用户说出QueryQueryRe-targetingRe-targeting推荐引擎推荐引擎帮助用户补全需求帮助用户补全需求关联推荐关联推荐推荐引擎推荐引擎新内容的发现新内容的发现标签匹配标签匹配协同过滤协同过滤新的生活方式总是会带来新的机会新的生活方式总是会带来新的机会Q&AAny Questions?互联网研发技术及求职交流QQ群：谢谢培乐园作为一家互联网研发技术培训机构，为广大计算机及相关专业学生提供优质的技术培训，培乐园的讲师均来自知名互联网企业的资深技术专家，采取理论与实训相结合、线上线下指导等多种方式保证培训效果，还能够提供内部推荐实习及就业的机会，欢迎大家踊跃报名！谢谢观赏谢谢观赏