百度知识图谱新进展课件

知心时代百度知识图谱新进展青玉案元夕百度百度搜索引擎97 7Billion覆盖中国的网民%每天的搜索量百度每天的搜索query来自全球138个国家百度的产品User Generated Content(UGC)多种垂类产品超过3亿已解答问题来自520万网民贡献的1000万词条超过800万的吧NLPNLP百度UGC知道百科贴吧LBSMap NuomiGroup Buy国际化葡语阿语泰语搜索网页搜索移动云移动搜索 百度云 语音助手商业产品文库音乐广告百度NLP百度NLP百度NLP-多元化团队语言学人才百度NLP系统实现人才产品设计人才架构、前端、客户端工程开发人才算法开发人才学术人才百度NLP基本方法基础资源词典语料规则方法统计与机器学习方法网页 日志基础架构/平台应用系统智能交互深度问答机器翻译用户理解话语分析自动文摘网页理解文本生成Query理解APP理解专名识别分词、词性形态分析组块分析主干分析依存分析逻辑推理语义计算语义表示文本理解上层技术词法基础分析句法语义用户建模用户行为预测NLP业务应用产品搜索产品LBS产品国际化产品用户消费产品移动产品知识挖掘提纲 百度知心概要介绍 百度知心实体推荐理由 百度知心推荐实体消歧 百度知心推荐实体轮展 知识图谱的其他技术和应用百度的知识中心百度知心：百度的知识图谱 知心的两层含义百度更知用户的心百度知心丰富的应用庞大的知识库强大的处理技术孵化平台“涵盖了数十领域，上亿实体与属性，符合国际化接轨的数据标准体系”“包括清洗、消歧、关联、推理等能力，将无序数据变为知识网络”“对接大搜索、移动、LBS、国际化等公司战略产品，提供诸如：知识聚合、检索、推荐、交互等形态多样的应用”快捷的“已高效完成百亿互联网数据的挖掘，以及数十个创新产品的孵化”知识图谱定位和概况百度知识图谱致力于构建宏大的知识网络，包含世间万物以及它们之间的联系，以图文并茂的方式展现知识的方方面面，让人们更便捷的获取信息、找到所求。百度知心的一路走来2012年底百度知心上线实体基本属性仅针对实体型query相关实体推荐增加用户互动的内容搜索引擎体现社交色彩百度知心：更加精彩的用户体验推荐无处不在推荐技术更加深入百度知心：更加精彩的用户体验百度知心：无处不在的推荐点击后推荐click百度知心：无处不在的推荐上翻后推荐下翻上翻通栏推荐百度知心：无处不在的推荐百度如何知心？百度知心的背后尽可能快的满足用户的当前需求尽可能多的引导用户的延展需求更加深刻的理解用户需求更加丰富的需求满足方式更加深入细致的搜索/推荐/挖掘/NLP/机器学习技术百度知心的不断进化提纲 百度知心概要介绍 百度知心实体推荐理由 百度知心推荐实体消歧 百度知心推荐实体轮展 知识图谱的其他技术和应用什么是推荐理由？推荐理由的两方面作用摘要满足让用户一目了然的了解推荐的实体是什么增加吸引力让用户更有兴趣对推荐的实体一探究竟百度知心推荐理由的分类单实体型推荐理由Q：林丹 对于推荐实体本身的描述 与query无关 覆盖面高实体关系型推荐理由Q：林丹 对两个实体的关系的描述 与给定query相关 覆盖面低单实体推荐理由挖掘百度百科网页库搜索日志实体链指数据掘BootstrappingDistantSupervision推荐理由生成基于规则的生成实体三元组模板集后处理挖推荐理由压缩实体推荐理由知识库推荐理由挖掘基于模板的挖掘单实体推荐理由挖掘挖掘示例doc http:/ related to e抽取TAG(e,tag),压缩TAG(e,s_tag),过滤TAGaccuracy85%+众测为什么要自动化：pattern-based方法召回低问题定义：PU Learning问题 Only positive example and unlabeled data Two steps:Mapping Stage:finding reliable negative instancesConvergence Stage:classifier building单实体推荐理由挖掘Tag ModelYu et al.,2002.PEBL:Positive Example Based Learning for Web Page Classification Using SVM.In SIGKDD.doc http:/ related to e抽取候选(e,tag),分类TAGaccuracy84%众测单实体推荐理由挖掘Tag Model抽取示例实体关系型推荐理由挖掘-1利用结构化信息自动生成关系型推荐理由使用百科名片数据中的属性知识自动拼接生成实体关系Query颜良RelatedEntity关公推荐理由在大坯山一刀杀死颜良实体关系型推荐理由挖掘-2基于句法分析从自由文本中挖掘实体间关系对海量网页数据进行句法分析，从实体间的句法路径挖掘实体关系颜良关公杀死一刀大坯山在 大坯山 下 颜良 被 关公 突然 袭击 快马 奔到 面前 一刀 杀死 的提纲 百度知心概要介绍 百度知心实体推荐理由 百度知心推荐实体消歧 百度知心推荐实体轮展 知识图谱的其他技术和应用Query端/文本端分别建模知识库中的实体M1M2M3M4M5知识库实体建模文本端Query端Q：李娜 青藏高原基于点击日志的query扩展MQNERL-QQuery mention建模MDNERL-D文本mention建模Query端/文本端分别建模Q：为什么需要分别建模？A：同一个mention在query和长文本中的entity分布可能相差很大例如：Query：你不知道的事出现在query中，绝大多数情况是歌曲名文本：解析老干妈：“逆营销”下，你不知道的事出现在文本中，大多数情况不是歌曲名上下文建模候选实体抽取：在给定文本中定位mention及其候选entities同义词映射：勒布朗-詹姆斯同义词映射：凯文-乐福同义词映射：克里夫兰骑士队同义词映射：奥兰多魔术队1衰减率(w,_)1-5-4-3-2-1012345李娜0名将HEAD在号上下文建模 上下文词汇特征 目标mention左右窗口中的词 上下文实体特征 目标mention左右窗口中出现的实体 文本类别特征 当前文本的所属类别距离衰减因子实体建模 实体文本词汇特征 实体文本中的内容词w与mention在大规模语料中的共现紧密度 实体文本实体特征 实体文本中出现的其他实体 实体文本类别特征 如百科词条的分类标签特定小说、影视、音乐等特定类别的特征裁剪实体链指决策 特征 mention与entity的自身相似度特征、上下文词相似度特征、上下文实体相似度特征、文本类别相似度特征 mention链指到不同entity的先验概率特征 决策步骤-1：排序 从mention的所有候选实体中，基于LTR选出top-1候选 决策步骤-2：分类 基于RF模型对top-1候选进行分类，判断是否应链接 注：知识库中存在实体缺失问题，因此分类的步骤必不可少EL应用于推荐实体消歧Q：小威Q：青藏高原EL应用于推荐实体消歧Q：小威Q：青藏高原解决上下文稀疏问题：在N个推荐实体中，用其他N-1个实体作为当前歧义实体的上下文提纲 百度知心概要介绍 百度知心实体推荐理由 百度知心推荐实体消歧 百度知心推荐实体轮展 知识图谱的其他技术和应用 模型的优化目标 右侧实体推荐的整体reward最大化 如：推荐实体的点击率（click-through rate：CTR)主要挑战 推荐实体的动态变化性 右侧推荐实体的候选列表是在动态变化的，且用户的兴趣也会随着时间动态变化 用户反馈数据的不完备性 只有展现出来的实体会得到用户的点击反馈；那些没有展现出来的实体永远没有机会被展现出来基于在线学习（Online Learning）的推荐实体轮展CalculatecandidatesGetFeedbacksDisplayRecommendeditemsMulti-ArmedBandits在exploration（新的推荐实体）和exploitation（好的推荐实体）之间取得平衡问题抽象DisplayCard-RankerItem-RerankUser-LogPreprocessingFeed Back&DictionaryGenerationBanditAlgorithmCandidateGeneration推荐实体轮展系统流程提纲 百度知心概要介绍 百度知心实体推荐理由 百度知心推荐实体消歧 百度知心推荐实体轮展 知识图谱的其他技术和应用知识图谱的其他技术和应用：专名挖掘Learning NEs using Url-text Hybrid Patterns Is it possible to extract NEs from webpage titles only?Yes!99%NEs can be found in some webpage titles Url-text hybrid patterns Url constraints should be taken into consideration Simple text patterns are enough for credible url(website)Complicated text patterns are needed for low-quality url Url-text hybrid pattern learning utp=(up,tp,c,f)Example:Zhang et al.2013.Bootstrapping Large-scale Named Entities using URL-Text Hybrid Patterns.In IJCNLP.S2Learning NEs using Url-text Hybrid PatternsZhang et al.2013.Bootstrapping Large-scale Named Entities using URL-Text Hybrid Patterns.To appear in IJCNLP.Inter-classEstimatorInner-classEstimatorscorerOptionPat.seed OverviewMulticlass Collaborative LearnerSnMulticlass SeedsS1 BootstrappingPat.GenerationSeed ExtractionLearning NEs using Url-text Hybrid Patterns Multiclass Collaborative Learning(MCL)NEs of multiple classes are extracted simultaneously Bootstrapping NEs and url-text hybrid patterns iteratively A small set of seeds is required for each class Inter-class and intra-class scoring approaches are used for controllingthe quality of NEs and patterns yielded in each iteration Inter-class scoring:A correct NE of a class should not be extractedby patterns of other classes;A correct pattern of a class should notextract seeds from other classes.Intra-class scoring:A correct NE of a class should not be extractedby only one pattern of the class;A correct pattern of a class shouldnot yield a lot of NEs that cannot be extracted by other patterns ofthe class.Zhang et al.2013.Bootstrapping Large-scale Named Entities using URL-Text Hybrid Patterns.To appear in IJCNLP.知识图谱的其他技术和应用：深度问答与情感分析面向知识图谱查询的Query理解DEATT的演过OBV还珠格格1.还珠格格演员2.Skip4.(还珠格格演员)&(台湾演员)演员3.(台湾演员)ATT台湾123解码算法：-Transition(shift-reduce)decoding结构特征：-依存分析的结果语义特征：-角色标签，知识库Scheme深度问答的不同产品形态机器翻译应用 多语言翻译情感分析情感分类评论观点评论Tag评论摘要知识图谱的其他技术和应用：智能交互3轮4轮百度考霸：基于知识图谱的多轮交互Q：600分可以上哪些学校推荐？1轮2轮北京市 600分 能上 什么 大学依存分析北京市 600分 能上 什么 大学知识库查询queryhas(scoreLine,LT,600).has(scoreLine,GT,550).has(type,universityScoreLine).has(province,北京).has(type,universityScoreLine).vertices()知识库查询Query解析与知识图谱查询 实体知识库查询机制：从自然语言Query到结构化知识库 基于实体知识库查询结果的交互生成技术 综合考虑动态交互优先级与静态交互优先级，无需人工配置 动态交互优先级 基于知识库返回结果自动统计计算出对当前搜索结果数据集“切分度”最好的知识库属性作为交互点 静态交互优先级 基本假设：在用户日志中被经常搜索的属性是更为重要的属性 例子：查询：630分能考上什么大学 （分析：分数线的“省份”属性对当前数据表的切分度最好，且高频出现在高考类分数线相关的query中）交互：哪个省份的呢？基于知识图谱的多轮交互技术Q：北京大学分数线Q：那清华的呢Q：它的排名是多少基于知识图谱的对话指代消解Q：美女多的大学Q：理科女生学什么专业好基于知识图谱的泛需求满足智能交互：去哪儿订票智能交互：多模交互123多模输入（文字/语音/图片）多模输出（文字/语音/图片）多轮交互基于植物知识图谱，根据植物属性进行多轮交互知识图谱的其他技术和应用：App TaggingApp Tagging 应用 基于tag的app搜索与推荐技术有助于提高移动端app分发软件游戏知识图谱的其他技术和应用：需求图谱与兴趣图谱在百度指数上线后，需求图谱作为新功能受到用户好评百度指数需求图谱百度风云榜兴趣图谱小结实体推荐理由推荐实体消歧推荐实体轮展向用户展现更多信息，提升对用户兴趣基于多种数据源挖掘单实体型推荐理由以及实体关系型推荐理由消除歧义，真正实现实体级别的推荐NERL：实体识别与链指实现右侧推荐实体的动态调整，不断优化展现实体质量基于在线学习算法谢谢！Q&A