从应用角度来看知识图谱的价值和挑战

从应用角度来看知识图谱的价值和挑战科大讯飞研究院 胡国平2014年10月17日 武汉14:08:15第二届全国中文知识图谱研讨会 本次知识图谱研讨会 着重探讨中文知识图谱的构建的资源、技术、方案、策略以及待研究问题和挑战 促进研究单位之间以及研究界和产业界之间的学术交流 探索今后大规模中文知识图谱构建的研讨与合作机制讯飞研究院简介 科大讯飞公司（中文信息领域的三个上市公司之一）下设的专门从事语音及语言核心技术研究的部门 指导思想：用正确的方法，做有用的研究讯飞发展史上“有用的研究”1999语音合成引擎厂商2002语音评测教育学习2005语音识别运营商&安全2011语音交互移动互联交流内容一、讯飞在知识图谱领域的一些尝试二、从应用看知识图谱的价值和挑战从应用角度来看知识图谱的价值和挑战什么是知识图谱(Knowledge Graph)?知识图谱旨在描述真实世界中存在的各种实体或概念及其关系，一般用三元组表示 知识图谱亦可被看作是一张巨大的图，节点表示实体或概念，边则由属性或关系构成中国国家美国日本英国北京9,634,057平方公里13.5404亿2069.3万北纬3856东经116203.1525亿华盛顿9,629,091平方公里 北纬3853西经7702178平方公里16410平方公里1.26亿377835平方公里东京2188平方公里东经14050北纬3544面积人口首都纬度经度面积人口知识图谱构建后台的技术族WebWeb字典字典,术语表术语表,百科百科,书本书本知知识识获获取取+已有知识库已有知识库知知识识融融合合知知识识验验证证知识图谱知识图谱现有的大规模知识名称规模Yago1千万实体，35万类别，1.8亿事实，100种属性，100语言Dbpedia4千万实体，250类别，5亿事实，6000种属性，Freebase2千5百万实体，2000主题，1亿事实，4000种属性谷歌知识图谱5亿实体名字，35亿条事实NELL3百万实体名字，300类别500属性，100万事实1千5百万学习规则中文知识库 传统的语言类知识库，基于人工编写方式，构建了一系列的中小规模中文知识库 知网(HowNet)董振东 和 董强,1999 同义词词林梅家驹等,1996 概念层次网络(HNC)黄曾阳,1997 大规模事实类知识库，针对自身业务需要建立 百度知心，优化搜索 搜狗知立方，优化搜索 阿里巴巴知识库(商品知识库)讯飞的一些初步尝试 重点探索了如何基于互联网构建高质量的大规模音乐知识库音乐领域 重点探索了如何基于知识库改进自动客服系统10086客服领域音乐领域 任务定义：想听什么，想问什么，直接说放一首王力宏的歌（王力宏_歌手）我想听江南style神曲(江南style_歌曲)来一首他一定很爱你，阿杜的（阿杜_歌手_他一定很爱你_歌曲）来首儿歌（儿歌_标签）我想听一首歌吻吻的幸福(稳稳的幸福_歌曲，需容错)播放周杰伦的新歌（周杰伦_歌手，歌曲属性为“新”）周董和费玉清合作的那首歌（周杰伦_歌手&费玉清_歌手）周杰伦和哪些台湾女歌手合作过（知识问答）神话是孙楠和谁合唱的（知识问答）语音识别的突破，大大激发了语音理解的需求歌手 6万歌曲 260万专辑 44万标签 2000类系统实现互联网各种音乐相关信息下载融合语义理解曲库查询语音识别基于互联网的音乐曲库构建+基于人工规则的语义理解结果 生成基于互联网的音乐曲库构建 遇到了一系列的问题 同一个歌曲有多个歌手演唱过的版本，甚至多个完全不同的歌曲，网上信息比较混乱同庾澄庆版另一首歌同庾澄庆版，但是没有人声，何真真是演奏者基于互联网的音乐曲库构建 遇到了一系列的问题 同一个歌曲有多个歌手演唱过的版本，甚至多个完全不同的歌曲，网上信息比较乱 歌曲的标签体系比较乱，需要融合“蓝调”“布鲁斯”（对应的英文都是Blues）“慢摇”“R&B”“HIP&HOP”“戏曲”“京剧”“昆曲”“黄梅戏”（相互平行）“纯音乐”“钢琴曲”“古筝”“萨克斯”歌曲名、歌手名很随意 我想给我的朋友点首我爱你中国这首歌音乐曲库重构 音乐曲库重构 以事件本体为依据重构音乐本体库，替换三元组方案三元组：（那英_Subject，演唱_Predicate，春暖花开_Object）事件本体：（那英_主体，演唱_动作，春暖花开_客体，蛇年春晚_场合，2013年2月9日_时间）音乐曲库重构细化细化新增基于人工规则的语义理解神话是孙楠和谁合唱的？文法解析知识库查询SPARQL查询语句生成答案生成孙楠和韩红合唱了神话韩红歌手 6万歌曲 260万专辑 44万标签 2000类param:singer孙楠#param:song神话#predicate:chorusWith神话是孙楠和谁合唱的查询神话这首歌曲的演唱者，演唱者要包括孙楠，输出还包括的另外一个演唱者文法规则模板基于曲库资源的理解和纠错识别结果：我是你的安东尼演唱的文法规则：歌曲名歌手名演唱的容错结果：倪安东（歌手名）我是你的（歌曲名）识别结果：汪峰的北京青年文法规则：歌手名的歌曲名容错结果：汪峰（歌手名）北京北京（歌曲名）讯飞的一些初步尝试 音乐领域 10086客服领域智能客服领域智能客服：改变传统的按键式自助服务，用户使用自然语音与系统交互，实现菜单扁平化，提升用户满意度，减轻人工服务压力，降低运营成本。10086智能客服1.帮我查询话费。2.办理彩铃业务。3.开通5元30M套餐。4.我要交100元话费1.怎样退订国内移动数据5元？2.办两城一家后给省内打电话,是怎么收费的？3.怎么办理10元100M流量包？4.我要到新加坡去旅游，需要办什么手续？业务办理类：业务咨询类：总体思路结构化知识库移动作业手册原始文档知识库安徽移动Web版知识库人工参与的本体知识库构建领域专家文档知识库本体概念设计ontology标注模板人工标注标注结果实例化本体知识库知识库结构个人业务描述框架知识库结构个人信息描述框架知识库结构主套餐描述框架知识库结构当前规模：106属性，100业务，3102个三元组完整知识库结构基于本体库的咨询问答服务基于槽信息抽取的问题理解基于SparQL答案生成语义框架表示咨询类问题问题：怎么办理10元100M流量包？答案答案：对不起，没有找到10元100M的流量套餐，但是有以下套餐:10元70M;5元30M;50元500M.Select?money?amount?open_way?busi has_name“流量”.?busi contain_pack?pack.?pack has_money?money.?pack has_amount?amount.?pack has_open_way?open_way问题焦点 开通方式问题类型 怎么操作 开通业务 流量金额 10元数量 100M 词汇级句子级基于本体库的咨询问答服务基于槽信息抽取的问题理解基于SparQL答案生成语义框架表示咨询类问题问句：办两城一家后给省内打电话,是怎么收费的?答案答案：开通后省内定点市打电话每分钟0.29元Select?money?amount?open_way?busi has_name“两城一家”.问题焦点 开通方式问题类型 怎么操作 开通业务 流量金额 10元数量 100M 词汇级句子级业务名称：两城一家省内套餐关键动词：是、拨打、收费参 数：地区-省内关键名词：两城一家、电话问题类型：how问题焦点：资费题目（改编自2012年海南省高考文综地理试卷）7月1日下列城市白昼最长的是？A.悉尼 B.上海 C.雅加达 D.莫斯科题目理解知识库检索逻辑推理7月1日左右，北半球昼长夜短纬度越高昼越长悉尼南纬33度55 分上海北纬31度11分雅加达南纬6度10分莫斯科北纬55度45分莫斯科北纬度最高莫斯科白昼最长，选D常识知识获取考察四个城市，按daytime(city,7月1日）排序，取最大值的一个答案863类人答题任务难度分析类人答题系统的研发需要多种知识库的支撑！交流内容一、讯飞在知识图谱领域的一些尝试二、从应用看知识图谱的价值和挑战从应用角度来看知识图谱的价值和挑战人工智能的三个阶段计算智能感知智能认知智能能存会算能听会说、能看会认能理解会思考一、知识图谱研发需区分并针对应用应用场景搜索：展示及优化搜索结果音乐：难在构建曲库客服：对自动客服的帮助有限和NLP一样，不同应用场景，对知识图谱的需求点和难点差别很大潜在应用价值的发现，能拉动知识图谱的研究水平和投入的提升答题：需要各种常识和学科知识库二、积极探索知识图谱对理解的价值 列表型资源的利用 基于知识图谱的纠错知识图谱对语义理解本身的帮助有限 给你一个苹果，再给你一个苹果，你有几个苹果了 给你一个苹果，你吃了一个苹果，你有几个苹果了记忆超出任何人，但理解不及5岁小孩 乌龙球：踢进自家球门的球 高铁：就是很快的火车语义理解正是人类知识积累的渠道三、直面当前知识图谱技术方案的问题 语言知识库 何谓“坐”事实类知识库 专业领域知识库研究范围 三元组的方式，表达能力不足 知识图谱表示是离散型的，没有连续、模糊的概念 收获了七八斤苹果表示能力 串行的知识图谱如何追赶人类是高度并行“跑”比“走”快 从北京到天津不用坐飞机 知识图谱上的推理能力，也还太弱应用模式“深”比“广”难一个哲学问题 仅用文字描述的世界，是不是“假”的世界？没有视觉、没有听觉、没有触觉 没有情感、没有信仰格桑花一种生长在高原上的花朵，杆细瓣小，花为复叶羽状，五瓣花，颜色鲜艳而美丽，随着季节变化而逐渐变换颜色。花径长约1.53cm，为落叶乔木。总结和建议“用正确的方法，做有用的研究”，知识图谱的研究应该与实际应用相结合，应该与语义理解、知识学习相结合讯飞公司针对音乐和客服两个领域做了一些知识图谱相关的尝试，目前还都不太成功“深”比“广”难，现有知识图谱的解决方案和应用价值都面临诸多挑战，是一个很值得深入和广泛合作研究的领域谢谢