今日头条的人工智能技术实践课件

今日头条的人工智能技术实践今日头条的人工智能技术实践 1媒体形式的历史变迁书籍 公元前1000年 传唱史诗 公元前2000年 吉尔伽美什 尚书 公元200年 威尼斯公报 报纸 20世纪20年代 匹兹堡KDKA电台 贝尔德的电视机 广播&电视 互联网 20世纪70年代 互联网雏形ARPANET诞生 媒体形式的历史变迁书籍 公元前1000年 传唱史诗 公元前22从人工到智能算法的媒体革命创作 人工 智能算法 分发 管理 从人工到智能算法的媒体革命创作 人工 智能算法 分发 管32016年是一个历史拐点“近日，第三方监测机构易观发 布了一个具有“里程碑式意义”的数 据：2016年，在资讯信息分发市场 上，算法推送的内容将超过50%。这将成为一个分水岭。它意味 着，我们以后接触到的信息，将主要 由“智能机器人”为我们准备，而以 往看似不可或缺的“人工编辑”角 色，则不可避免地被边缘化。自2012年今日头条开启算法分发 的尝试，4年之后，算法时代正式宣 告来临。”-钛媒体 2016年是一个历史拐点“近日，第三方监测机构易观发 布4互联网时代内容分发形式的变革门户社交媒体&社交网络推荐引擎互联网时代内容分发形式的变革门户社交媒体&社交网络推荐引擎5智能算法给内容分发带来的红利平台类型优势缺陷 门户 人工精选内容，质量有保障 分发效率低，日均分发数 百条内容，用户长尾兴趣 无法被满足 社交媒体 个性化，内容分发效率高 信噪比低，充斥大量不感 兴趣的内容 社交网络 个性化，内容分发效率高互动性好，信噪比低，充斥大量不感兴趣的内容 算法推荐 个性化，内容分发效率高 需要更多，更好的数据 智能算法给内容分发带来的红利平台类型优势缺陷 门户 人工62012.3字节跳动成立2012.8今日头条APP上线2012.12日活跃用户超过100万2013.5B轮融资2014.6C轮融资2014.12超越所有国外同行2016.8用户规模超过5.5亿日活跃用户超过6000万一直被模仿，从未被超越：大量的“山寨”头条追赶，其中不乏互联网巨头，均落后于头条。已有美、日、印尼等国的互联网公司宣称自己是“xx（本国）”的今日头条。2013.7日活用户超过1000万开创 最早技术用户 最领先规模最大字节跳动是移动互联网成长最快的公司之一2015.11日活超过3000万推出短视频平台2012.32012.82012.122013.52014.7传统内容分发平台纷纷拥抱算法推荐Twitter近年股价变化 Facebook近年股价变化 除了以今日头条为代表的新兴智能推荐平台，传统新闻APP，浏览器，搜索应用，社交平台（Facebook，微博）纷纷上线资讯智能推荐功能 Facebook披露信息流排序方式：发布新功能 2013 新浪科技 Twitter调整消息流排序 不再严格按时间顺序2016 新浪科技 传统内容分发平台纷纷拥抱算法推荐Twitter 近年股价变化 8基于智能算法的内容推荐推荐系统的核心算法可以根据用户标签，内容标签和情景信息，计算用户对内容感兴趣的概率 基于智能算法的内容推荐推荐系统的核心算法可以根据用户标签，内9典型推荐算法协同过滤 Logistic Regression Factorization Machine GBDT DNN 典型推荐算法协同过滤 Logistic Regression10典型推荐特征相关性特征 关键词匹配 分类匹配 主题匹配 来源匹配 环境特征 地理位置 时间 热度特征 全局热度 分类热度 主题热度 关键词热度 Bias特征 用户先验点击率 用户性别 用户年龄 协同特征 点击相似用户 兴趣分类相似用户 兴趣主题相似用户 兴趣词相似用户 上下文特征 上一刷内容 最近N次推荐内容 最近N天推荐内容 典型推荐特征相关性特征 环境特征 热度特征 Bias特征 11基于智能算法的文本内容分析文本内容自动分析是新闻推荐系统的基石，主要应用包括精细分类，主题分析和实体词提取 体育/足球/德甲 拜仁，安切洛蒂，多特蒙德 基于智能算法的文本内容分析文本内容自动分析是新闻推荐系统的基12典型的层次化文本分类算法元分类器 元分类器 元分类器 元分类器 元分类器 元分类器 元分类器 元分类器 元分类器 root 元分类器类型：SVM SVM+CNN SVM+CNN+RNN 典型的层次化文本分类算法元分类器 元分类器 元分类器 元分类13实体词识别算法 分词&词性标注 英超 N 利物浦 N 0-0 曼联 N，德赫亚 N。抽取候选 英超联赛 利物浦足球俱乐部*利物浦市*曼联俱乐部 德赫亚。去歧 英超联赛 利物浦足球俱乐部 曼联俱乐部 德赫亚。计算相关性 实体词识别算法 分词&词性标注 英超 N 利物浦 N 0-14基于智能算法的图像识别对全自动化的智能推荐引擎而言，准确快速的图像识别对于分析内 容特征，广告色情识别至关重要 奥巴马 美国 国际 基于智能算法的图像识别对全自动化的智能推荐引擎而言，准确快速15一种识别易引起不适图片的算法基于ImageNet训 练好的CNN抽取向量 标注样本图片 训练NN分类器 一种识别易引起不适图片的算法基于ImageNet训 练好的C16基于智能算法的写稿机器人人工智能已经可以在财经报道，体育赛事报道等领域自动创作内容，可读性完全可以媲美人工编辑 图片库 直播语料素材 基于智能算法的写稿机器人人工智能已经可以在财经报道，体育赛事17算法辅助视频封面选择封面选择对视频的点击率有重要影响，智能算法可以自动给出封面建议，减少视频上传者的选择成本 预估点击率 0.2 预估点击率 0.3 预估点击率 0.1 预估点击率 0.2 算法辅助视频封面选择封面选择对视频的点击率有重要影响，智能算18算法自动生成视频集锦智能算法可以从体育比赛，MV等长视频中自动抽取精彩片段，甚至生成gif，可以节省用户时间和流量 算法自动生成视频集锦智能算法可以从体育比赛，MV等长视频中自19 Q&A Q&A 20