科大讯飞大数据方案和应用介绍.ppt

,讯飞大数据方案和应用,汇报提纲,汇报提纲,科大讯飞的大数据,基础层,应用层,技术层,云计算平台,大数据处理平台,深度学习平台,讯飞语音云,智慧教育,智慧政府,智慧公安,语音识别,人脸识别,手写识别,声纹识别,语义理解,分类,聚类,关联规则,预测,异常检测,讯飞语音云,讯飞语音云通过3000多台服务器构成的云计算平台向亿万用户提供多样的、实时的语音能力输出，日服务次数13亿次,自主研发的Maple大数据平台,整个大数据框架建立在分布式技术之上，具有水平扩展特性和能力，即简单加服务器即可,Maple大数据平台,全面的大数据挖掘建模技术,高水平的数据挖掘研究团队大数据首席科学家：陈恩红教授（中科大计算机学院副院长、杰青、CCF大数据专委会副主任）讯飞大数据研究院：由近10个博士领衔，针对计算广告、个性化推荐、智慧交通、个性化学习、政府征信等领域开展数据挖掘分析工作全面的大数据挖掘建模技术能力,讯飞已拥有的大数据宝藏,toC大数据,toB大数据,教育大数据,社管云运营商呼叫中心公共安全,讯飞输入法灵犀、酷音铃声讯飞语音云移动广告平台智能音箱、车机、电视、微博、贴吧、微信公共账号,区域教育解决方案智慧课堂智慧校园智学网,性别,金融理财否,音乐偏好,游戏偏好否,APP偏好,是否有车,网购兴趣否,工作类型,常住地,常出差地,消费能力,当下潜在需求,有无小孩,年龄段,小孩年级,小孩偏科否,基于AI技术提取了200多个关键的用户画像标签总用户数7亿，月活跃用户1.8亿,是否学生,小孩强/弱学科,小孩学习能力,彩票,股票,基金,保险,借贷,品类,品牌,价格,奢侈品偏好否,P2P,车品牌,车型,购车意向否,购车偏好,偏好分类,是否付费,偏好风格,自然属性子女教育金融购物汽车游戏其他,智慧教育,智慧政府,智慧公安,计算广告,智慧医疗,智慧交通,相关标签信息支撑服务到各个行业应用之中,讯飞已有的大数据实践工作,计算广告,智慧教育,智慧城市,智慧交通,科大讯飞大数据已经成功应用于多个行业和领域,计算广告+大数据,通过用户全渠道ID打通，整合多来源数据，采用数据分析、模型预测等技术实现多层次的用户画像标签，让广告更加精准的定向目标用户,广告行为,人口属性,原始输入,搜索行为,事实,有房人群,有车人群,高奢人群,人口属性,点击的广告类型,应用行为,GEO,移动设备数据,第三方业务数据,使用了哪些APP,玩了什么游戏,搜索过的购物词,人群属性,商业兴趣,消费能力,品牌偏好,当下需求,潜在需求,模型预测,业务类,商务人群,结构化、统计建模,机器学习建模,业务定制规则,采用“大数据+大规模计算能力+精准预测模型+高效算法+在线训练”等核心技术，科学预测点击率从而合理出价，最终达到广告投放的综合收益最大化,精细、精准的人群标签,智能的竞价模型,大数据助力广告业务提升,游戏用户定投，转换率提升50%,京东广告对接，点击率提升152%,平均计算广告的点击率提升20%,智慧城市+大数据,进一步增强政府的数据利用能力，带动数据开放与共享，实现基于政务大数据的社管、征信和服务体系建设，提升政府在智慧城市、社会治理和民生服务领域的应用水平。,模型构建和数据分析,可视化及危险评估,数据采集,以城市管理为契机，建设政府数据共享体系，通过多源数据分析提升城市治理水平。促进政府各部门向社会开放共享数据资源，丰富面向公众的信用信息服务。充分整合政府积累的公共信用数据，提高金融征信模型评价水平。,自动监控：对特定重点区域进行自动监控，例如市政府、主要商区、景点等，一旦人群密度达到预设的警戒线，或者明显超出历史峰值，系统自动以语音、电话、短信等方式告警,案例：重点区域自动监控,智慧教育+大数据,辅助校级分析与建设,校长,学生,跨区域的多维度等值评价高利害考试的组卷与质量分析学科与学生素质的关联分析,辅助战略规划与决策,辅助教学质量改进,学科发展均衡度分析教师评价与教学改进学情分析及趋势预测,学情智能诊断基于知识图谱的个性化辅导选科规划和报考决策,教师,通过对教育大数据（考试、作业、课堂教学等数据）的分析挖掘，实现教学规律建模及趋势预测，为教育相关的管理决策和参与执行提供智能的、个性化的解决方案。,案例：大数据助力学生成绩提升,15,合肥一中个性化学习显著提升成绩,合肥一中参与实验的两个班级（18班、22班）相比其他平行的对比班级成绩有明显提升，数学成绩排名由中等水平升至第一、第二,人工智能+大数据的组合拳,智能医疗,智能助理,智能课堂,智慧城市,智慧学习,智能汽车,运营商大数据商业模式,科大讯飞有数据、有能力、有平台、有客户、有意愿和运营商开展大数据合作,汇报提纲,运营商数据在金融征信中的重要作用,翼支付（天翼征信）积极申请个人征信牌照,中国移动与招商银行筹备成立征信合资公司,中国联通与招商银行成立“招联消费金融公司”,央行征信系统收集信息包括通讯缴费记录,案例：芜湖信用示范城市建设,2015年8月，国家发改委和中国人民银行联合发文，将杭州、沈阳、青岛、南京、无锡、宿迁、温州、义乌、合肥、芜湖、成都等11个城市列入首批全国创建社会信用体系建设示范城市，进行为期2年的社会信用体系建设。,讯飞承建芜湖“一网三库一平台”,更多应用,互联网,政务网,社会征信管理平台,社会征信网,服务,查询,三库：基于自然人、企业及社会组织的信用专题库,一平台：在政务外网内实现信用数据整合、加工，通过信用模型建立信用主体的信用档案，并提供标准的对外信用服务接口,一网：主要是开通信用主体的信用信息互联网查询服务，以及异议和投诉申请处理,芜湖个人信用评估体系,业务(一)：反欺诈系统,输入,反欺诈系统,专家知识,规则一/支持度/置信度,规则二/支持度/置信度,规则三/支持度/置信度,规则四/支持度/置信度,规则N/支持度/置信度,输出,应用,申请通过/拒绝,业务(二)：征信平台,待评估用户,身份属性,信贷历史,行为偏好,履约能力,社交联系,黑/灰名单,年龄,性别,学历,婚姻,单位,户籍,收入,住房,企业主,健康,邮箱,运营商数据,讯飞数据,信用卡,还款记录,笔均额度,逾期还款,社保,低保,在线支付,电商购物,甜橙理财,商旅短信,APP使用习惯,语音文本,支付还款,民生逾期,交通违章,通话联系人,短信联系人,通讯录,社交网络,语音联系人,手机欠费,移动黑名单,公检法黑名单,加权,信用评分,花费透支额度厘定,政府公共事业授信,授信前：征信平台,业务(三)：风控平台,被检测用户,机器学习模型,决策树逻辑回归朴素贝叶斯支持向量机集成算法强化学习,违约/不违约人群逾期/不逾期人群,标记数据,输出结果,逾期概率,高风险用户标识,评估,坏账率,授信后：风控平台,汇报提纲,运营商大数据与精准营销,运营商大数据可以提供全量用户的通信行为、移动互联网行为和地理位置限于分析能力和隐私政策，运营商大数据的价值挖掘有待探索,结合运营商数据、社交数据，金融数据建设自有DMP，实现金融产品新客精准营销,结合移动自有运营商大数据，实现咪咕自有广告精准投放业务,拟可开展精准营销业务概览,个性化推荐平台建设,运营商大数据&讯飞大数据融合,平台业务,精准全面的DMP,数据业务,讯飞个性化推荐平台建设经验,讯飞个性化推荐业务运营经验,数据及技术支撑,讯飞全面的大数据挖掘建模技术,移动DMP建设讯飞自有DMP优化,套餐推荐移动设备推荐增值业务推荐,因地因人实时营销,特色营销业务,LBS地理位置定向，实时带来目标人群,业务（一）：全方位“描述”用户的DMP,29,移动大数据拥有更精准更全面的用户人口属性标签,基于移动社交大数据进行相似人群拓展，可使得人群定向覆盖更广泛,基于移动时序位置大数据，使得用户位置相关标签分析更到位,讯飞拥有独特的用户教育相关标签大数据,讯飞全面的toC和toB大数据可勾勒出用户多方面的商业兴趣标签（汽车、购物、旅游等）,业务（二）：个性化推荐平台,用户行为数据,商品内容数据,效果反馈数据,用户行为分析,文本挖掘&商品分析,用户属性库（DMP）,商品知识库,核心推荐算法,业务规则排序,推荐控制和补足,应用场景,推荐渠道,推荐交互和反馈优化,数据层,算法层,应用层,推荐时机,推荐内容,用户标签数据,讯飞酷音铃声：推荐场景覆盖首页、单曲、来电等多个交互场景，业务开通量提升300%,实时查询用户多维度标签,业务（三）：因地因人实时营销,31,采用LBS地理位置定向锁定移动用户，并基于用户的商业兴趣标签，能夠实时带来周边目标人潮!,设定商圈位置和覆盖半径,基于基站定位数据，锁定覆盖范围内的终端用户,DMP,筛选目标广告人群,定位与基站请求数据，从而让LBS位置定向实时投放成为特色,实时带来周边目标人群，让受众更精准、牵引更高效,终端广告定向投放,汇报提纲,智能交通+大数据,基于运营商基站信令数据、移动设备GPS定位数据等，实现覆盖全面、划分精细、数据实时的城市密集人群监控和热点区域发现。综合运用交通大数据，分析拥堵规律，发现堵点时空位置，合理引导车流，实现快速及时疏解。,进一步整合交通领域之外的移动运营、社交网络等多源异构数据，弥补数据缺失，减少数据误差，提供全面综合的数据视角，提升城市交通管控、交通服务和交通规划水平。,案例：芜湖智慧城市项目,基于手机用户信令数据，结合城市基础数据，助力芜湖交通、旅游和公共安全管理服务水平提升。,出行轨迹统计分析,关键路段车速预测,工作居住地潮汐流动规律区域职住比分析实时预测拥堵发生路段,景区人流量分析,景区游客来源分析,预测景区客流高峰发生分析景区发展水平景区宣传策略优化,城市人群密度变化,重点区域人群密度,指导城建、交通规划商圈、路段人群疏导实时预警人群异常聚集,网格人群流动分析,通过全市各网格区域之间人群分布流动与轨迹，分析各主要区域的人群在不同时段的来源和去向，以及其中的流动规律和特点，可为道路、公交规划与优化提供决策支持,职住分析：早高峰人流轨迹,通过对比周末与平时在早高峰时段（8:00-9:00）的区域间人流量降幅，降幅最大的是湾里龙山，其次是大砻坊滨江，可知湾里和大砻坊区域为居住属性为主，在工作日早晚高峰时需要更充足的公交运力。,通过全市各网格区域的职住特点分析，可为城市管理、交通规划与优化提供决策支持,在晚高峰时段（17:00-18:00），周末比工作日区域人流量降幅最为显著的是龙山湾里，因此龙山职住比高，该区域工作属性为主，工作日需重点加强交通运力。,职住分析：晚高峰人流轨迹,通过全市各网格区域的职住特点分析，可为城市管理、交通规划与优化提供决策支持,海量历史交通数据,实时上报位置数据,实时路况,每天200万条移动轨迹,每5分钟更新全市数据,实时流式计算平台,100GB/小时计算能力,实时交通路况,目前：覆盖市区50个主要路段或路口监控点,近期：覆盖全市高速、国道、市内各主干道,中期：实现全市7*24小时全路段监控、预警,提供覆盖全市各主要路段的实时交通路况，并通过易户网/城市令对外发布，提升交通信息服务水平，并有利于提高易户网的用户活跃度,早高峰拥堵路段,工作日,周末,公众出行时，可通过城市令等APP了解主要道路路况，避开拥堵，减少在途时间，缓解高峰期出行压力。,晚高峰拥堵路段,公众出行时，可通过城市令等APP了解主要道路路况，避开拥堵，减少在途时间，缓解高峰期出行压力。,工作日,周末,重点路段路况分析,初六17:30开始，长江大桥行驶车速下降，持续至22点，高峰时比平时车速下降20Km/h,芜湖新闻网报道，长江大桥在初六迎来返程高峰，行驶速度受到严重影响，与长江大桥路况分析结果吻合,重点路段路况分析,工作日、周末、节日（元旦）道路整体通行速度波动较大工作日早高峰主要集中7:30-9:00，晚高峰主要集在17:00-18:00周末早高峰主要集中在9:00-9:30，从13:00开始，各时段通行车速存在较大波动元旦早高峰主要集中在10:00-10:30，从18:00开始，通行车速有较大提升,通过对重点路段的路况监控与分析，发现交通运行规律，提供交通路况预测，为交通管理、规划与优化提供决策支持,重点路段路况分析,工作日、周末、节日（元旦）道路整体通行速度相近。工作日早高峰主要集中10:30-11:00,和11:30-12:00两个时段，晚高峰主要集在17:30-19:00周末早高峰主要集中在8:00-8:30,和9:30-10:00两个时段，晚高峰集中在22:30-23:00。元旦早高峰主要集中在7:00-7:30，晚高峰主要集中在22:30-23:00，车速不足25km/h,通过对重点路段的路况监控与分析，发现交通运行规律，提供交通路况预测，为交通管理、规划与优化提供决策支持,重点路段路况分析,工作日整体通行速度比较稳定，晚高峰16:30-17:30存在陡降周末整体通行速度较高，晚高峰18:00-18:30速度下降明显元旦整体速度较工作日和周末低，13:00-14:30和22:30-23:00时段通行速度较低,通过对重点路段的路况监控与分析，发现交通运行规律，提供交通路况预测，为交通管理、规划与优化提供决策支持,17:10,17:50,18:30,图例：九华中路-赭山西路路口，历史统计最拥堵时刻17:50，堵点汇集方向：周边2公里范围，无明显方向，堵点主要发散方向：银湖北路由南向北,重点拥堵路段分析,通过对重点拥堵路段的路况监控，发现拥堵的来源和去向，分析拥堵成因，提供拥堵预测，为交通管理、规划与优化提供决策支持,汇报提纲,汇报提纲,需求普遍存在但只有极少数企业有能力构建基于大数据的商业智能应用企业迫切需要统一大数据与商业智能平台,需要统计学、资料分析、机器学习、工程开发等方面的专业知识,需要贯穿数据采集，存储，挖掘，可视化等全流程的系统,因此,企业挖掘数据金矿，需要强力工具,企业大数据与商业智能平台的核心要求,一站式大数据与商业智能解决方案,简化大数据分析的过程，让人人都能够快速从数据获得决策智慧。简洁的数据集成、数据清洗、数据预处理便可实现数据分析、数据挖掘、数据可视化、数据报告等的工具。集成性的平台，能够将您所有的数据,加载到Hadoop,Spark平台，并能够可视化您的数据，挖掘您的数据的高效平台,企业级大数据平台特色,海量非结构化数据的挖掘分析,基于语音和语义技术，可自动将企业呼叫中心海量通话和各种用户单据内容结构化，打上各类标签，挖掘分析有价值信息，为服务与营销等提供数据与决策支持。,系统无缝支持主流ETL工具，并能实现ETL统一调度、ETL调度监控,Informatica工作流,Kettle工作流,统一数据访问支持RDBMS、OLTP、OLAP、ERP、CRM、大型机、云和各种非结构化数据高速数据导入和提取可以在源系统与目标系统之间或直接在Hadoop及数据仓库中，访问、加载、复制、转换和提取大数据无限可扩展性IT部门可以处理从TB（千吉字节）到PB（兆吉字节）任何范围的所有数据类型优化性能实现最低成本Hadoop上的提取、转换和加载(ETL)基于Hadoop的一系列预置转换功能，包括数据类型转换和字符串操作、高性能缓冲查找、连接器、排序器、路由器和聚合,统一数据访问与高效数据处理,丰富建模方法,特点,可拖拽式建模,适应非数据分析人员使用简便的操作较低的实施和使用成本,可扩展性强自定义模型，扩充组件主流数据对象的支持,传统的关系型数据(mysql、Oracle等)列式数据库(Hbase等)非结构化数据(Hdfs、文件系统)大数据（Hbase、Hive等）,R语言、其他算法模型等,i-THINK数据挖掘产品颠覆了传统数据挖掘,内存运算,可视化数据挖掘,全面的数据挖掘与建模分析方法,多达102种数据展现形式,示例,示例,示例,示例,示例,示例,丰富的大数据可视化展现形式,即席查询自定义查询条件、无需写SQL语句，适合业务人员操作过滤设置、大数据量查询样式设置、可视化展现，无需MDX语法交互式统计分析允许用户任意选择指标、维度和过滤条件等，快速生成查询结果、统计图形等。可方便进行猜想式、求证式分析，极大提升报表分析的交互能力能满足突发数据分析的需求。内置同比、环比、TOPN/TOP%分析、80/20分析以及常用的标准差离散度等数理统计分析指标,灵活的交互式自助分析功能,成本,实施周期,功能,性能,易用,行业,一体化平台，采购成本更低。采用内存计算技术，硬件采购成本更低。产品容易使用，比国内外产品实施节约50%,快速实施，将BI实施周期由月提升到周,业界唯一全栈大数据分析产品，覆盖数据挖掘、商业智能、报表等应用,产品已经在多个行业获得使用，针对数据挖掘、数据分析有方法论与业务分析模型的支撑,数据从GB到PB级别，速度从秒到毫秒,最终用户能够在一天之内做到产品的灵活使用合作伙伴的使用和开发培训时间小于一周,平台优势特点总结,技术能力,业务洞察,行业解决方案,BI服务中心(BIServiceCenter),数据管理(DataManagement)(数据迁移、数据质量、数据清理),企业内容管理(ECM)(结构化与非结构化信息),数据仓库/大数据平台(BI技术体系架构与数据仓库/大数据平台建设),商业智能与数据挖掘(报表、预测分析及数据挖掘),信息管理战略,生产,企业绩效管理,风险管控,未来预测,供应链,客户与渠道,运营后台(人/财/后勤),金融服务,烟草,快消零售,制造,汽车,政府,移动,58,为合作伙伴和最终客户提供基于行业的商业智能整体解决方案,端到端的商业智能解决方案,基于大数据的商业智能应用实践,累计40个行业项目，每天处理超400万通录音,金融、保险阳光保险、平安保险、建设银行、中国平安、招商银行、交通银行等移动覆盖中国移动集团19省市，中国移动6省市，中国联通2个省市（全国集中平台建设中）其他行业航空、速递、电力等行业,项目需求整合金融非结构化数据、结构化数据和敏捷数据建立大数据分析平台，核心应用：客户群体划分、精准营销、风险管控、运营优化、欺诈行为分析等功能数据存储某省数据中心，近五年的操作、交易记录，共1000亿条以上。80台X86架构的PC服务器服务器配置，8核CPU,32G内存数据可视化全行数据集中可视化，可视化推送以及移动应用,全行数据分析资源集中优化管理，提升数据分析效率，助力业务转型、创新和发展,全行数据分析挖掘的灵活扩展，风险预警评价体系，实现系统化的运营监控,行业应用案例-金融,行业应用案例-金融,从持卡客户维度分析客户消费习惯、挖掘交叉销售和增值销售机会、识别和挽留高价值客户优化客户生命周期价值，提高客户忠诚度和盈利能力。,从特约商户的维度分析客户消费情况，评估商户贡献度，为商户的管理和配合的营销活动提供决策支持。,商业智能应用框架,61,行业应用案例-金融,以i-THINK大数据分析平台为基础，以信用风险评估模型库为引擎，实现系统化的运营监控；日均手工监督工作量由895.8万笔降至5.4万笔，全行释放了5900余名的业务监督人员。,行业应用案例-金融,大数据时代不可不为，大有可为！,