新技术基础知识介绍大数据

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,1,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,19,新技术基础知识介绍,2016,年，,AlphaGo,战胜,李世石,2017,年,7,月，李彦宏实战百度无人驾驶,无人超市一夜之间出现在大街小巷,今天，我们的“吓尿指数”已经不超过三十年,从企业角度来看，科技类企业正在成为商业的主角,单位：,10,亿美元,企业必须要依托新技术展开数字化转型，否则必将面临挑战,百丽（,BeLLe,）,诺基亚（,Nokia,）,爱,立,信（,Ericsson,）,柯达（,Kodak,）,摩立特（,Monitor,）,雅虎（,Yahoo,）,红领,华为,海尔,BAT,/,J,、新,美,大、,OfO,Amazon,Google,VS,业绩落后企业,业绩领先企业,对新技术的理解和运用，正是数字化转型的基础,智能合约,共享账本,鉴证证明,数字资产,人,-,机互联,工业互联,产业,互联,OMO,外部协同在,云端,内部协同,在,云端,信息,存储在云端,基础,设施在云端,大数据市场分析,大,数据精准营销,大数据精细管理,大数据智能,决策,智能,制造、供应链,智能财务、,HR,智能营销,智能决策,C,：云,D,：大,数据,IoT,：,物,联网,B,：,区块链,A,：,人工,智能,技术,D,A,：人工智能,B,：区块链,C,：云计算,D,：大数据,IoT,：物联网,大数据的定义，随着技术的发展不断演进,Wiki,百科,：大数据是指一个超大的、难以用现有常规的数据管理技术和工具处理的数据集。,研究机构（,Gartner,）：,大数据是需要新的处理模式，才能具有更强的决策力、洞察力和流程优化能力的，海量、高增长率和多样化的信息资产。,IDC,报告,：大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值 。,更广的信息范围,新的数据与分析类型,实时信息,来自新技术的数据,非传统形式的媒体,大数据量,社交媒体数据,最新流行词,定义大数据,* 2012,年,IBM,对,95,个国家中,26,个行业的,1144,名专业人员调查结果,咨询公司：,大数据是在互联网、云计算、移动、社交等技术飞速发展的背景下，产生的需要新的技术和能力才能经济地处理的，具有规模大、速度快、多样性及价值密度低等特点的各类数据资产。,实际上，今天业界在谈大数据时，更多是指：,在大规模数据的基础之上，可以做到的事情，而这些事情在小规模数据的基础上是无法完成的,。,-,大数据现已成为人们获得新的认知、创造新的价值的途径,-,大数据时代对我们的思维方式提出了挑战,不同认知角度的大数据定义,原始版本,以大数据的三个特征数量（,Volume,）,种类（,Variety,）,速度（,Velocity,）,定义大数据，是最为人所知，且被公认的一种。,大数据技术,用以区分数据,“信号”数据,暗数据,新瓶装旧酒,我们除了面对更大量（,Volume,）更多种类（,Variety,）、更快速（,Velocity,）的数据以外，一批新技术应运而生，尤其是用以存储和处理数据的开源技术，如,Hadoop,、,NoSQL,等。,学习和使用这些技术和工具，需要一个有别于传统技术的名称，最终，将其称为“大数据”。,从技术角度定义“大数据”难免模糊，人们也尝试着从业务角度来定义“大数据”，用以区分数据。,一,种分类是交易、互动、观察。,另一,种分类是流程、人、机器,。,从商业价值角度更为直接的定义：,传统的事务性数据，当我们记录下他们的时候，要做什么,/,改变什么已经太晚了（它已经发生）。现今，企业可以利用新的“信号（,Signal,）”数据，预测什么将要发生，而因此早些做出改进。,先前由于技术限制而被我们忽略或无法进行的数据分析。或将其称为“暗数据”（,Dark Data,）,。,这是最为懒惰和偏激的一种定义。认为“大数据”只是将原有的,BI,分析或商业智能重新冠以了一个高大上的名字。本质没有区别。,大数据的典型特征（,4V,）,企业充斥着日益增长的各种类型的数据，很容易积累出,TB,级别，甚至,PB,级别的信息数据。,将每天,12TB,的,Tw,itter,数据,用于提高产品,的顾客情绪,分析。,将每年,3500,亿的智能电表读数用于预测用电量。,规,模,V,olume,有时候，,2,分钟也意味着太长了。针对时间敏感的进程，例如油井泄漏,，大,数据被用做数据流的形式以,提高它的价值,。,审查每天,5,百万的交易活动用以确定潜在的欺诈行为。,实时分析每天,5,亿次的通话记录用以更快的分析及预测客户的,流失。,速,率,V,elocity,大,数据包括任何,结构化的、非结构化类型的数据，例如：文本、传感器数据、音频、视频、点击流量以及日志文件等等,。综合分析,这些数据，有利于提高企业的洞察力。,从成千上万个,实时监控,摄像头中发现价值信息点。,以,80,的数据，图像，视频和文件增长的优势，提高客户满意,度。,多,样,V,ariety,随着物联网的广泛应用，信息感知无处不在，,信息的获取成几何式增长，,但价值密度较低。,通过使用先进的技术能更,迅速地完成数据的价值“提纯”，大浪淘沙却弥足珍贵。,价值,Value,大数据思维区别于传统思维，其精髓在于数据分析方法的,3,个转变,更好,不是因果关系而是相关,关系,，,大,数据的核心是预测，相关关系是大数据预测的关键，揭示“是什么”，而不是“为什么”,更多,不是随机样本而是全部,数据,，技术发展，让我们处理所有更多的数据成为,可能。,更杂,不是精确性而是混杂,性，,在,大数据环境中，更重要的是发现事物变化的趋势，在一定程度上，不追求数据的精度。,来源：维,克托,迈尔,-,舍恩伯格,英，数据科学的技术权威,典型事例，对相关性的追求,佛教,三世因果经,主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。,佛教关于因果报应的解释,原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。,哲学范畴的因果关系,大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；,舍恩伯格对大数据的相关性解释,Kaggle,，一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得到，橙色汽车有质量问题的可能性是其它颜色汽车的一半。为什么？,探寻事物的因果关系是人类的本性，但是大数据时代可以做某种程度的妥协，可以只需要关注“是什么”，而忽略“为什么？”,大数据的典型行业应用,企业业务,大数据的作用,研发新产品,(,产品,/,品牌创新,),产品市场细分,获取新用户,(,渠道,/,营销创新,),渠道创新,与交叉销售,降低成本,(,价格策略创新,),降低决策成本,实现流程优化,提高客户忠诚度,(,服务创新,),用户个性化,分析与服务,加强风险管控,(,风险防范创新,),风险预测与防范,教育,政府公共服务,交通,物流,医疗,金融,电信,电子商务,大数据典型行业应用,应用成熟度,市场吸引力,市场吸引力：,金融、电子商务、物流、政府公共服务数据较高；,应用成熟度：,金融、电子商务、电信、医疗最高。,深度分析型,CRM,防欺诈和金融风险管理,根据客户建议优化业务,风险可控的产品组合管理,舆情监测及分析系统,大情报系统,平安城市,快速险情或疾病应急系统,日志查询与分析,电信增值服务,社交媒体分析降低用户转网率,基于,LBS,的精准产品营销,电子健康档案管理,疾病预防和控制,自动化诊断和处理系统,智能交通和道路监控管理,客票和客户管理,货运和物流管理,航空,/,铁路智能线路调度,客户购买行为分析,交叉销售,品牌定价策略分析,销售效果分析,在线教育效果分析,大学生情绪分析,案例：某企业以,大数据技术为核心，建立基于数据驱动的运营体系,洞察：,理解顾客心理、行为以及企业行动对他们的影响，如用户评价分析,定位：,缩小目标，确定受众群体，对市场精细化细分，如用户画像,个性化：,分别对待不同顾客，增强针对性，如精准推荐,情景：,比对单一顾客数据与整体数据，以帮助顾客理解自我，或识别相关风险，如信用评分,大数据平台,数据存储,数据解析,如采用自然语言处理、语音识别、图像识别,获得认知,如用户洞察、产品洞察、消费特征、细化分类等,数字化场景,1,、用户分类,2,、精准营销,3,、线上体验优化,4,、产品与服务优化,全渠道数据,电,商与微店,门店体系,第三方电商,经销商体系,O,2,O,平台,搜索与地图,论坛与贴吧,社交媒体与视频,社交平台数据,标杆,经营数据,第三方数据,用户信息,行业参考信息,企业经营数据,自动化设备,E,R,P,信息,渠道运营与门店,订单交付体系,协同工作平台,经营数据,基础信息,交易信息,行为信息,联络信息,参考信息,5,、运营优化,大数据解决方案示例,Sources,业务系统,渠道,CRM,ERP,社交互联网,主数据,数据探索实验室,数据挖掘,机器学习,数据探索,数据发现,数据仓库,访问与汇总层,星型模型，,立方体，衍生数据，汇总数据，分析结果数据,基础层,集成化的主题模型与数据,商业智能,/,数据可视化,信息模型,业务导向模型，通过数据映射成为报表和分析结果,报表,仪表盘,即席分析与查询,BI,服务,数据整合与数据质量,消息队列,批量抽取,数据转换,数据质量,实时整合,任务调度,元数据管理,模型,数据追溯,业务数据字典,数据传输,数据访问,整合点,元数据定义,规则,数据湖,数据水库,数据从源端抽取，基本不做转换，保持与源端相同存储格式，包含历史数据,ODS,与源系统保持近实时数据同步，一体化模型,实时,批量,数据流,流处理,/,事件处理,数据采集,数据存储,数据发现,数据可视化,决策支持,数据流,参 考,大数据解决方案示例,参 考,