大数据融合及应用课件

精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远大数据融合及应用大数据融合及应用2024/7/9大数据融合及应用2023/8/131精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远目录大数据应用案例1大数据关键技术42大数据带来的时代变革56大数据风险大数据在“工业4.0”中的应用认识大数据37结语目录 大数据应用案例1 大数据关键技术422精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远目录大数据应用案例1大数据关键技术42大数据带来的时代变革56大数据风险大数据在“工业4.0”中的应用认识大数据37结语目录 大数据应用案例1 大数据关键技术423精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 一个父亲有一个高中的女儿，接到了一个促销的广告，是关于婴儿的广告，这个父亲勃然大怒，说商家无良，为了促销向我的高中生女儿促销婴儿产品。但是过了一两个星期，他感到非常内疚，因为他对于商家的这种态度是错误的，原因是他的高中女儿确实怀孕了。为什么商家会发现这个问题呢？商家实际上就是通过在商场的一些数据挖掘和对比，发现这个女孩子经常在商场里购买过类似的一些商品，在有一些类似的货架面前驻足观看，而且这个频度很高，商家对于后台大数据的分析，筛选出潜在的客户，发出商业广告。案例1“无良”商家 一个父亲有一个高中的女儿，接到了一个促销的广告，是4精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远案例2农夫山泉利用大数据卖矿泉水案例2 农夫山泉利用大数据卖矿泉水5精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远案例3阿迪达斯的“黄金罗盘”案例3 阿迪达斯的“黄金罗盘”6精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远案例4淘宝网掘金大数据金融市场淘宝推出信用贷款服务，不依赖担保、抵押，仅基于海量的企业经营数据，通过大数据分析，分析出企业经营状况和信誉度，作出决策，这种金融模式获得了巨大的成功！案例4 淘宝网掘金大数据金融市场 淘宝推出信用7精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远大数据帮助提高制造绩效的3个主要方面分别是：更好的预测产品需求并调整产能（46%），跨多重指标理解工厂绩效（45%）以及更快地为消费者提供服务与支持（39%）。上述数据是根据“LNS研究与MESA国际”的近期调查得出的。案例5麦肯锡：如何利用大数据改进制造业大数据帮助提高制造绩效的3个主要方面案例5麦肯锡：如何利用大8精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远案例5乔布斯的癌症治疗 苹果公司的传奇总裁史蒂夫-乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。乔布斯生病后，治疗团队也调用了大数据，对乔布斯的个人情况匹配海量的诊疗数据，得到一个更好的治疗方案，因此他的生命得以延长了好几年。乔布斯开玩笑说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。案例5 乔布斯的癌症治疗 苹果公司的传奇总裁史蒂夫-乔9精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 趣多多在愚人节的这次营销活动，创造了6亿多次页面浏览并影响到近1,500万独立用户，品牌被提及的次数增长了270%。可以说这是一次成功的品牌营销活动，广泛的发声，让趣多多的用户关注度得到了一次巨大的提升，诙谐幽默的品牌基因更加深入的进入到用户的意识层面。案例6依靠大数据玩转愚人节营销 趣多多在愚人节的这次营销活动，创造了6亿多次页10精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远目录大数据应用案例1大数据关键技术42大数据带来的时代变革56大数据风险大数据在“工业4.0”中的应用认识大数据37结语目录 大数据应用案例1 大数据关键技术11精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远大数据带来的时代变革 一场生活、工作与思维的大变革！大数据带来的时代变革 一场生活、工作与思维的大变革！12精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 大数据开启了一次重大的时代转型。就想望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发大数据，变革公共卫生大数据，变革商业大数据，变革思维大数据，开启重大的时代转型预测，大数据的核心大数据，大挑战 大数据开启了一次重大的时代转型。就想望远镜让我们能够13精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远一、大数据时代的思维变革一、大数据时代的思维变革14精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远“更多”不是随机样本，而是全体数据！当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本总体”。让数据“发声”小数据时代的随机采样，最少的数据获得最多的信息全数据模式，样本总体“更多”不是随机样本，而是全体数据！当数据处理技15精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框架且能适用于传统数据库的。如果不能接受混乱，剩下95%的非框架数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。允许不精确大数据的简单算法比小数据的复杂算法更有效纷繁的数据越多越好混杂性，不是竭力避免，而是标准途径新的数据库设计的诞生“更杂”不是精确性，而是混杂性！执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%16精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。关联物，预测的关键“是什么”，而不是“为什么”改变，从操作方式开始大数据，改变人类探索世界的方法“更好”不是因果关系，而是相关关系 知道“是什么”就够了，没必要知道“为什么”。在大数据17精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远二、大数据时代的商业变革二、大数据时代的商业变革18精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而不是在“I”(信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信息本身了。数据，从最不可能的地方提取出来数据化，不是数字化量化一切，数据化的核心当文字变成数据当方位变成数据当沟通成为数据一切事物的数据化“数据化”一切皆可“量化”大数据发展的核心动力来源于人类测量、记录和分析世界的19精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。数据创新1：数据的再利用数据创新2：重组数据数据创新3：可扩展数据数据创新4：数据的折旧值数据创新5：数据废气数据创新6：开放数据给数据估值“价值”“取之不尽，用之不竭”的数据创新 数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能20精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 微软以1.1亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以7亿美元的价格购买了给Farecast提供数据的ITA Software公司。如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分价值还是必须从数据本身来挖掘。“角色定位”数据、技术与思维的三足鼎立 微软以1.1亿美元的价格购买了大数据公司Fareca21精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远三、大数据时代的管理变革三、大数据时代的管理变革22精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“TA”，还有我们的社交关系网。无处不在的“第三只眼”我们的隐私被二次利用了预测与惩罚，不是因为“所做”，而是因为“将做”数据独裁挣脱大数据的困境“风险”让数据主宰一切的隐忧 我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的23精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 当世界开始迈向大数据时代时，社会也将经历类似的地壳运动。在改变人类基本的生活与思考方式的同时，大数据早已在推动人类信息管理准则上重新定位。然而，不同于印刷革命，我们没有几个世纪的时间去适应，我们也许只有几年时间。管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任管理变革2：个人动因VS预测分析管理变革3：击碎黑盒子，大数据程序员的崛起管理变革4：反数据垄断大亨“掌控”责任与自由并举的信息管理 当世界开始迈向大数据时代时，社会也将经历类似的地壳运24精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远正在发生的未来正在发生的未来 大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来！正在发生的未来 大数据并不是一个充斥着算法和机器的冰冷25精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远目录大数据应用案例1大数据关键技术42大数据带来的时代变革56大数据风险大数据在“工业4.0”中的应用认识大数据37结语目录 大数据应用案例1 大数据关键技术4226精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。麦肯锡称：数据，已经渗透到当今每领域一个行业和业务职能领域，成为重要的生产因素！最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡27精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VoluVolumemeVelociVelocitytyValueValueVarietVariety y大数据的大数据的4V4V特征特征“大量化(Volume)、多样化(Variety)、快速化(28精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远大数据融合及应用课件29精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远目录大数据应用案例1大数据相关技术42大数据带来的时代变革56大数据风险大数据在“工业4.0”中的应用认识大数据37结语目录 大数据应用案例1 大数据相关技术4230精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远Structure based:key value integration Your text in here Content based:spatial-temporal linkageKnowledge:ontology guided data fusion,Common sense integration,Domain knowledgeObserve relationships between every data items Reveal the trends Create new conceptsShow the categories and hierarchies Data mining:association,clustering,time-series and classification analytics Graph mining Ranking everything数数数数据融合据融合据融合据融合大数据分析大数据分析大数据分析大数据分析可视化可视化可视化可视化可视化可视化 大 数 据 处 理 理 论 依 据大数据系统构件数据管理知识开发用户互动Structure based:key value int31精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远大数据融合及应用课件32精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远基于SQL语言:面对OLAP的传统行和列不基于SQL或map-reduce的:由谷歌率先发起数据流:基于运行商数据直接生成任意图形新平台技术数据入口/汇聚数据平台分析不同范围的服务传统交付模式-单片或基于设备的解决方案云云:能够充分利用物理设施的弹性，以实现处理快速增长数据的能力“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”-Forrester analyst Jim Kobielus新的传输方案大数据新模式和新技术基于SQL语言:面对OLAP的传统行和列不基于SQL或ma33精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远Gartner 2011年技术成熟度曲线,大数据处于高速发展期Gartner 2011年技术成熟度曲线,大数据处于高速发展34精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远大数据应用案例1大数据关键技术42大数据带来的时代变革56大数据风险大数据在“工业4.0”中的应用认识大数据37结语 大数据应用案例1 大数据关键技术42 35精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远一、制造业正处于一个数据爆炸的时代【制造业企业的运营越来越依赖信息技术】【制造业整个价值链、制造业产品的整个生命周期都涉及到诸多的数据】【数据量的暴涨成了许多行业共同面对的严峻挑战和宝贵机遇】一、制造业正处于一个数据爆炸的时代36精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远制造业大数据分布图制造业大数据分布图37精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远产品数据：设计、建模、工艺、加工、测试、维护数据、产品结构、零部件配置关系、变更记录等。运营数据：组织结构、业务管理、生产设备、市场营销、质量控制、生产、采购、库存、目标计划、电子商务等。价值链数据：客户、供应商、合作伙伴等。外部数据：经济运行数据、行业数据、市场数据、竞争对手数据等。个性化定制数据：大规模定制和网络协同的发展，使得个性化定制数据一跃成为消费者张扬个性的载体。产品数据：设计、建模、工艺、加工、测试、维护数据、产品结构、38精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远二、大数据是工业互联网的命脉大数据可能带来的巨大价值正在被传统产业认可！通过技术创新与发展，以及数据的全面感知、收集、分析、共享，为企业管理者和参与者呈现出看待制造业价值链的全新视角。二、大数据是工业互联网的命脉二、大数据是工业互联网的命脉 大数据可能带来的巨39精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远1）实现智能生产1）实现智能生产40精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远2）实现大规模定制2）实现大规模定制41精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远“两个海量”消费需求产生海量数据 生产过程产生海量数据 这两方面大数据信息流最终通过互联网在智能设备之间传递，由智能设备进行分析、判断、决策、调整、控制并继续开展智能生产，生产出高品质的个性化产品 实现工业4.0的两大特征：智能与互联大数据应用将带来制造业企业创新和变革的新时代。三、大数据构成新一代智能工厂“两个海量”这两方面大数据信息流最终通过互联网在智能42精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远工业4.0时代的到来，意味着工业大数据时代的到来。工业大数据的应用，也必将成为未来提升制造业生产力、竞争力、创新能力的关键要素抓住二者，便能占据全球工业转型的制高点！43精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远大数据应用案例1大数据关键技术42大数据带来的时代变革56大数据风险大数据在“工业4.0”中的应用认识大数据37结语 大数据应用案例1 大数据关键技术42 44精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 卓越的才华并不依赖大数据，大数据扼杀创新。如果对不可量化的事物进行量化，我们将失去全面了解该事物的机会！大数据属于谁？卓越的才华并不依赖大数据，如果对不可量化的事物45精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远目录大数据应用案例1大数据关键技术42大数据带来的时代变革56大数据风险大数据在“工业4.0”中的应用认识大数据37结语目录 大数据应用案例1 大数据关键技术4246精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 社会一旦有技术上的需要，则这种需要就会比十所大学更能把科学推向前进！社会一旦有技术上的需要，则这种需要就会比十所大学更能47精彩展示精彩展示精彩展示精彩展示路漫漫其悠远路漫漫其悠远 互联网、物联网、云计算技术的快速发展,各类应用的层出不穷引发了数据规模的爆炸式增长，由此可知，大数据技术将越来越深入应用到社会的各个领域，成为重要的生产因素！1、没有Open data 就没有Big Data!2、大数据需要立法！3、未来IOE-泛在网的应用将比物联网更能促使大数据得到更广泛的应用本小组关于大数据的几点思考：互联网、物联网、云计算技术的快速发展,各类应用的层出48