大数据技术和应用案例

大数据技术和应用案例大数据技术和应用案例PAGE DIRECTORY目录大数据的产生01大数据技术及分析02企业大数据03大数据应用案例04讲述内容讲述内容18:01个人的看法04childjumphip01第一部份大数据的产生 大数据的产生缘由 大数据的特征 大数据产业（链）Cause of Big Data18:01大数据的产生大数据的产生缘由各行各业大数据每天都在产生我国网民数量(6.88亿)居世界之首，每天产生的数据量位居世界前列某宝网站-单日数据产生量超5万GB-存储量4000万GB-目前数据总量10亿GB-存储网页1万亿页-每天约60亿次搜索请求百度公司城市监控医 院-每小时能产生3.6GB的数据-每月产生数据上千万GB-每个病人的CT影像达几十GB-全国每年保存的数据达上百亿GB新的数据来源/新的数据采集方法-互联网（社交网络、电子商务等）-物联网（传感器、二维码、RFID、无线射频识别、位置信息等）全时空数据的可采集性智能算法的使能非结构的数据形态-图片、视频、音乐-商务智能（BI）-人工智能（AI）而数据获取成本、存储成本和处理成本的下降，也推动了数据量的膨胀。1实时分析：流信息、即时需求Velocity（速度）2海量数据：超规模、数字化生活、数据商务。Volume（大量）3低价值密度：大量的不相关信息、需深度分析Value（价值）4多源异构性：不同形式（文本、图形、视频数据）、无模式或者模式不明显、不连贯语法和句义。Variety（多样）大数据的产生大数据的特征大数据的产生大数据产业（链）大数据的产业是哪些？如交易数据、交互数据、传感数据。当前我国大数据处于起步发展阶段，各地积极性高，市场增速明显。2014年，我国大数据市场规模为759.4亿元，存在结构发展不均衡等特点。大数据产业链主要包括以下4个环节：大数据生产与集聚大数据组织与管理大数据分析与发现大数据应用服务如开展分布式文件系统、分布式计算系统、数据库、数据仓储、MOLAP、HOLAP、数据转换工具、数据安全等。如数据挖掘、数据统计、基于大数据的业务分析与预测、基于大数据的决策、商业智能、人工智能、数据可视化等。如数据运营、大数据交易、分析与预测服务、决策支持服务、数据分享平台、数据分析平台等。大数据IT基础设施：存储设备、运算设备、一体机、操作系统、基础软件、IT支撑等。childjumphip02第二部份大数据技术及分析Big Data Technology 大数据的技术（例）大数据的分析方法（例）18:01大数据技术及分析大数据的技术（例）基于Cookie信息的互联网精准广告定向技术Cookies是一种能够让网站服务器把少量数据储存到客户端的硬盘或内存，或是从客户端的硬盘读取数据的一种技术。Cookies是当你浏览某网站时，由Web服务器置于你硬盘上的一个非常小的文本文件，它可以记录你的用户ID、密码、浏览过的网页、停留的时间等信息。定向技术指的是依托于搜索引擎庞大的网民行为数据库，对网民几乎所有上网行为进行个性化的深度分析，按广告主需求锁定目标受众，进行一对一传播，提供多通道投放，按照效果付费。而用户追踪技术的基础就是Cookie。这只是大数据获取及应用的一小技术，大数据运用到的技术还有很多，包括有大数据采集大数据预处理大数据存储及管理大数据分析及挖掘大数据展现和应用（检索、可视化、安全等）各环节下的技术。大数据技术及分析大数据的分析方法（例）大数据分析方法：回归分析、聚类分析、网络分析、关联分析.关联分析确定型关系。扑克牌表演，表面看似随机实际只需记忆不动点即可。啤酒与尿布 溺水事件与雪糕销量 非因果关系 隐藏共因不确定关系。双色球，不确定型推理做不出精准，非必然的、随机的 “王”“宝”“强”，餐饮促销。childjumphip03第三部份企业大数据Enterprise Data 企业大数据有哪些大数据对企业的作用企业产品规划18:01企业大数据企业大数据有哪些大数据是企业的感知载体、感知要素。企业通过各种的“感知器官”收集信息并以数据形式展示，数据的指标能监测和反映企业运行状态。-管理数据，反映企业的管理状况。-运营数据，反映企业的经营状况。-产品数据，反映产品销售情况，市场占有率。-生产数据，反映企业生产效率。-用户数据，反映用户活跃度，用户画像。企业大数据大数据对企业的作用在技术上，大数据推动企业数据分析技术革新。大数据推进企业转型作用在管理上，大数据优化企业管理流程，促进管理效率提升在运营上，大数据改变了以往营销策略，提供个性化的产品和服务。在思维上，改变以技术或产品为导向的企业思维，要以用户需求为核心的大数据思维，通过大数据挖掘消费者用户的需求。企业大数据企业产品规划汇聚企业相关数据，规划设计基于特定功能的数据产品，针对某一特定用户需求推出的数据解决方案。用户画像用户画像建模建模标签化标签化上网特上网特征征兴趣偏兴趣偏好好购物偏购物偏好好人口属人口属性性其他标其他标签签用户基用户基本信息本信息用户行用户行为信息为信息用户社用户社交数据交数据其他其他数据数据用户画像个性化推荐个性化推荐用户洞察用户洞察产品偏好产品偏好精准营销精准营销childjumphip04第四部份大数据应用案例Case 互联网公司布局 某威客网18:01大数据应用案例互联网公司布局浏览器输入法消费行为统计分析网络入口 用户粘性 用户数据 银行卡消费 个人消费情况分析 银行 支付宝、微信消费数据大数据应用案例某猪威客网(一)某猪威客网服务众包平台在最初的几年里，某猪网可以看作是一个服务业的“某宝”，将服务需求者与提供者链接起来，并从中收取佣金提成。现有的交易有赖于双方沟通，但是只要一沟通就会翻墙跑单。因为服务商想逃避佣金，买家也愿意逃佣金，平台不应该拿钱。交易产品非标准化复杂的个性化定制交易复杂购买交易非常低频购买决策非常理性存 在 的 问 题企业增长缓慢（朱明跃）大数据应用案例某猪威客网(二)基于大数据的平台增值服务模式商业模式的创新第一，近第一，近500万的中小微企业用户。万的中小微企业用户。且每天新增将近5000户并在平台至少有一次交易。第二，服务商。某第二，服务商。某猪网8、9年做下来后平台上有一千万名家各界的专业人才，有设计师、工程师等等。第三，海量的作品数据。第三，海量的作品数据。累积的作品数据有10个T以上，有些事垃圾，但也有一些有用的东西。第四，交易行为数据。第四，交易行为数据。各种服务日志、交易日志，都是海量的数据。用户数据 “富含宝藏的海洋”深入挖掘分析小微企业的实际需求 找切入点如果不收佣金，能为用户提供什么延伸服务？大数据应用案例某猪威客网(三)基于大数据的平台增值服务模式“钻井模式”某猪网找到了切入点，在自己搭建的某猪网找到了切入点，在自己搭建的“钻井平台钻井平台”上获得了上获得了“石油石油”。第一口井通过对客户数据的研究后，发现客户设计完标志设计完标志以后，大部分还需要做知识产权保护知识产权保护，其中最核心的是商标注册代理和版权登记最核心的是商标注册代理和版权登记。接下来成立的“猪标局猪标局”，只用了半年时间就成为了中国最大的商标公司。和依文 集团合作成立“xx宝宝”。因为某猪网有很多VI作品交易，VI很大一部分是LOGO，如果这些企业想做职业装，就直接对接过去。企业孵化，某猪网的创意服务者中，不乏有收入和等级高的成立工作室，随后产生注册公司的需要。某猪展开合作，在各城市建创新型产业园。一年少收了佣金六千万，但仅凭商标业务就赚了三个亿。childjumphip05第五部份个人的看法My Point 我对大数据的一些理解 大数据对我司的意义 18:01个人的看法我对大数据的一些理解对大数据的认识，我（jiao）的（liu）理（yi）解（xia）统计学 信息技术 汇集不同数据源 像一门现代的“易经”做预测 做决策的依据 做精准营销 资源优化配置 从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户“口味”的产品和服务，并结合用户需求有针对性地调整和优化自身。一条信息可以很贵 拥有稀缺数据资源的企业很热 效益高甲级导航测绘-稀缺 阿里11亿收购高德 腾讯11亿入股四维 百度竞购Here我司在大数据上的应用估价宝 评估参考价值 提高评估业务效率 定义用途价值个人的看法大数据对我司的意义(一)大数据就是将海量碎片化的信息数据能够及时地进行筛选、分析，并最终归纳、整理出企业需要的资讯。快速地发现消费者的需求变化和市场发展趋势，从而帮助企业及时做出正确的决策。例，推广估价宝，通过对用户操作日志统计，获知地区下市民关注的地块情况。帮助了解客户和市场 企业对各项运营数据，形成基于企业的资源分布可视图，让企业的管理者可以更直观地面对自己的企业，更好地利用各种已有和潜在资源。通过大数据的相关性分析，根据不同市场数据之间的交叉、重合，企业的运营方向将会变得直观而且容易识别，在品牌推广、战略规划方面将做到更有把握地面对。例，通过统计各业务盈利的比例、各业务投入资源的配置情况分析后，发现.盈利快。通过行业数据做关联分析，发现.技术应用于.比重上升.帮助做好规划和运营纯属个人观点微聊大数据对我们公司的意义 我司作为.数据供应商，可以定位为大数据产业链中的上游企业，做数据采集、生产，并打包出售，同时也是大数据的应用单位。但我觉得，我司现在并没有将形成一套有效的数据管理、存储、出售的机制。我们每年都有大量的.成果，那么，我们能否将这成果形成数据资源做二次的利用和挖掘呢？融入大数据产业的契机我对大数据的看法大数据对我司的意义(二)大数据的发展得益于技术的革新。其中，各种前沿的采集或获取技术（如：无人机航拍技术、激光扫描技术、网络爬虫技术、图像识别技术）、新的数据表现形式（如：虚拟现实技术）都可以进入我司技术革新的思考范围。技术革新将给我司传统.业务变得更方便。大数据技术带来的技术革新思考技术单一 “车调”“点调”多人作业营销渠道、新闻、外业反馈情报离线地图产品 3个月更新多技术运用 图像自动识别 1人驾车采集外业、网络爬虫、用户回传数据等获取情报在线地图产品 号称高速开通5分钟即可上线childjumphipz制作制作谢 谢 聆 听TANKS18:01谢 谢！放映结束放映结束感谢各位观看！感谢各位观看！让我们共同进步让我们共同进步结束语结束语谢谢大家聆听！谢谢大家聆听！25