资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,IBM,电信业商业智能解决方案,IBM,公司软件部,林南晖,Tel:010-65391188 ext 3909,Email:,linnh,议程,数据分析与决策支持系统面临的挑战,IBM,商业智能解决方案简介,IBM,方案优势,电信企业的需要,帐务统计,收益分析,网络、基站运维分析,绩效考核,客户关系管理,风险预测,市场竞争分析,.,帐务统计、分析,日、月统计报表,月结算报表,营业收入统计、分析,资费来源统计、分析,业务量统计、分析,.,收益情况分析,收入总量分析及预测,收入增量分析及预测,ARPU,分析及预测,收入结构分析及预测,大客户收入情况分析及预测,客户交费情况分析及预测,客户欠费情况及其结构分析及预测,新增客户交,/,欠费情况分析及预测,欠费回收情况分析,高额,/,欺诈分析,销账分析,市场竞争分析,市场占有率分析及预测,市场需求分析及预测,竞争对手发展情况分析及预测,各竞争对手的市场营销分析,供应商市场行为特征分析,合作商市场行为特性分析,业务发展分析,业务量发展分析及预测,业务增量分析及预测,MOU,分析及预测,新业务使用量分析及预测,业务资源使用特征分析及预测,大客户使用业务量的特征分析及预测,大客户使用业务的特征分析及预测,流量和流向特征分析及预测,客户分析,客户总量分析及预测,新增客户分析及预测,客户净增量分析及预测,客户流失量分析及预测,客户转网量分析及预测,大客户发展分析及预测,客户消费能力分析及预测,客户消费习惯,/,爱好分析及预测客户信用度分析,外来用户分析,模拟用户分析,储值卡用户分析,潜在用户分析,零次用户分析,一户多卡用户分析,客户关系管理及市场策略,发现优秀客户,发现易流失客户群,调整产品定价,发现客户行为模式,开发新产品,交叉销售,.,网络、基站分析,基站配置与话务量分布情况分析,分析各时段各基站,/,交换机的负载情况,网络收益分析,网络容量分析,网络安全分析,热点小区分析,路由分析等,服务质量分析,客户服务质量分析,客户服务时限分析,客户咨询,查询焦点分析,客户投诉焦点分析,大客户服务质量分析,客户满意度分析,客户忠诚度分析,营销管理分析,市场价格分析,营销渠道作用分析,代销代办酬金分析,营销人员素质分析,营销宣传市场效果分析,促销行为市场效果分析,综合决策分析,决策取向模拟分析,决策行为市场操作模拟分析,决策行为市场效果模拟分析,绩效考核,分公司绩效考核,营业部绩效考核,营业员绩效考核,.,当前状态,计费系统,网管系统,财务系统,营业系统,结算报表,CRM,局长信息系统,挑战：信息孤岛,财务系统,市场促销数据,客户数据,营业数据,呼叫中心数据,建立数据仓库、实施商业智能,生产系统,数据仓库,OLAP,智能挖掘,如何实施商业智能,分析的复杂度和价值,统计,多维,数据挖掘,优化,阶段 1 阶段 2 阶段 3 阶段 4 阶段 5,分析的阶段,数据集市,数据仓库,发现,验证,IBM BI,解决方案产品,业务系统1,业务系统2,业务系统3,业务系统,n,数据仓库管理器/数据库,Warehouse Manager/DB2 UDB,DB2 OLAP Server,报表工具,QMF,DB2 OLAP Server Analyzer,Intelligent Miner for Data,其它应用,IBM BI,体系结构,DB2 UDB,DB2 UDB,DB2 Warehouse Manager,数据仓库管理器,Meta Data,DB2 OLAP Server,DB2/Warehouse Control Center,OLAP Server App Manager,OLAP Server Analysis Server,客户端工具,支持,WEB,决策支持工具和应用程序,DB2 Family,ORACLE,Informix,Sybase,SQL Server,IMS & VSAM,Files,Data Joiner,DB2 Intelligent Miner for Data,数据智能挖掘服务器,什么是数据仓库,数据仓库是指从,业务数据,中创建,信息数据库,，并针对,决策,和,分析,进行优化。,数据仓库中的信息是,面向主题的,、,集成化的,、,稳定的,、,随时间变化,的数据集合，用以支持管理决策的过程。,数据来自多个数据源，并整合到一个数据库中。,在数据整合的过程中数据要经过,聚合,、,摘要,和,清洗,。,不同的数据用于不同的目的,面向主题,集成,比较稳定,包含历史数据,支持管理决策,面向应用,有限集成,经常更新,仅有当前值,支持日常业务运作,业务数据,信息数据,业务数据和信息数据根本不同！,Trust,Accounts,Checking,Accounts,Loan,Accounts,Loan,Accounts,年,月,日,Account History,建立数据仓库的过程,商业主题,业务信息,业务数据,管理,转换工具,商业视图,元数据,成员,映射,商业视图,Templates,外部数据,DB2 Data Warehouse,体系结构,Log Server,Kernel,Dispatcher,Scheduler,Clients,Warehouse Server,Warehouse Agents,Databases,Relational,Source,DB2 Target,Data,Message,Message,Non-,Rel,Source,End Users,Data,Data,Data,Data,NT/2000, OS/2, AIX, Sun, OS/390, AS/400,DDD,Log,Editions,Configuration,Control,Database,DB2,Metadata,Metadata,Type title,Type text,Flat Files,Data Warehouse Center,Message,NT/2000,NT/2000 Agent,NT/2000, AIX, Sun,Included with DB2 UDB,数据仓库代理,(Agent),技术,数据仓库控制服务器,(Warehouse Control Server),时间表启动,从控制数据库中获取商业视图定义,启动代理,(,通过代理,后台,进程,),循环,:,-,接受和记录结果,-,更新客户端显示,数据仓库代理,(Agent),响应,VW,管理器,循环,:,-,接受命令,-,执行命令,-,报告状态,DB2 UDB,高度并行的海量数据库,Cluster,多个大缓冲区,支持64位内存寻址,内存管理,单处理器,对称多处理,(,SMP),Massively Parallel Processor (MPP),增强的,SMP,并行支持,MPP,并行支持,并行事务,CPU,SQL,CPU,SQL,CPU,SQL,CPU,SQL,并行查询,SQL,CPU,CPU,CPU,CPU,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile -Time,Run - Time,Agent,Agent,Agent,Prefetchers,Single query involves,1 coordinating agent,n sub agents,m,prefetchers,(shared),All executing in parallel on available processors,Combination of.,Data parallelism,Each agent works on subset of data,Data dynamically assigned so user not required to partition data,Functional parallelism (pipelining),Each agent works on different query function, e.g. scan, sort,Also enables,Parallel Index Create,Parallel Backup and Restore,Allows multiple processes to read or write data to/from the database,Parallel LOAD,Exploitation of multiple processors during load, particularly for parsing/converting/formatting data,节点内部并行,Parallel Edition - style (shared-nothing),Data parallelism through hash partitioning,Partitions can be.,Physical on MPP or cluster,Logical on SMP,Run - Time,Agent,Prefetchers,Agent,Prefetchers,Agent,Prefetchers,node 0,node 1,node n,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile -Time,节点间并行,(,数据库分区间并行,),.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,Single Database View,Parallel Optimizer,User,Query,Node,(CPU),Node,(CPU),Node,(CPU),Node,(CPU),Shared-nothing software architecture supports,Independent physical nodes,Separate CPU, memory, and disk,Including SMP nodes,OR,Multiple logical database partitions on single large SMP Server,Interpartition,communication is cross memory, not cross network,Data is partitioned across nodes automatically by hashing,Everything operates in parallel,Select,Insert,Update,Delete,Backup/restore,Load,Create index,Reorg,充分利用分区数据库的能力,Social Insurance Number,Name,Location,123-456-789,JoeBoston,Toronto,Partition Key value Hashed to: 8,Vector,Position,0,1,2,3,4,5,6,7,8,9,10,11,12,.,Node,1,2,3,1,2,3,1,2,3,1,2,3,1,.,DB2,DB2,DB2,Partition Map,Determines home for row,Can be adjusted for data skew using the REDISTRIBUTE utility,Hash,分区和分区映射表,Blends best of MPP and SMP style of parallelism,Ideal for SMP clusters,Most flexible hardware support,Leading Edge Query Optimizer!,Run - Time,node 0,Agent,Agent,Agent,Prefetchers,node 1,Agent,Agent,Agent,Prefetchers,node 2,Agent,Agent,Agent,Prefetchers,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile -Time,分区内及分区间并行,DB2 UDB:,更大的容量,表,/,视图,/,列,/,别名长度增加,名字更容易记忆,更容易移植,SQL,语句长度可达,64KB,更复杂的查询和分类,(,如数据挖掘,),由工具自动生成的语句,VARCHAR,大小可以达到,32KB,更小依赖,LONG VARCHAR,，,节省空间并提高性能,最大表,/,表空间大小,64GB/128GB/256GB/512GB,可以生成更大的表而不需要分区,(partition),索引字段总长度达,1024byte,可以对更多,/,更长的字段加索引,DB2 UDB:,优化技术,优化级别,0-9,查询重写,增加隐含的条件,一般条件下压,(pushdown),子查询该为,JOIN,消除不必要的,JOIN,将量化的条件转化为标量子查询,将,OR,转为,IN,将,IN,转为,JOIN,视图合并,消除不必要的,DISTINCT,优化器扩展,减少限制,RID,列表排序,Index,Oring,执行计划分析,避免,Cartesian,积,增强的,JOIN,大小估计,非统一的分布式统计,I/O,统计,对随机和顺序,I/O,不同处理,锁优化,可修正的,CPU,和,I/O,成本估算,可更新的目录统计,DB2 UDB,与商业智能集成,新的统计函数,页面大小：,4KB, 8KB, 16KB, 32KB,更小的,I/O,，,减少索引的层次,优化器可以利用多个缓冲池,(,与页面大小,),更多的利用星型连接优化,利用星型连接设计的数据库性能更好,对数据仓库的增强,数据加载过程中自动建立索引,LOAD TERMINATE/RESTART,选项,LOAD,时递增的建立索引,利用,LOAD INSERT,将数据附加到已经存在数据的表中,易用的管理工具,DB2 Connect Enterprise Edition,DRDA-Compliant Server,Data Replication,Capture,Apply,VisualAge,for Java,DB2 Extenders,Visual Explain,Developers,Client Configuration Assistant,Users,DB2 Discovery,Administrator,Command Center (GUI CLP),DB2 UDB Server,DB2 UDB Server,Governor,Control Center and Utilities,Performance Monitor,Job Scheduler,Performance,SmartGuide,Network Configuration,SmartGuide,Administration Server,Satellite Administration,集成化的图形界面管理工具,Control Center,Command Center,Performance Monitor,Performance Smart Guide,Index,SmartGuide,Other Tools Integrated with the DB2 Control Center,DB2 Script Center,Allows users to create and schedule scripts for regular database activities,DB2 Journal,Provides users with a view of activities which have,occured,in the DBMS,DB2 License Center,Allows users to monitor license compliance,DB2 Information Center,Provides users with the entire DB2 UDB Technical Library online,Server Communications (Network) Configuration Assistant,Automates set up of server for communication with clients,Client Configuration Assistant,Database connection configuration and testing,Can request that DB2 Discovery search network for databases,ODBC administration,DB2 Discovery,Searches for DB2 servers and databases over the network,Returns information required for connection to client,DB2,家族产品全面解决方案,TCP/IP,IPX/SPX,NETBIOS,DOS,WINDOWS,WinNT,Win95,Win98,OS/2,AIX,HP-UX,SCO,SUN Solaris,SNI SINIX,SGI,Irix,MAC,Web Browsers,Clients,DB2 for OS/400,DB2 for AIX,DB2 for OS/2,DB2 for HP-UX,DB2 for HP-UX 11.0,DB2 for SUN Solaris,DB2 for SINIX,DB2 for NT,DB2 for SCO,DB2 for SCO,Unixware,7,Servers,DB2 Connect,Datajoiner,Net.Data,Middleware,Parallel Complexes,DB2 UDB EEE for AIX,DB2 UDB EEE for SUN Solaris,DB2 UDB EEE for Windows NT,DB2 UDB for OS/390,DB2 for OS/400,Personal,DB2 for OS/2,DB2 for WinNT,DB2 for Win95,DB2 for Win98,Lotus Approach,Satellite Edition,DB2 Everywhere,Oracle,Sybase,Informix,SQL Server,IMS,VSAM,Sources,Tivoli TME-10,Satellite Edition,Management,Hosts,DB2 UDB for OS/390,DB2 for VM and VSE,DB2 for OS/400,TCP/IP,SNA,IPX/SPX,WAN,Complete,Solutions,Online Analytical Processing (OLAP),由,IBM,研究员,E.F.,Codd,提出，被业界广泛采用,为计划和分析优化处理,多维视图,钻取,切片,满足用户需求,填补关系型数据库的不足,利用现有投资,后台交易系统,前台报表系统,OLAP:,多维分析,用维的,方法观察数据,产品，时间，地区，财务指标等,数据模型等同于业务模型,结算分析,归属局,被访局,时间,冲销结算,北京,上海,天津,北京,广东,.,Q1,Q4,来访费用,出访费用,Q2,Q3,OLAP,：,多维分析,旋转：按不同顺序组织各个维，对结果进行考察,钻取：在一个维内部沿着从高到低或从低到高的方向考察数据,上钻,下钻,切片：在确定某些维数据的情况下对其他维进行观察,OLAP:,多维分析,时间,归属局,被访局,2000年,2000年1月,2000年1月1日,2000年1月2日,2000年1月3日,2000年2月,考察一个特定的维,时间维，包括每一个归属局到各被访局的冲销结算关系,钻取到下面的层次来考察详细情况,OLAP,：,旋转,时间,归属局,被访局,归属局,被访局,时间,按照不同的顺序组合维，对数据进行考察,OLAP,：,钻取,结算分析,时间,归属局,被访局,冲销结算,1999,2000,2001,北京,上海,.,北京,上海,来访费用,出访费用,Q1,Q2,Q3,Q4,Apr,May,Jun,钻取到各级数据层次,时间，年，季，月，日,归属局，省局，地市,OLAP,：,切片,时间,归属局,被访局,时间,被访局,归属局,一月份所有归属局对各被访局的冲销结算关系,每个归属局对被访局北京每个月份的冲销结算关系,用,切片的方法从不同的角度观察,OLAP,OLTP,OLTP vs. OLAP,：,不同的角色,纪录交易情况,有限的步骤,二维,数据管理,数据处理,运行,商业运作,确定任务,反复的过程,多维,数据合并,信息综合,推动,商业计划,DB2 UDB,支持,OLAP,的高级特性,优化的,SQL,先进的基于成本的优化器(,Starburst),查询重写,图形化界面生成的低效,SQL,独特的星型连接算法,Product,Store,Month,先进的索引技术,110011101010111010,111101101010101010,110001101010101010,On-Line Analytical Processing,Product,Month,Store,Cube, Rollup,操作符,表函数,并行支持,自动的摘要表,复制的表,IBM DB2 OLAP Server,开放的系统,最终用户,OLAP,工具,最终用户查询,/,报表工具,易于实现和管理,自动化的数据库设计,利用现有的技能和工具,系统管理,数据库管理,高度可伸缩性,(Scalability),与,IBM,数据仓库体系结合,提供两种存储方式,易于使用的安全权限限制,IBM DB2 OLAP Server,Essbase,OLAP,Engine,IBM,Relational,Storage,Interface,Essbase,Multi-,dimensional,Data Store,开放的接口标准,开放的应用程序接口和工具,C/C+ API,、,JDBC,、,ODBC/CLI,Embedded SQL,、,SQLJ,、,Java,、,C/C+,、,VB,、,Delphi/C+ Builder,、,Power Builder ,众多的客户端工具,DB2 OLAP Server Analyzer,Business Object,Brio,Cognos,Excel/Lotus 123,通用的运行平台,AIX,Solaris,HP-UX,Windows NT/2000,Linux,S390,AS400,OLAP Server,与数据仓库管理器紧密集成,IBM,的数据仓库管理器中带有大量与,OLAP Server,相关的程序,(,vwp,),：,文件数据加载到,OLAP,数据库数据加载,OLAP,用文件数据更新维,用数据库数据更新维,计算,用规则计算,客户可以使用,Web,方式访问，不需要安装任何,OLAP,工具。,Web,浏览器,应用服务器,WWW,OLAP Server,数据仓库,TCP/IP,客户端访问和维护,完善的授权机制：,应用程序级,数据库(,Cube,),级,过滤器,读、写、计算、设计权限,用户组,图形化管理界面,用户、权限管理,完整的日志纪录,数据挖掘,数据仓库,选择的,数据,选择,转换,挖掘,理解,转换后的数据,可理解的信息,抽取的信息,一个过程，从大型数据库中抽取以前没有发现，可理解的，可操作的信息，用以支持企业关键性决策。,数据挖掘的典型例子,基于历史数据预测行为,发现未知分群、规则和模式,常用数据挖掘算法分为三类,Data Mining Algorithms,No Prediction,Predict,One Thing,Time Series Matching,Predict,Everything,Associations,Sequential Patterns,Decision Tree,RBF,Classification,Value Prediction,Neural,Neural,Clustering,Demographic,Neural,常用数据挖掘算法,Clustering (Segmentation),-,no dependent variable,Demographic Segmentation,Neural Segmentation (,Kohonen,Map),Example: Identify common characteristics in a customer data base.,Predictive/Classification Modeling,-,dependent variable,Nonlinear regression,Decision trees,Neural networks,Radial-basis functions,Example: Predict IBMs stock price tomorrow.,常用数据挖掘算法,Link Analysis,-,transaction data,Basic associations (or dissociation),Sequential associations (over time),Example: Identify which features of an insurance policy sell together.,Similar Time Sequence,许多业务问题可以映射到数据挖掘技术,Intelligent Miner for Data V6.1,IBM Intelligent Miner for Data,Sequential Patterns,Associations,Predictive Modeling,Deviation Detection,Clustering,Classification,Data Mining Kernels,Visualization Tools,IBM DM Pre-Processing Library,DB2,Flat Files,数据驱动,发现竞争优势,Server,端运行于,NT/2000, AIX, SUN Solaris, MVS, AS/400,Client,端运行于,Win95/NT/2000, AIX, SUN Solaris,分群,(Clustering),结果样例,分群,(Clustering),结果样例,分类,(Classification),结果样例,客户表,公司与客户发生关系的各个方面,预测客户可能带来的利润,car type,car age,profession,age,amount of claims,van,2.5,physicist,52,0,van,12,physician,31,5,000,compact,1,teacher,25,386,sedan,0.75,teacher,55,1,234,compact,4,secretary,39,998,sports car,3,car dealer,62,stat. wagon,vicar,30,sedan,1.5,46,compact,1.5,butcher,46,预测样例,Intelligent Miner for Data,支持三种类型的关联分析,发现关联规则,在,交易数据库中，每一笔交易包括一组元素，本算法可以发现所有的关联关系，例如一组元素的出现将导致另一组元素的出现。,发现事件序列,在,数据库中存放这一段时间中的交易信息，本算法可以找出交易间的模式，例如一组元素将跟随另一组元素的出现而出现。,发现相似性时间序列,在,时间序列数据库中，找出与某一个具有相同/不同时间间隔的序列相似的序列。,关联分析,(link analysis),IM4D,体系结构,Client,Server,Standard,Extraction or Replication Tool,Data Analyst,Results,Graphical User Interface,Application Program Interface,Data Mining Techniques,Oracle,Sybase,Data,Processing,Functions,Flat,Files,DB2,DB2,Files,数据挖掘为业务方案提供了一条途径,Clearly Define the,Business Problem,Understand Problem,Prepare Relevant Data,data mining,Analyze Results,Present Results,Implement Solution and,Measure Success,IBM DM on the Web,http:/,/data,
展开阅读全文