提高BOSS系统报表统计速度QC发表38260

,单击此处编辑母版文本样式,第二级,第三级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,*,单击此处编辑母版标题样式,提高BOSS系统报表统计速度,中国移动贵州公司,业务支撑系统部系统优化QC小组,2012年6月,亲爱滴报表啊，求求你再快一点吧。,OMG，这个统计速度，实在受不了啦！有木有？有木有？,额滴个神啊，报表你敢不敢再快一点！,2,1、小组概况,3、现状调查,4、确定目标,5、原因分析,2、活动计划,6、要因确认,9、效果检查,10、巩固措施,11、回顾及下一步打算,7、制定对策,8、对策实施,3,小组概况,1,.,小组概况,1.,业务支撑系统部系统优化QC小组,成立于2007年3月，现场型小组,GearedE/L,Geared(,87%),PA15-CO90,IRIS1,Gearless(,93%),姓名,文化程度,组内职务,硕士,硕士,硕士,硕士,副组长,徐力,杨胜利,刘娟,龚珂,职称职务,部门副总经理、高级工程师,室经理、高级工程师,高级工程师、集团专家,工程师、集团专家,组长,组员,组员,硕士,硕士,马嘉,宋睿,工程师,工程师,组员,组员,由部门管理人员、行业专家和一线员工组成,2009年度,国优,QC小组,2010年度,省优,QC小组,2011年度,省优,QC小组,4,活动时间：,2011,年2月20,11,年7月,2011年,2月上旬,2月中旬,2月下旬,3月上旬,3月中旬,3月下旬,4月,5月,6月,7月,现状调查,制定目标,原因分析,要因确认,制定对策,对策实施,效果检查,巩固措施,总结回顾,活动计划,2,.,活动计划,2,.,5,名词解释,名词解释,报表统计速度,报表统计总耗时报表统计总次数,6,现状调查,3,.,现状调查,3,.,2010,年,11,月至,2011,年,1,月,BOSS,系统报表统计速度情况,平均速度43秒，呈线性上升趋势，月底月初是高峰,7,现状调查,3,.,现状调查,3,.,按照报表类型进行分类,序号,报表号,报表名称,耗时(秒）,统计次数,单个报表平均统计时长(秒),序号,报表号,报表名称,耗时(秒）,统计次数,单个报表平均统计时长(秒),1,8022,营业员营业厅收费日报实时,19958471,325610,61.3,22,8995,分品牌细分数据,38,7,5.43,2,2633,受理收入营业厅日报（不分品牌）,1499433,129748,11.56,23,8924,银行对帐月报,36,23,1.57,3,2601,受理收入营业厅日报（分品牌）,1375200,73980,18.59,24,8997,双倍返还（详单）,30,32,0.94,4,8071,CBOSS-营业员营业厅日统计(实时),228394,39990,5.71,25,8968,月应收情况统计报表（分摊前）,20,16,1.25,5,8023,自助终端缴费简表,168969,5884,28.72,26,8930,充值特快代理商代收费,20,45,0.44,6,3699,受理月总收入 总表,10975,557,19.7,27,8006,坏账缴费统计,17,30,0.57,7,36991,受理月总收入 明细,7796,442,17.64,28,8032,预付费月末余额统计,17,74,0.23,8,8068,CBOSS应收分摊统计表,4705,145,32.45,29,3105,积分月末余额,15,60,0.25,9,8961,空中充值充值明细日报,2099,24,87.46,30,8925,网上缴费月报,10,16,0.63,10,8966,日应收-实时,1141,230,4.96,31,8962,空中充值代理商帐户金额月报,8,9,0.89,11,8033,预付费调整统计,740,126,5.87,32,8994,欠费月末余额统计,7,37,0.19,12,8259,预付费月末冲销,662,55,12.04,33,8998,双倍返还统计(帐单),3,19,0.16,13,2634,实体卡收入日报,543,872,0.62,34,8920,CBOSS_发起方,3,11,0.27,14,8003,分期划款月末余额,434,54,8.04,35,8401,充值特快预付费月末统计表,3,20,0.15,15,8971,月应收调整,379,52,7.29,36,8963,空中充值预付费月末统计表,2,34,0.06,16,3103,回馈积分变更统计,212,59,3.59,37,8921,CBOSS_落地方,1,10,0.1,17,8970,月应收情况统计报表(分摊后),205,66,3.11,38,2649,随E行分摊统计,1,15,0.07,18,8004,欠费账龄统计,57,74,0.77,39,8400,充值特快授信帐户月报表,1,14,0.07,19,8973,月应收按片区情况统计报表（分摊前）,47,6,7.83,40,8030,帐单调整统计,1,1,1,20,8072,CBOSS-手机钱包收现金,41,292,0.14,41,8024,积分商城兑换预存费统计,1,23,0.04,21,8974,月应收按片区情况统计报表(分摊后),40,4,10,小计,23322138,578968,43,8,按照总耗时对报表类型进行排列,【8022】报表统计耗时占总耗时的85.58，该报表总耗时较长，正是症结所在。,现状调查,3,.,现状调查,3,.,9,确定目标,4,.,确定目标,4,.,统计速度从平均43秒下降到25秒,目标值：,10,确定目标的依据：,【8022】报表是营业员营业厅收费日报，小组成员对报表的业务逻辑和流程有充分的了解。另外，小组成员是行业专家，有丰富的系统优化技能和经验，从以往的优化经验来看，对系统的优化率可以达到50%以上。,经过现状调查，【8022】报表的平均统计速度为61秒，小组成员认为有较大优化空间。如果将【8022】报表的统计速度提高一倍，则BOSS系统报表统计速度为：,43（185.5850）24.6秒,因此，小组成员认为目标值经过努力是可以实现的。,从统计历史来看，月中时期曾达到并超过目标值，但考虑到月底月初由于业务量大，统计速度会相对较慢，因此不宜将目标值定得过低。,确定目标,4,.,确定目标,4,.,11,原因分析,5,.,原因分析,5,.,【8022】报表统计慢原因分析树,图,【8022】报表统计慢,SQL语句不优化,执行计划不优化,语句逻辑结构不优化,表统计信息不准确,未使用索引,系统能力不足,终端能力不足,数据库能力不足,存储IO能力不足,主机能力不足,排序能力不足,数据库性能差,主机内存不足,主机CPU能力不足,营业员操作不当,统计时间输入范围大,重复点击造成程序挂死,月底月初业务量大,12,要因确认,6,.,要因确认,6,.,共有12条末端因素，剔除“月底月初业务量大”因素,13,要因确认,6,.,要因确认,6,.,14,要因确认,6,.,要因确认,6,.,15,要因确认,6,.,要因确认,6,.,16,要因确认,6,.,要因确认,6,.,17,制定对策,7,.,制定对策,7,.,小组针对要因，制定对策如下：,序号,要因,对策,目标,措施,地点,负责人,完成时间,1,统计时间范围大,在前台统计时间输入窗口进行限制,缩小最大统计时间范围，满足最普遍的需求,到营业厅进行现场调查，了解最普遍的统计需求，取得合理的统计时间范围；,整理并提交开发需求；,在前台统计时间输入窗口进行限制。,业务支撑中心,马嘉,3月31日,2,语句逻辑结构不优化,精简视图中子查询的业务逻辑,统计速度提高一倍,制定语句结构优化方案；,提交数据结构修改需求；,语句优化上线。,业务支撑中心,刘娟,3月31日,3,表统计信息不准确,制定数据库分析策略并实施,表统计信息相对准确,分析数据库业务特点，制定表分析策略；,分析策略实施上线。,业务支撑中心,宋睿,3月31日,4,主机CPU能力不足,对报表数据库主机CPU消耗最高的进程进行优化,减少CPU消耗至70,分析主机消耗CPU的进程；,进行针对性的优化，减少CPU消耗。,业务支撑中心,龚珂、刘娟,3月31日,18,对策实施,8,.,对策实施,8,.,要因一对策：在前台统计时间输入窗口对最大统计时间范围进行限制,3月11日，通过业务支撑管理QQ群，对各个地州的业务人员进行了调查，了解到【8022】报表，普遍的统计需求是按日统计，在月底及月初会进行全月统计，基本上统计时间范围不会跨月。,3月14日，整理并提交程序修改申请，将前台统计输入窗口最大统计时间范围限制为1个月，并且不允许跨月。,3月25日，程序修改通过测试。,3月31日，做了限制的统计前台程序上线。,实施结果,限制了统计最大时间范围，避免了营业员因输入的统计时间跨度较大，造成统计时间较长。,19,要因二对策：优化,SQL,语句，精简视图中子查询的业务逻辑,3月11日，分析【8022】报表的SQL语句涉及的视图，其中的子查询语句逻辑不够精简。经过测试，将视图进行修改，加上一个where条件，分组的查询范围可大大减少，性能可以有较大提高。,from zg.acc_stat_daily_201103 a,(select,stat_id stat_id,sum(decode(book_item_id,10000023,paid_prepay,0)as paid_prepay_n2,sum(decode(book_item_id,80651,paid_prepay,0)as paid_prepay_n3,from ZG.ACC_STAT_DAILY_BOOK_201103,where book_item_id in(10000023,80651),group by stat_id)b,3月13日，提交数据结构变更申请。,3月22日，在生产数据库修改视图定义代码。,实施结果,【8022】报表平均统计速度从61秒下降到18秒。,3月23日起【8022】报表统计速度大幅下降,对策实施,8,.,对策实施,8,.,20,要因三对策：制定数据库分析策略并实施,3月10日，制定报表数据库分析策略如下：,报表数据库采用“自动分析+月表手工分析”的策略。,报表数据库打开了自动分析功能，设置的自动分析时间窗口为每日22点至6点，选取变化量超过10%的表进行关联分析。,根据报表数据库的业务特性，在月底及月初要做以下特殊操作，以保证每月1日报表系统的正常运行。,3月31日，打开数据库自动分析功能。,3月31日，按照数据库分析策略进行操作，保证数据库对象分析数据相对准确。,实施结果,数据库对象统计信息数据准确，保证了数据库各个SQL语句执行计划相对较优。,操作时间点,操作内容,操作步骤,生成脚本的语句,操作人,每月最后一天23点,将前一个月月表统计信息导出，导入到下月的月表中。,（举例说明：在3月31日23点，将2月月表统计信息导出，导入到4月月表中。）,检查2月月表统计信息是否相对准确。,导出2月月表统计信息。,将统计信息导入到4月月表。,检查操作结果。,select execute dbms_stats.export_table_stats(ownname=|owner|,tabname=|replace(table_name,1105,1103)|,stattab=|stats_table|,statid=|replace(table_name,1105,1103)|,cascade=true,statown=|BJDWCX|);,from dba_tables where table_name like%1105,intersect,select execute dbms_stats.export_table_stats(ownname=|owner|,tabname=|table_name|,statta