大数据应用-系统监控与日志分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大数据应用,-,系统监控与日志分析,1/15/2020,目录,网易有,道,道简介,在线服,务,务监控,离线日,志,志分析,1/15/2020,有道的,发,发起者,是,是一群,执,执着于,搜,搜索技,术,术的年,轻,轻人，,我,我们发,现,现中文,网,网络中,的,的搜索,还,还远未,达,达到理,想,想，所,以,以希望,通,通过我,们,们现在,和,和将来,的,的努力,，,，把设,想,想中的,服,服务一,点,点点变,成,成现实,，,，分享,给,给大家,使,使用，,让,让你更快一,秒,秒找到想,要,要的好,东,东西。,关于有,道,道,1/15/2020,有道产,品,品,搜索类,1/15/2020,有道产,品,品,翻译类,其他产,品,品,1/15/2020,在线监,控,控与离,线,线分析,1/15/2020,设计原,则,则,不影响,正,正常服,务,务,水表不,能,能把水,堵,堵了,通用性,如果不,够,够通用,1/15/2020,1/15/2020,目录,有道产,品,品简介,在线服,务,务监控,离线日,志,志分析,1/15/2020,在线服,务,务监控,访问控,制,制系统,性能监,控,控系统,异常报,警,警系统,1/15/2020,访问控,制,制系统,主要目,的,的：防,止,止非用,户,户抓取,冲击系,统,统服务,影响访,问,问统计,非法使,用,用数据,挑战,灵活的,控,控制规,则,则,减小对,产,产品服,务,务的影,响,响,1/15/2020,访问控,制,制规则,过滤规,则,则,Key,:,:Header字段，parameter,Key,:,:正则表,达,达式,例子：,Ip=123,.45.,.,.*,agent,=,=“firefox,.,.*”,频度控,制,制,统计时,间,间（span）,次数的,阈,阈值（threshold）,例子：,span:3600000threshold:1000,1/15/2020,访问控,制,制系统,总体结,构,构,旁路统,计,计,规则封,禁,禁,访问控,制,制服务,器,器,维护规,则,则库,按规则,进,进行统,计,计,为产品,生,生成封,禁,禁列表,产品服,务,务端,转发请,求,求,同步封,禁,禁列表,实施访,问,问控制,1/15/2020,访问控,制,制系统,1/15/2020,性能监,控,控系统,功能：,实,实时统,计,计服务,中,中的性,能,能参数,如处理,时,时间、,吞,吞吐率,等,等,特点,通用性,集中的,数,数据分,析,析与存,储,储,直观的,展,展现方,式,式,1/15/2020,性能监,控,控的需,求,求,通用性,各种产,品,品不同,的,的需求,自定的,统,统计量,不同的,编,编程语,言,言,性能要,求,求,减小对,产,产品服,务,务的影,响,响,大数据,量,量的分,析,析与存,储,储,1/15/2020,监控系,统,统的设,计,计,松耦合,通过日,志,志文件,交,交换数,据,据,文本格,式,式,自定义,统,统计量,的三元,组,组,大数据,量,量,多分辨,率,率压缩,存,存储,1/15/2020,监控系,统,统结构,图,图,1/15/2020,1/15/2020,1/15/2020,异常报,警,警系统,功能,自动筛,查,查日志,中,中的Exception,发现问,题,题自动,发,发信报,警,警,优点,通用性,强,强,使用简,单,单,1/15/2020,目录,有道产,品,品简介,在线服,务,务监控,离线日,志,志分析,1/15/2020,离线日,志,志统计,主要的,目,目的,用户使,用,用习惯,用户对,产,产品的,好,好感度,系统运,行,行状态,市场推,广,广情况,1/15/2020,日志收,集,集,集中的,日,日志服,务,务器,产品的,服,服务器,是,是分布,式,式的，,需,需要统,一,一分析,所有产,品,品公用,，,，降低,运,运营复,杂,杂度,大数据,量,量存储,服务器,建,建立本,地,地缓存,最终保,存,存在分,布,布式文,件,件系统,中,中,压缩存,储,储,防止日,志,志丢失,支持备,份,份服务,器,器,分布式,文,文件系,统,统保证,可,可靠性,1/15/2020,日志收,集,集系统,1/15/2020,日志分,析,析,主要的,挑,挑战,超大数,据,据量,运算时,间,间的要,求,求,组合统,计,计,解决方,法,法,分布式,计,计算,1/15/2020,分布式,分,分析程,序,序,1/15/2020,常规统,计,计,访问量,时间,地域,用户,新用户,：,：推广,与,与传播,的,的效果,老用户,：,：真正,使,使用这,个,个产品,功能切,换,换,页面切,换,换,产品切,换,换,1/15/2020,一些有,意,意思的,统,统计规,律,律,周末与,非,非周末,什么时,候,候流量,更,更大？,1/15/2020,周末与,非,非周末,工具（,网,网页搜,索,索、海,量,量词典,）,）vs娱乐（,视,视频搜,索,索、音,乐,乐搜索,）,）,平时需,要,要工具,，,，周末,需,需要娱,乐,乐,1/15/2020,一些有,意,意思的,统,统计规,律,律,不同的,时,时段访,问,问有区,别,别吗？,搜索和,吃,吃饭的,关,关系？,1/15/2020,工具vs娱乐,白天需,要,要工具,，,，晚上,需,需要放,松,松,1/15/2020,公网vs教育网,白领和,中,中小学,生,生要早,睡,睡，大,学,学生都,是,是夜猫,子,子,1/15/2020,更多的,分,分析,有道阅,读,读的12个有趣,的,的发现,订阅博,客,客范围,，,，新老,各,各有地,盘,盘,职业和,阅,阅读习,惯,惯,阅读真,的,的变成,快,快餐了,明星博,客,客，各,领,领风骚,三,三两天,大部分,人,人订阅,不,不过10个，阅,读,读不超20分钟,阅读还,是,是很个,人,人,1/15/2020,总结,在线服,务,务监控,保证服,务,务正常,运,运行,离线日,志,志分析,了解用,户,户，改,进,进产品,