一种基于内容的广告垃圾图像过滤方法

单击此处编辑母版标题样式,一种基于内容的广告垃圾图像过滤方法,目录,论题意义及其必要性,过滤原理与实现方法,实验和结果分析,论题意义及其必要性,垃圾邮件问题日益严重：,2005年7月，中国互联网络信息中心（CNNIC）发布的第十六次中国互联网发展状况统计报告显示，中国网民平均每周收到14.5封电子邮件，其中垃圾邮件占了9.3封，垃圾邮件数量已经大大超过了正常邮件数量。,基于文本过滤方法的局限性,：,第一,、基于文本的过滤受到文本语言种类的限制；,第二、垃圾邮件发送者（,spamer,）经常使用各种各样的骗术来迷惑基于文本的垃圾邮件过滤器，比如将文字页面转换为图像；有数据显示，包含图像的垃圾邮件占所有垃圾邮件的25%。可见，这种欺骗手段已经被垃圾邮件制作者们频繁利用，如果没有找到可行的解决办法，这个数字还会上升。,第三、随着因特网的范围和容量不断增长，邮件包含越来越多的多媒体信息。,一些广告垃圾图片的示例,目录,论题意义及其必要性,过滤原理与实现方法,实验和结果分析,过滤的原理,任何广告都需要用文字来传播某种信息。也就是说，广告垃圾图像的文字区域特征具有普遍性。本文正是利用广告垃圾图像的文字区域特征来进行广告垃圾图像过滤。,基本步骤：,1.,提取图像的边缘信息，并把边缘信息做二值化处理；,2.,将二值化边缘图像进行膨胀处理，使相邻的字符连通起来,并把膨胀处理后,的所有连通区域作为候选文字区域记录下来；,3.,利用文字区域的特征从候选文字区域中筛选出正确的文字区域；,4.,根据得到的文字区域的数量和面积等特征对图像进行分类，把广告垃圾图,像和合法图像区分开来。,彩色边缘提取,由于广告图像中的文本与背景有较强的对比度，表现为在文本与背景的交界处，存在十分明显的高频区域，因此可以用提取边缘的方法来大致估计出文本可能存在的区域。,由于广告垃圾图像大多为彩色图像，所以本文采用张引等提出的彩色图像边缘提取算子来提取边缘，利用彩色三分量的彩色边缘提取算法，充分利用了全面的色彩信息，效果优于传统的灰度边缘提取算法。,边缘提取的具体做法如下：,已知输入图像,f,的,RGB,值，其中象素,（,i,，,j,）,的,RGB,分量分别为,R,（,i,，,j,），,G,（,i,，,j,），,B,（,i,，,j,）,。要计算图像,f,的边缘图像,Edge,。,Eud,（,i,1,j,1,;,i,2,j,2,）,定义为像素点,（,i,1,j,1,）,与,（,i,2,j,2,）,之间的彩色值欧氏距离。,原图与边缘图像,（a）原图 （b）边缘图像,边缘图像二值化,阈值选取方法：,首先计算边缘图像,Edge,的归一化灰度直方图,h,（,i,）,：,其中，,n,i,是图像,Edge,中灰度值为,i,的象素的个数，,N,是图像象素总数,。,因为文字区域边缘十分明显，所以本文认为文字区域边缘的灰度级一般比较高。于是需要找到一个灰度级,k,作为阈值，把灰度大于,k,的边缘象素点保留，灰度小于,k,的边缘象素点忽略。,令 ；,eh(k),表示保留的边缘象素数占图像总象素数的比例；找到一个尽可能大的灰度级,k,使得,eh,（,k,）,大于阈值,TH,1,；如果此时,k,小于下限,TH,2,，则把,TH,2,作为二值化的阈值，否则把,k,作为二值化的阈值。在实验中，我们取,TH,1,=,0.2,，,TH,2,=,120,（认为文字区域边缘的灰度级不应低于,120,）。,二值化边缘图像,（c）二值化边缘图像,候选,文,文本,区,区域,提,提取,从二,值,值边,缘,缘图,像,像中,可,可以,看,看出,，,，由,于,于文,字,字的,分,分布,比,比较,集,集中,，,，所,以,以文,字,字附,近,近的,边,边缘,比,比较,丰,丰富,，,，而,且,且属,于,于同,一,一文,字,字区,域,域的,文,文字,边,边缘,具,具有,较,较小,的,的距,离,离。,对,对于,水,水平,方,方向,的,的文,本,本行,来,来说,，,，可,以,以用,水,水平,膨,膨胀,的,的方,法,法将,相,相邻,的,的边,缘,缘连,起,起来,，,，形,成,成连,通,通的,区,区域,，,，从,而,而在,空,空间,位,位置,上,上将,可,可能,含,含有,文,文本,的,的区,域,域检,测,测出,来,来。,膨胀,方,方法,：,：,设,f,为二,值,值图,像,像，,B,为结,构,构元,素,素，,二,二值,形,形态,和,和（,膨,膨胀,）,）定,义,义如,下,下：,其中,表,表示,以,以,（,x,，,y,）,为原,点,点，,形,形状,与,与结,构,构元,素,素,B,相同,的,的区,域,域。,膨,膨胀,运,运算,具,具有,扩,扩大,图,图像,的,的作,用,用，,膨,膨胀,可,可以,看,看作,是,是将,图,图像,f,中的,每,每一,个,个点,（,x,，,y,）,扩大,为,为,。,。,本文,使,使用,的,的结,构,构元,素,素,B,是一,条,条,N,个象,素,素的,水,水平,线,线段,。,。其,中,中,N,由图,像,像的,宽,宽度,决,决定,，,，因,为,为较,宽,宽的,图,图像,里,里的,文,文字,的,的横,向,向间,隔,隔也,会,会较,宽,宽。,本文,中,中取,N=imageWidth/,250+1,；其,中,中,imageWidth,为图,像,像宽,度,度,。,把膨,胀,胀操,作,作后,所,所得,的,的连,通,通区,域,域所,在,在的,最,最小,的,的矩,形,形区,域,域记,录,录为,候,候选,的,的文,字,字区,域,域。,膨胀,边,边缘,图,图像,（d,）,）膨,胀,胀边,缘,缘图,像,像,文本,区,区域,筛,筛选,本文,根,根据,文,文字,区,区域,的,的视,觉,觉特,征,征定,义,义了,若,若干,约,约束,条,条件,，,，满,足,足所,有,有约,束,束条,件,件的,候,候选,文,文字,区,区域,被,被认,为,为是,文,文字,区,区域,。,。,本文,中,中使,用,用的,约束,条,条件,有：,（,1,）文,字,字区,域,域包,含,含的,边,边缘,信,信息,丰,丰富,，,，因,此,此连,通,通区,域,域的,象,象素,总,总数,占,占连,通,通区,域,域所,在,在矩,形,形的,象,象素,总,总数,的,的比,例,例应,该,该大,于,于某,个,个阈,值,值。,（,2,）文,字,字高,度,度不,能,能太,小,小，,否,否则,人,人眼,将,将无,法,法看,清,清；,也,也不,会,会太,大,大，,应,应在,某,某一,范,范围,内,内。,（,3,）因,为,为每,个,个文,字,字区,域,域都,是,是同,行,行的,几,几个,字,字符,粘,粘连,而,而形,成,成的,区,区域,，,，所,以,以文,字,字区,域,域的,宽,宽高,比,比应,当,当大,于,于某,一,一阈,值,值。,（,4,）文,字,字区,域,域中,存,存在,一,一组,连,连续,的,的，,边,边缘,信,信息,相,相当,丰,丰富,的,的行,。,。要,求,求这,段,段区,域,域的,高,高度,占,占文,字,字区,域,域高,度,度的,一,一定,比,比例,，,，并,且,且这,段,段区,域,域中,的,的每,一,一行,的,的白,点,点数,目,目大,于,于某,一,一阈,值,值。,（,5,）如,果,果两,个,个候,选,选文,字,字区,域,域具,有,有包,含,含关,系,系或,具,具有,大,大部,分,分重,叠,叠的,关,关系,，,，则,保,保留,面,面积,较,较大,的,的区,域,域。,按照,上,上述,准,准则,，,，可,以,以除,掉,掉候,选,选文,字,字区,域,域中,的,的虚,假,假文,字,字区,域,域，,得,得到,了,了相,对,对准,确,确的,文,文字,区,区域,。,。下,页,页的,图,图（e）,为,为文,字,字区,域,域的,提,提取,结,结果,，,，识,别,别出,的,的文,字,字区,域,域用,红,红色,边,边框,标,标出,。,。,文字区域,的,的提取结,果,果,（e）,文字区域,的,的提取结,果,果,目录,论题意义,及,及其必要,性,性,过滤原理,与,与实现方,法,法,实验和结,果,果分析,实验和结,果,果分析,实验流程,如,如下图所,示,示：,广告垃圾,图,图像判定,条,条件：,主要根据,文,文字区域,的,的数量和,面,面积两个,特,特征判断,图,图像是否,为,为广告垃,圾,圾图像。,本,本实验设,定,定阈值,th,1,，,th,2,。如果图,像,像,f,的文字区,域,域数量大,于,于,th,1,，或者文,字,字区域面,积,积占图像,总,总面积的,比,比例大于,th,2,，则认为,图,图像,f,为广告垃,圾,圾图像。,经,经实验证,明,明，,th,1,取值,6,，,th,2,取值,15%,可以达到,较,较实用的,效,效果。,文字区域,提,提取实验,结,结果,广告垃圾,图,图像过滤,实,实验结果,本文为做,广,广告垃圾,图,图像过滤,实,实验，建,立,立了一个,图,图像库，,分,分别由广,告,告垃圾图,像,像（,39,帧），普,通,通图像（,1215,帧）和纹,理,理图像（,598,帧）等三,种,种图像组,成,成，下图,为,为图像库,取,取样。,广告垃圾,图,图像过滤,实,实验结果,实验数据,表,表明，广,告,告垃圾图,像,像集合的,检,检出率接,近,近80,%,，大部分,特,特征明显,的,的广告垃,圾,圾图像都,能,能被检索,出,出来；对,普,普通图像,的,的误检率,为,为,3.045%,，控制在,可,可以接受,的,的范围内,；,；而由于,纹,纹理图像,比,比较特殊,，,，边缘信,息,息丰富，,产,产生很多,疑,疑似文本,的,的区域，,对,对检索造,成,成了较大,干,干扰，所,以,以误检率,偏,偏高。,谢谢大,家,家！,9,、,静,静,夜,夜,四,四,无,无,邻,邻,，,，,荒,荒,居,居,旧,旧,业,业,贫,贫,。,。,。,。1,月,月-231,月,月-23,Thursday,January5,2023,10,、,雨,雨,中,中,黄,黄,叶,叶,树,树,，,，,灯,灯,下,下,白,白,头,头,人,人,。,。,。,。03:09:1403:09:1403:09,1/5/20233:09:14AM,11,、以我独,沈,沈久，愧,君,君相见频,。,。1月-2303:09:1403:09,Jan-2305-Jan-23,12,、故人,江,江海别,，,，几度,隔,隔山川,。,。03:09:1403:09:1403:09,Thursday,January5,2023,13,、,乍,乍,见,见,翻,翻,疑,疑,梦,梦,，,，,相,相,悲,悲,各,各,问,问,年,年,。,。,。,。1,月,月-231,月,月-2303:09:1403:09:14,January5,2023,14,、,他,他,乡,乡,生,生,白,白,发,发,，,，,旧,旧,国,国,见,见,青,青,山,山,。,。,。,。05,一,一,月,月20233:09:14,上,上,午,午03:09:141,月,月-23,15,、比,不,不了,得,得就,不,不比,，,，得,不,不到,的,的就,不,不要,。,。一月233:09,上,上,午,午1月-2303:09,January5,2023,16,、行,动,动出,成,成果,，,，工,作,作出,财,财富,。,。2023/1/53:09:1403:09:14,05January2023,17,、做,前,前，,能,能够,环,环视,四,四周,；,；做,时,时，,你,你只,能,能或,者,者最,好,好沿,着,着以,脚,脚为,起,起点,的,的射,线,线向,前,前。,。,。3:09:14,上,上午3:09,上,上,午,午03:09:141月-23,9,、没有,失,失败，,只,只有暂,时,时停止,成,成功！,。,。1月-231月-23,Thursday,January5,2023,10,、很多事情,努,努力了未必,有,有结果，但,是,是不努力却,什,什么改变也,没,没有。03:09:1403:09:1403:09,1/5/2023 3:09:14 AM,11,、,成,成,功,功,就,就,是,是,日,日,复,复,一,一,日,日,那,那,一,一,点,点,点,点,小,小,小,小,努,努,力,力,的,的,积,积,累,累,。,。,。,。1,月,月-2303:09:1403:09,Jan-2305-Jan-23,12,、世间,成,成事，,不,不求其,绝,绝对圆,满,满，留,一,一份不,足,足，可,得,得无限,完,完美。,。,。03:09:1403:09:1403:09,Thursday,January5,2023,13,、不知香,积,积寺，数,里,里入云峰,。,。1月-231月-2303:09:1403:09:14,January5, 2023,14,、意志坚强,的,的人能把世,界,界放在手中,像,像泥块一样,任,任意揉捏。05 一月20233:09:14 上午03:09:141月-23,15,、楚,塞,塞三,湘,湘接,，,，荆,门,门九,派,派通,。,。一月233:09,上,上,午,午1月-2303:09,January5,2023,16,、少年十,五,五二十时,，,，步行夺,得,得胡马骑,。,。2023/1/53:09:1403:09:14,05 January 2023,17,、空山新,雨,雨后，天,气,气晚来秋,。,。3:09:14,上,上午3:09,上,上午03:09:141月-23,9,、杨柳散和,风,风，青山澹,吾,吾虑。1月-231月-23,Thursday,January 5,2023,10,、阅读一切,好,好书如同和,过,过去最杰出,的,的人谈话。03:09:1403:09:1403:09,1/5/2023 3:09:14 AM,11,、,越,越,是,是,没,没,有,有,本,本,领,领,的,的,就,就,越,越,加,加,自,自,命,命,不,不,凡,凡,。,。1,月,月-2303:09:1403:09,Jan-2305-Jan-23,12,、越是,无,无能的,人,人，越,喜,喜欢挑,剔,剔别人,的,的错儿,。,。03:09:1403:09:1403:09,Thursday,January5,2023,13,、知人者,智,智，自知,者,者明。胜,人,人者有力,，,，自胜者,强,强。1月-231月-2303:09:1503:09:15,January5, 2023,14,、,意,意,志,志,坚,坚,强,强,的,的,人,人,能,能,把,把,世,世,界,界,放,放,在,在,手,手,中,中,像,像,泥,泥,块,块,一,一,样,样,任,任,意,意,揉,揉,捏,捏,。,。05,一,一,月,月20233:09:15,上,上,午,午03:09:151,月,月-23,15,、最,具,具挑,战,战性,的,的挑,战,战莫,过,过于,提,提升,自,自我,。,。一月233:09,上,上,午,午1月-2303:09,January5,2023,16,、业,余,余生,活,活要,有,有意,义,义，,不,不要,越,越轨,。,。2023/1/53:09:1503:09:15,05January2023,17,、一个人,即,即使已登,上,上顶峰，,也,也仍要自,强,强不息。3:09:15,上,上午3:09,上,上午03:09:151月-23,MOMODA POWERPOINT,Lorem ipsum dolor sit amet, consectetur adipiscing elit. Fusce id urna blandit, eleifend nulla ac, fringilla purus. Nulla iaculis tempor felis ut cursus.,感谢您的,下,下载观看,专家告诉,