申请大学教职报告

单击此处编辑母版文本样式,第二级,第三级,#,工作汇报,程明明,单击此处编辑母版标题样式,基本情况,自我介绍,研究背景,研究内容,显著性检测,图像分割,交互编辑,图像检索,图像合成,阶段性成果,论文发表,项目经验,成果转化,机遇与挑战,可行性分析,工作设想,图像的智能理解与交互,申请南开大学教职工作汇报,汇报人：,程明,明,1,汇报,内容,根本情况简介,自我介绍、研究背景,主要研究工作介绍,显著性检测、图像分割、交互编辑、图像检索、图像合成,阶段性成果,论文发表、工程经验、成果转化,工作设想,2,1.1,自我介绍,根本情况,程明明，男，1985年出生于陕西,教育与工作经历,2003-2007:西安电子科技大学, 学士,2007-2021:清华大学, 博士(导师胡事民教授),计算机系2021界博士毕业生学术排名第一,2021-2021: Research Fellow, Oxford,Working with Prof. Philip Torr,2021.9-2021.1: 微软剑桥研究院(MSRC)访问研究,3,1.2,研究背景,图像改变人类生活方式！,表达,、记录,、以及分享,信息的重要,媒介,优点：,内容直观、,信息丰富、,获取,容易,4,1.2,研究,背景,图像的分析、编辑和利用所,面临的,挑战,5,像素,颜色,值,区块,场景,物体,空间关系,1.2,研究背景,直观、方便的分析手段,快速、智能的,图像处理技术,自然、方便的图像检索方法,直观、高效的图像编辑体验,6,汇报,内容,根本情况简介,自我介绍、研究背景,主要研究工作介绍,显著性检测、图像分割、交互编辑、图像检索、图像合成,阶段性成果,论文发表、工程经验、成果转化,工作设想,7,2,主要研究内容,8,图像智能处理,图像语义理解,图像交互编辑,2.1,图像,视觉显著性区域,检测,9,图像视觉显著,性,区域,检测,MM Cheng, etc., Global Contrast based Salient Region Detection, IEEE CVPR, p. 409-416, 2021.,2.1,图像视觉显著性区域检测,研究意义,计算机视觉的一个根本问题,在计算机视觉和图形学中有着广泛的应用,例如：物体识别、自适应图像压缩、感兴趣物体分割、内容敏感的图像缩放、图像检索等。,主要奉献,提出了基于全局比照度的图像视觉显著性区域检测算法。在国际上现有最大的公开测试集上，该方法的正确率明显优于已有方法。,10,2.1,图像视觉显著性区域检测,11,2.1,图像视觉显著性区域检测,显著性检测结果的视觉效果比较,12,2.1,图像视觉显著性区域检测,在现有最大公开测试集,Achanta09,上,13,受到了国内外研究者的广泛关注。2021年6月发表至今，已有1000多位研究者索要源代码源代码共享，登记即可获得，它引310屡次。,2.1,图像视觉显著性区域检,测,(2),14,MM Cheng, etc., Efficient salient region detection with soft image abstraction. IEEE ICCV, 2021.,2.1,图像视觉显著性区域检测,(2),主要奉献：,提出一种soft image abstraction表达，能更加方便的描述大尺度的表观相似区域，提高全局视觉显著性特征估计的鲁棒性和效率.,15,2.1,图像视觉显著性区域检测,(2),结果例如,16,2.1,图像视觉显著性区域检测,(2),结果例如,定量评价,17,2.2,视觉显著性区域分割,18,MM,Cheng,etc.,Salient object detection and segmentation. Submitted to,IEEE TPAMI,.,图像视觉显著,性,区,域,分割,2.2,视,觉显著性区域分割,基于迭代的,GrabCut,的显著性区域分割,特点：迭代更新,+,自适应拟合,优势：更鲁棒、使得无监督的分割成为可能,19,2.2,视,觉显著性区域分割,在现有最大公开测试集,Achanta09,上,著性区域分割实验,之前的最好结果,:,精度,=75%,，召回率,83%,本文算法的结果：,精度,=90%,，召回,率,90%,20,2.2,随机游走图像分割的连通性理论,21,MM Cheng, GX Zhang, Connectedness of Random Walk Segmentation. IEEE TPAMI, 2021. 33(1): p. 200 -202.,2.2,随,机游走图像分割的连通,性理论,经,典理论,Grady 06,分割结果中每个区域至少包含一个同,Label,的,Seed,点,(,随机游走的结果不会产生额外碎片,),。,新的理论发现,经典理论,Grady 06,中的结论和证明是错误的,给出,了关于结果连通性的五个新的定理及证明,(,详见论文,),22,2.3,基于,相似结构分析的图像,编辑,图像中相似语义,单元分析与,编辑：流程,23,MM Cheng, etc., RepFinder: Finding Approximately Repeated Scene Elements for Image Editing, ACM TOG (SIGGRAPH). 29, 4, 83:1-8, 2021.,2.3,基于相似结构分析的图像编辑,研究动机,相似物体在自然和人造场景中广泛存在,相似物体的图像 获得粗略的场景信息,场景几何信息自然、直观的图像编辑,主要奉献,基于简单交互的相似物体快速检测方法,遮挡物体补全、稠密对应关系计算、层次关系估计等方法。,一系列场景物体级别图像编辑应用,24,2.3,基于相似结构分析的图像编辑,系统流程,25,2.3,基于相似结构分析的图像编辑,遮挡物体补全、稠密对应,关系计算、,层次,关估计等步骤之后的分析结果,26,2.3,基于相似结构分析的图像编辑,图像重排应用,27,原始输入图像,2.3,基于相似结构分析的图像编辑,编辑传播应用,28,2.3,基于相似结构分析的图像编辑,同步变形应用,29,2.3,语音驱动的图像理解与编辑,30,MM Cheng,etc.,ImageSpirit: Verbal Guided Image Parsing, Submitted to,ACM TOG,.,2.3,语音驱动的图像理解与编辑,研究意义,自然直观的交互方式是机器智能的重要表达,憧憬：图灵测试、科幻电影,现实：智能设备(iPhone Siri), Google Glasses,主要奉献,国际上首次提出并实现了基于自然语言的交互式图像分析工具,提出了Multi-Label Factorial CRF算法，可以快速有效的集成多源信息,31,2.3,语音驱动的图像理解与编辑,32,Make,the,wood,cabinet,in,bottom-middle,lower,名词,形容词,动词,/,副词,Multi,label,CRF,物体选择,属性选择,编辑操作,2.3,语音驱动的图像理解与编辑,Multi-Label Factorial CRF,33,Object classifiers: table, chair, etc.,Attributes classifiers: wood, plastic, red, etc.,Correlation between attributes.,Object and attributes correlation.,2.3,语音驱动的图像理解与编辑,Multi-Label Factorial CRF,在一个统一的算法框架下实现逐像素的物体类别及语义属性的推断,利,用基于快速滤波的均值场,推,断技术,(mean field inference),进,行快速交互,34,2.3,语音驱动的图像理解与编辑,系,统演示,35,2.3,基于长方体结构的智能编辑,36,Y Zheng, X Chen, MM Cheng, K Zhou, SM Hu, NJ Mitra. Interactive Images: Cuboid-proxies for Smart Image Manipulation. ACM TOG (SIGGRAPH). 31, 4, 1-10, 2021.,2.3,基,于长方,体结构的智能编辑,研究意义,3D逼真的图像编辑,困难,普通图像精确几何信息,方案,长方体近似,主要奉献,提出了一种场景物体级别图像编辑算法框架，能够逼真地实现三维世界中的物体编辑,37,2.3,基,于长方体结,构的智能编辑,图像编辑例如,38,2.3,基,于长方体结,构的智能编辑,39,2.4,基于重要物体形状的图像检索,40,MM Cheng, NJ Mitra, X Huang, SM Hu, SalientShape: Group Saliency in Image Collections, The Visual Computer, 2021.,2.4,基于重要物体形状的图像检索,研究意义,图像数量迅速增长方便的获取想要的内容,关键字(网络元数据)+形状,是或否具体的物体区域,主要奉献,提出了一种群组显著性(group saliency)的方法来自动的从一组相关但是组成多样的网络图像中提取感兴趣物体区域, 其正确率明显高于单张图像的显著性区域检测结果。,41,2.4,基于重要物体形状的图像检索,从网络数据中学到的表观信息,42,2.4,基于重要物体形状的图像检索,对群组图像中重要性物体检测的改善,43,利用自动学习到的表观模型对输入图像(a)进行分析(d)，本方法可以有效的改进单张图像的视觉显著性物体区域检测(b)与分割(c)结果。,2.4,基于重要物体形状的图像检索,对群组图像中重要性物体检测的改善,44,2.4,基于重要物体形状的图像检索,图,像检索应用,45,2.4,基于重要物体形状的图像检索,46,2.5,基于网络图片的图像合成,47,T Chen, MM Cheng, P Tan, A Shamir, SM Hu, Sketch2photo: internet image montage, ACM TOG. (SIGGRAPH Asia), vol. 28, no. 5, 124:1-10, 2021.,2.5,基于网络图片的图像合成,系,统流程,48,2.5,基于网络图片的图像合成,更多合成结果例如,49,2.5,基于网络图片的图,像,序列,合,成,50,T,Chen,P,Tan,LQ,Ma,MM,Cheng,A,Shamir,SM,Hu. PoseShop: Human Image Database Construction and Personalized Content Synthesis.,IEEE,TVCG,.,汇报,内容,根本情况简介,自我介绍、研究背景,主要研究工作介绍,显著性检测、图像分割、交互编辑、图像检索、图像合成,阶段性成果,论文发表、工程经验、成果转化,工作设想,51,3.1,论文发表,(1),M.M. Cheng, J. Warrell, S. Zheng, V. Vineet, and W.Y. Lin. Efficient salient region detection with soft image abstraction. In IEEE ICCV, 2021.,M.M Cheng, S. Zheng, W.Y. Lin, J. Warrell, V. Vineet, P. Sturgess, N.J. Mitra, N. Crook and P. Torr, ImageSpirit: Verbal Guided Image Parsing, Submitted to ACM TOG.,M.M. Cheng, N.J. Mitra, X. Huang, P. Torr, and S.M. Hu. Salient object detection and segmentation. Submitted to IEEE TPAMI.,M.M. Cheng, G.X. Zhang, N.J. Mitra, X. Huang, and S.M. Hu. Global contrast based salient region detection. In IEEE CVPR, 2021. (2 nd most cited paper in all CVPR 2021 papers).,M.M. Cheng and G.X. Zhang. Connectedness of random walk segmentation. IEEE TPAMI, 33(1), 2021.,M.M. Cheng, F.L. Zhang, N.J. Mitra, X. Huang, and S.M. Hu. RepFinder: Finding approximately repeated scene elements for image editing. ACM TOG (SIGGRAPH), 29(4):83:18, 2021.,T. Chen, M.M. Cheng, P. Tan, A. Shamir, and S.M. Hu. Sketch2photo: Internet image montage. ACM TOG (SIGGRAPH Asia), 28(5):124:110, 2021.,52,TPAMI,is the #1 IEEE publication. SIGGRAPH, ICCV, CVPR are top computer graphics and computer vision conference, each,has CiteSeer impact factor ranking top 0.7%, 5%, and 5% of all computer science journals and conferences,.,3.1,论文发表,(,续,),W.Y. Lin, M.M. Cheng, S. Zheng, J. Lu, and N. Crook. Robust non-parametric correspondence fitting. In IEEE ICCV, 2021.,M.M. Cheng, N.J. Mitra, X. Huang, and S.M. Hu. SalientShape: Group saliency in image collections. The Visual Computer, pages 110, 2021.,S.M. Hu, T. Chen, K. Xu, M.M. Cheng, and R. R. Martin. Internet visual media processing: a survey with graphics and vision applications. The Visual Computer, 2021.,T. Chen, P. Tan, L.Q. Ma, M.M. Cheng, A. Shamir, and S.M. Hu. PoseShop: Human image database construction and personalized content synthesis. IEEE TVCG, 2021.,Y. Zheng, X. Chen, M.M. Cheng, K. Zhou, S.M. Hu, and N.J. Mitra. Interactive images: Cuboid-based scene understanding for smart manipulation. ACM Trans. Graph. (SIGGRAPH), 31(4), 2021.,F.L. Zhang, M.M. Cheng, J. Jia, and S.M. Hu. ImageAdmixture: Putting together dissimilar objects from groups. IEEE TVCG, 2021.,G.X. Zhang, M.M. Cheng, S.M. Hu, and R.R. Martin. A shape-preserving approach to image resizing. Computer Graphics Forum,28(7):18971906, 2021.,53,3.2 参与科研工程,Scene Understanding using New Global Energy Models, EPSRC,新一代搜索引擎关键技术研究 , 国家科技重大专项,网络可视媒体的交互与合成 , 国家973方案,可视媒体的交互与融合处理 , 国家973方案,基于认知模型的图像不变性特征理论及其应用研究, 科学基金重点工程,基于结构分析的视频卡通风格绘制技术研究, 科学基金面上工程,54,3.3,成果转化,创造专利,一种基于轮廓带图的相似单元检测方法, 专利号: ZL101833668A.,一种基于共形能量的内容敏感图像缩放方法, 专利号: ZL101650824.,一种基于草图的网络图元自动提取方法和系统, 专利号: ZL101526955.,基于卡通片的高质量线结构提取方法, 专利号: ZL101276477.,55,已获国家创造专利授权11项，申请PCT国际创造专利三项。多项专利已被商业应用。,3.3,成果转化,源码下载,1000+,次,被广泛应用,论文,Google,Scholar,被引用,640,余次,Web of Science,它,引,220,余次,(,更新较慢,),56,3.3,成果转化,源码下载,1000+,次,被广泛应用,论文,Google Scholar,被引用,640,余次,Web of Science,它引,220,余次,(,更新较慢,),成,果主页已,有,大约,20,万,个独立,IP,访问,量,57,3.3,成果转化,源码下载1000+次, 被广泛应用,论文Google Scholar被引用640余次,Web of Science它引220余次(更新较慢),成果主页已有大约20万个独立IP访问量,研究成果被著名国际媒体撰文报道,英国?每日邮报?,德国?明镜周刊?,成果介绍视频网上点击率百万次以上,作品应邀参加十一五重大科技成果展,58,3.3,成果转化,主要获奖情况,北京市优秀博士论文，2021 (清华共7名),Shortlisted as Newton International Fellowship，2021,英国皇家学会每年面向全世界在自然科学和人文科学等多个领域共评选40名,北京市优秀博士毕业生,IBM Ph.D. Fellowship, 2021($6000),Google Ph.D. Fellowship, 2021($10000),教育部博士研究生学术新人奖, 2021(￥50000),清华大学计算机系学术新秀, 2021,59,汇报,内容,根本情况简介,自我介绍、研究背景,主要研究工作介绍,显著性检测、图像分割、交互编辑、图像检索、图像合成,阶段性成果,论文发表、工程经验、成果转化,工作设想,60,4.1,机遇与挑战,重要机遇,新设备的快速兴起,例如：Kinect、3D打印机、Google Glasses,计算能力和数据量的爆炸式增长,GPU处理速度正以超越摩尔定律的速度增长,信息大爆炸：Face Book、QQ空间、Flickr等,相关支撑和应用技术的快速开展,计算机图形学、计算及视觉、机器学习,61,4.1,机遇与挑战,重要机遇,新设备的快速兴起,计算能力和数据量的爆炸式增长,相关支撑和应用技术的快速开展,面临挑战,如何让新设备更好的为人类效劳？,如何有效的用好各种计算能力，对海量信息进行有效处理？,高密度的学科交叉如何完成？,62,4.2,可行性分析,良好的科研根底,南开大学的优良学术传承,具有众多优势学科，为未来的研究提供重要根底,计算机图形学和计算机视觉领域的工作经验,图形学顶级会议(SIGGRAPH)和期刊(ACM TOG),计算机视觉与模式识别顶级会议(CVPR, ICCV)和期刊(IEEE TPAMI),63,4.2,可行性分析,良好的科研根底,南开大学的优良学术传承,计算机图形学和计算机视觉领域的工作经验,广泛的合作根底,学术界,图形学：清华胡事民教授，UCL: N. Mitra等,视觉：Oxford: P. Torr, A. Zisserman等,工业界,微软、腾讯，Google，IBM，Omron等,64,谢谢大家!,欢送批评指正！,65,上传过程视频缺失详,细内容,请参考个人主页,点击,或者扫描右方,QR,码并访问,