基于卷积神经网络的傅立叶叠层成像重建算法研究课件

,#,基于卷积神经网络的傅立叶叠层成像重建算法研究,目录,CONTENT,01,02,03,04,课题简介,研究内容与工作计划,研究进展与下一步计划,发表论文及学分情况,01,课题简介,PART,1,请输入你的标题,课题简介,4,傅立叶叠层成像,(,FPM,),是近几年发展出的一种新型计算成像技术。该技术整合了合成孔径与相位恢复的概念，实现了大视场、高分辨率显微成像，在光学显微、生物医学等领域有着广泛的应用前景。,请输入你的标题,课题简介,5,FPM,成像过程：,O,： 成像物体频谱,P,n,：光瞳函数,I,l,n,：低分辨率图像,FFT,-1,：,二维傅立叶反变换,PART,1,请输入你的标题,课题简介,FPM,中三种系统误差：,物镜像差,LED,空间位置误差,噪声,6,PART,1,请输入你的标题,课题简介,FPM,主要重建算法：,交替投影算法,(Alternating Projecton,，,AP),嵌入式光瞳校正算法,(embedded pupil function recovery,，,EPRY),LED,位置校正算法,(positioning correction for FPM,，,pcFPM),沃廷格算法,(wirtinger flow for FPM,，,WPF),7,02,研究内容与工作计划,PART,1,请输入你的标题,1.,传统分析迭代算法研究,分析,FPM,成像原理，建立仿真模型，为仿真实验做准备。,研究四种迭代算法，编程实现各个算法，完成仿真图像重建。,测试四种迭代算法的图像重建时间与算法鲁棒性。,2.,基于卷积神经网络的重建算法设计,分析神经网络算法的工作原理，确定重建算法结构。,设计卷积神经网络，根据仿真实验结果进行结构调整。,测试神经网络算法的图像重建时间与算法鲁棒性。,9,PART,1,请输入你的标题,3.,完成成像,实验,根据上图所示光路搭建,FPM,成像系统。,调节光路以实现,um,级成像，记录光路结构数据采集图像。,根据记录的光路结构进行成像仿真，使用仿真数据训练网络。,使用神经网络算法完成图像重建。,10,FPM,成像光路,PART,1,工作计划,：,08-09,：,文献调研，了解傅立叶叠层成像技术的基本原理，确定研究方向。,10-12,：,研究傅立叶叠层成像误差模型，实现,AP,算法、,WF,算法、,pcFPM,等主要的迭代重建算法。,01-03,：,研究卷积神经网络的工作原理，确定基于卷积神经网络的傅立叶叠层成像重建算法的设计方案。,04-06,：,完成基于卷积神经网络的重建算法，检测算法的各项性能是否满足要求并进行改进。,07-11,：,设计光路，搭建成像系统，完成傅立叶叠层成像实验。,09-12,：,总结课题，撰写论文,11,03,研究进展与下一步计划,重建算法,重建时间,算法优缺点,AP,34s,运算过程简单，收敛速度快；鲁棒性差，对误差敏感。,EPRY-FPM,450s,运算过程简单，能灵活嵌入各类算法；收敛速度慢，存在像差以外的误差时，重建结果较差。,WFP,480s,运算过程简单，能灵活嵌入各类算法；收敛速度慢，存在噪声以外的误差时，重建结果较差。,pc-FPM,720s,算法鲁棒性最好，各种误差条件下都能得到较好的结果；运算过程复杂，收敛速度慢。,1.,传统分析迭代算法研究,成功实现了四种迭代算法，性能分析结果如下表，数据规模为,225,*,512,512,。,13,PART,1,请输入你的标题,研究进展,2.,基于卷积神经网络的重建算法设计,数据采集过程：,分析迭代算法：,神经网络算法：,14,神经网络算法原理,PART,1,输入系列低分辨图像,9x9 conv, 64,5x5 conv, 32,5x5 conv, 1,输出高分辨图像,PtychNet,网络,15,根据卷积定理，采集的低分辨图像与高分辨,带重建的高分辨图像是卷积的关系，因此用卷积,神经网络能够较好的拟合重建过程。,另一方面，神经网络输出为也为图像，于是,选择没有池化层的维度保持网络，如,PtychNet,。,为了得到更好的训练结果，基于,PtychNet,设计,一个更深的维度保持网络,PART,1,请输入你的标题,ResPtychnNet,的设计：,通道扩充：将图像通道数扩充再逐步减小，以此增加层数。,残差结构：每个通道数再添加两层相同卷积层，并使用残差结构避免退化。,通过测试与调整最终实现了如右图,23,层的残差叠层网络。,16,ResPtychNe,网络,请输入你的标题,17,测试重建结果,测试低分辨图像,测试高分辨图像,训练结果,训练低分辨图像,训练高分辨图像,仿真结果：,训练结果图,mse,：,0.0015,测试结果图,mse,：,0.0044,PART,1,请输入你的标题,研究进展,重建时间比较：,matlab,难以实现神经网络，因此将,AP,算法移植到,python,，在相同的软硬件条件下进行比较，结果如下表：,重建算法,重建时间,AP,95s,神经网络算法,20s,神经网络算法,(gpu),6s,18,请输入你的标题,研究进展,算法稳定性测试：,像差数据,噪声数据,混合误差数据,LED,位置误差数据,19,误差类别,重建质量,(mse),无误差,0.0044,像差,0.0073,噪声,0.0044,LED,位置误差,0.0029,混合误差,0.0041,20,计算各误差情况下重建图像的,mse,，结果如下表：,在有误差的情况下，重建结果的,mse,与无误差情况下差距不大。,PART,1,请输入你的标题,研究进展,3.,实验结果：,光源波长：,632nm,数值孔径：,0.1,LED,（,15*15),：,2.78mm/100mm,计算得出镜头分辨率：,3.67um,理论重建分辨率：,1.30um,成像物体：间距,2.5um,条纹,21,低分辨图像,重建高分辨图像,请输入你的标题,下一步工作计划：,07-08,：,对相机进行二次开发编程，实现外触发控制图片采集，并设计触发电路，提升采集图像质量。,08-09,：,仿真结合实验，研究交叠率对重建图像质量的影响，尽量缩短图像采集时间。,10-11,：,对实际物体进行成像实验，验证本课题技术的实用性。,12-2020.01,：,总结课题，撰写论文,。,22,谢谢观看,