基于三维点云的室内结构化三维重建ppt课件

,5/14/2021,#,基于三维点云的室内结构化三维重,建,基于三维点云的室内结构化三维重建,1,研究背,景,Research,Background,研究目,的,Research,Purpose,研究方,法,Methods,实验结,果,Research,Result,目,录,结论与展,望,Conclusions,0,1,0,2,0,3,0,4,0,5,研究背景研究目的研究方法实验结果目录结论与展望0102030,2,1,城市空间的扩张,交通压力 土地资源 环境保护,人类生活（衣食住行）,室内空间,人类经济和社会生活的主要场所 人类生活相关的室内服务的需求,室内三维模型,研究背,景,3,1城市空间的扩张研究背景3,3,1,研究背,景,三维点云数据获取,基于多视图像获取三维点云 激光点云获取技术,深度相机,4,移动测量技术的发展,室外车载、机载LIDAR（GNSS）室内移动测量平台,手持SLAM（GeoSLAM,Tango）背包SLAM,视觉（单目相机，双目相机，RGB-D深度相机）激光（机械旋转激光，固态激光）,GeoSLAM,Tango,1研究背景三维点云数据获取4移动测量技术的发展视觉（单目相机,4,1,三维重建,多视图三维重,建,激光SLAM技术 Visual,SLAM,研究背,景,无人机摄影测量,S,FM,+,M,VS,多视图三维重建,5,1三维重建研究背景无人机摄影测量SFM+MVS多视图三维重建,1,三维重建,多视图三维重建,激光SLAM技,术,Visual,SLAM,研究背,景,Cartographer,采集的场景点云,6,1三维重建研究背景Cartographer采集的场景点云6,1,三维重建,多视图三维重建 激光SLAM技术,Visual,SLAM,研究背,景,O,r,bSLA,M,2,采集的场景带颜色点云,BundleFusion,重建结果示例,通常所说的三维重建结果：,稀疏点云,稠密点云,Mesh网格,7,1三维重建研究背景OrbSLAM2采集的场景带颜色点云Bun,2,研究目,的,为什么要结构化？,点云数据数据量大，信息冗余,获取的点云数据存在遮挡和不完整,网格模型显示效果不美观,缺乏语义信息，无法满足某些应用,现有方法及存在的问题,机器人领域基于栅格图像的房间分割,形态学方法,，Voronoi,图方法，距离变换方法，基于学习的方法,ACE领域As-built,BIM，空间划分，图割方法生成房间平面图,点云处理方面，单纯的平面分割，或者点云语义分类的研究,存在问题,：,没有充分利用建筑物室内结构约束，导致房间分割失败,没有对室内连通空间进行建模,不适用大规模室内场景,8,2研究目的为什么要结构化？8,3,研究方,法,Room,space,Indoor,space,Free,space,Occupied,space,Corridor,Wall,opening space(e.g.,doors and,windows),(,W,alls,),Connectio,n,space,室内空间和结构约束,室内结构约束的两个层次：几何层次和语义层次,室内空间,曼哈顿空间假设,弱曼哈顿空间假设,9,3研究方法Room spaceIndoor spaceFre,3,研究方,法,（技术路线,）,10,3研究方法（技术路线）10,3,研究方,法,点云平面分割,采用一种基于正态分布变换（Normal,Distribution,Transformation，NDT）的随机一致性 平面提取方法。该方法采用首先用NDT分布作为点云的空间表达，将点云离散化为体素单元，并 计算每个体素单元的NDT特征；接着根据设定的阈值提取主要的表现为平面的体素单元。然后结 合RANSAC方法实现点云平面分割。本方法可以最大限度的消除RANSAC方法可能存在的虚假平面 问题，采样重权重方法拟合平面，提高平面拟合的精度和稳健性。,原 始 点 云,正 态 分 布 变 换 单,元,平面,NDT,和非平面,NDT,点云平面分割结,果,Li,L.;,Yang,F.;,Zhu,H.;Li,D.;Li,Y.;,Tang,L.An Improved RANSAC for 3D Point Cloud Plane Segmentation Based on Normal Distribution,Transformation,Cells.,Remote Sens.,2017,9,433.,11,3研究方法点云平面分割原 始 点 云 正 态 分 布,3,研究方,法,房间分割,通过自由空间证据地图进行房间分割，得到标记了房间属性的栅格图层。将点云进行平面 分割并选择墙面投影到二维平面，利用二维墙面线将平面空间进行分割得到矢量多边形单元。通过叠加分析最终得到房间平面图。,Cell,complex layer,Random s,ampling,Point,layer,Extraction value,Point,with,evidence,Joins,and,statistics,Room,Polygon,layer,Room,labelling,layer,12,3研究方法房间分割Cell complex layerRa,3,研究方,法,房间平面图与属性信息提取,对生成的面图层进行简化，提取每个房间的高度、面积等信息。,房间平面图,13,高程直方图,3研究方法房间平面图与属性信息提取房间平面图13高程直方图,3,研究方,法,墙面标记,利用激光和物体之间的位置关系，对扫描墙面进行标记，生成证据栅格图。,占用,遮挡,Free,space,空白,14,3研究方法墙面标记占用遮挡Free space空白14,3,研究方,法,门窗检测,提出一种水平和垂直双向生长的门窗提取算法。,15,3研究方法门窗检测15,4,实验结,果,数据集,两个合成数据集，两个真实数据集。,Test,Sites,Total,Frames,Table,1.,Description of the,datasets.,Length,(m),Width(m)Height,(m),Po,in,t,s,(per,Frame),Synthetic-1,43,10.3,5.6,2.56,274,000,Synthetic-2,110,54.3,23.6,5.6,380,000,Dataset-1,46,8.6,10.2,2.8,367,602,Dataset-2,10,22.8,32.3,2.8,2,765,000,评价指标,U,=,ea,f,ee,ea,f,U,RDM,=,(,a,),a,AA,D,=,|,e,a,e,a,|,eee,=,+,N,e,e,=,+,16,4实验结果数据集两个合成数据集，两个真实数据集。Test S,4,实验结,果,(,a,),(,b,),(,c,)(,d,),Figure,12.,Synthetic-1 dataset.(a),Original point clouds,the,trajectory is,shown,in,red.(b)Plane,segmentation,and fusion,result;(c)Semantic decomposition,of room space,and,floor plan;(d),3D,indoor,model.,(,a,),(,b,),(,e,),(,f,),Figure 14.,Real world dataset-1.(a)Original point clouds;(b)Plane,segmentation,and,fusion result;(c)Semantic decomposition,of room,space,and,floor,plan;(d)3D indoor,model.,17,4实验结果(a)(b)(c)(d)(a)(b)(e)(f,4,实验结,果,TableT2a.,b,D,le,es,4,c,.,riDpteisocnriopftitohne,trhoeomexpreecroimnsetnrutacltiroensuelvtsalfuoartitohnesrbeayl-uwsionrgldthdeatsaysnetthse.,tic,datasets.,of,Rooms,R,o,o,m,s,Io,U,RDM,(m),AAD,(m,2,),8,1,8,0.0120.009,0.0110.014,0.120.18,0.210.52,Test,Sites,Test,Sites,T,E,o,l,t,e,a,m,l,N,en,u,t,mber,B,D,ac,e,k,te,g,c,r,t,o,e,u,d,nd,Detection,B,a,c,k,g,r,o,u,n,d,D,e,t,ec,ti,o,n,T,P,FPFN,D,oo,r,s,7,7,63,.,6%,100%,W,i,n,d,o,w,s,7,7,4,4,0,0,63,.,6%,100%,Synthetic-2,Doors,17,16,9,1,64.0%,94.1%,Windows,45,42,8,3,84.0%,93.3%,Dataset-1,R,o,o,m,s,55,-,Synthetic-1,Da,S,t,y,a,n,se,th,t-,e,2,tic-2,W,al,l,8,Pl,a,ne,s,Ro,1,o,8,ms,Wall,Planes,6,-,98.4%1.3%,35,99.4%0.6%,6,37,Test,Sites,E,l,e,m,e,n,t,Table,3.,Descript,B,io,a,n,ck,o,g,f,r,th,o,e,un,st,d,ructured,wall,o,D,p,e,e,t,n,e,i,c,n,t,g,io,e,n,lement,detection,results.,P,rec,isi,o,n,R,eca,ll,Nu,m,.,T,P,FP,FN,Test,Sites,Dataset-1,4,4,10,D,E,o,l,e,o,m,r,s,e,n,t,Windows,Num.,10,9,6,1,8,P,0,r,.,0,e,c,%,i,s,i,o,n,60.0%,1,R,0,0,e,%,ca,ll,90%,Synthetic-1,Dataset-2,D,oo,r,s,9,9,69,.,2,%,100,%,W,i,n,d,o,w,s,8,7,4,7,0,1,50,.,0,%,88,%,18,4实验结果TableT2a.bDlees4c.riDpte,5,结论与展,望,结论,本方法可以满足大场景多房间的室内结构化三维重建。,构建的房间平面图具有很高精度。,门窗检测的查全率较高，查准率相对较低，和点云数据的噪声，稀疏性有关系。,展望,多楼层环境下的室内空间划分与重建？,更加复杂的室内环境下的建模问题？商场？,本方法只采用了点云坐标，更多的线索，包括颜色，强度等信息。,Li,L.;Su,F.;,Yang,F.;,Zhu,H.;Li,D.;Zuo,X.;Li,F.;,Liu,Y.;,Ying,S.Reconstruction of Three-Dimensional(3D)Indoor Interiors with Multiple Stories,via,Comprehensive Segmentation.,Remote Sens.,2018,10,1281.,19,5结论与展望结论展望19,