基于超算在线实景三维建模方法与流程

本发明属于计算机软件技术、国土空间大数据领域，涉及基于超算在线实景三维建模方法。

背景技术：

现有的三维建模主要分两种。一种是本地单机三维建模，由本地软件搭配本地服务器所组织构建而成，其工作原理是本地软件连接本地高性能服务器，图像数据通过软件上传服务器后，调整参数进行三维建模。建模后从服务器中下载模型，再用有查看模型软件的机器对模型进行查看。此种方法操作繁琐、高人工成本且大数据量时耗时长。

另一种是在线三维建模，此种方法未基于超算云，不可同时多个建模任务进行，且不稳定、效率低、建模失败无法查看失败原因，不能在线管理建模数据,两种方法都有很大的弊端。

技术实现要素：

为了克服上述现有技术的不足，本发明提供了一种具有低人工成本、高建模效率、几乎一键操作、可同时多个建模任务并行、可追溯建模过程等优点的基于超算在线实景三维建模。

本发明的技术方案是：

基于超算在线实景三维建模方法，将图像处理算法进行封装：任务开始前将上传的航拍建模图像数据通过封装代码传到云上的对象存储中；任务开始时mq推送信息同时数据库同步记录，通过程序内置命令启动容器，图像处理算法封装代码将图像处理算法运行开始、运行中信息mq推送，这样在线实景三维建模中可实时了解建模运行情况，将打包好的镜像文件在容器中运行，进行图像算法处理且建模产生的中间文件在云上输出；建模成功时，mq推送到数据库记录与页面中，最后在云上输出建模结果；若运行中出现异常时，也是通过mq推送，返回错误信息。其中mq就是消息队列，将所述文件上传搭载到超算云，包括以下步骤：

无人机航拍采集图像数据；

创建建模任务，在页面中选择图像数据所在位置上传图像数据，填写任务名称、选择模型格式、上传图片后提交任务，任务提交成功后该任务的状态会变为建模中状态，任务提交成功后该任务的状态会变为建模中状态以进行建模；

验证上述建模模型，若建模完成，则可以下载模型及空三报告或在线实景查看模型。

在本发明的一个优选实施例中，所述文件包括但不限于图像处理算法，还包括图像处理算法所需的全部依赖、类库、配置文件。

在本发明的一个优选实施例中，所述图像处理算法包括十五个步骤的算子，具体包括如下：特征提取、图像匹配、特征匹配、自动空三、图像去畸变、领域图像选择、深度图计算、深度图过滤、深度图融合、点云颜色计算、点云网格化、网格纹理映射。图像处理算法在镜像容器中进行算法处理：首先要提取上传的每个图像的特征点，采用尺度不变特征转换即sift算法，在空间尺度中寻找极值点，提取出其位置、尺度等信息数据并进行描述，一个图像的尺度空间l(x,y,σ),定义为原始图像i(x,y)与一个可变尺度的二维高斯函数g(x,y,σ)卷积运算。二维空间高斯函数表达式为图像的尺度空间就是二维高斯函数与原始图像卷积运算后的结果，尺度空间的表达式为l(x,y,σ)＝g(x,y,σ)*i(x,y)，σ为图像尺度参数，然后将对图像提取的特征点进行两两匹配；通过空三、图像去畸变、邻域图像选择生成点云，然后经过图像深度计算、过滤且融合点云并标注颜色生成最终点云并带有颜色；点云网格化是一个马尔可夫随机场优化(mrf),需要同时优化数据项(unary)和一阶平滑项(smooth)，这个过程相当于在数据项(四面体)里面寻找可视性最优并且邻域法向一致的边界面片，在最终带颜色的点云中把带有相邻的三维坐标及邻域信息等的点云两两相连形成稳定性较强的三角网格，通过重建曲度等形成三维网格；最后通过贴纹理的方式把从原始图片中抽取的纹理图贴在网格上形成最终模型。

在本发明的一个优选实施例中，根据处理需要分别连接若干个算子，所述每个步骤算子根据命令启动的方式创建为多个算子，将每个步骤算子拖拽到可视化的区域内，通过前后顺序连线的方式连接成一个具体的建模流程。

在本发明的一个优选实施例中，所述特征提取主要是通过影像中相似同名点即特征点进行判断提取，然后通过同名点进行特征匹配后续步骤，都是用的尺度不变特征变换的方法，即sift。

在本发明的一个优选实施例中，所述图像数据为有gps信息，则建出的模型有坐标和限定范围。

在本发明的一个优选实施例中，所述图像数据无gps信息，无gps信息的图像数据处理包括以下两种：一种是有单独的gps文件，就需要在特征提取之后加一步从文件中获取gps信息，gps信息文件与图像数据在同级别存储即可；

另一种是无单独gps文件，需要把图像数据匹配的参数需要调整为：num_query＝100，num_spatial＝100。

本发明的有益效果是：

把传统三维建模结合最新空间大数据超算技术，形成一个基于超算在线实景三维建模，给国土空间地理信息行业带来质的飞跃。超算云的优势是：可以在数据感知和应用感知的基础上满足应用对分布式计算和存储的超大规模、超高吞吐量和极限性能的要求；着重强调了存储和计算的联合设计、多异构计算框架之间的联合设计。高效稳定、快速便捷已成为现代社会所追求的，传统行业+成熟热门新技术已是趋势。

附图说明

图1是基于超算在线实景三维模型流程图；

图2是基于超算在线实景三维模型流程图补充解读图；

图3是基于超算在线实景三维模型的建模时长与其他产品对比图；

图4是基于超算在线实景三维模型的在线创建建模任务草图；

图5是基于超算在线实景三维模型的在线任务执行流程进度草图；

图6是基于超算在线实景三维模型的在线查看及下载模型草图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明具备以下具体技术：云平台、云计算、云存储架构；采用超算平台的大规模并行计算、分布式存储技术的在线实景三维建模，支持基于计算机视觉的倾斜摄影实景三维全流程重建能力，

具体包括特征提取、图像匹配、特征匹配、自动空三、图像去畸变、领域图像选择、深度图计算、深度图过滤、深度图融合、点云颜色计算、点云网格化、网格纹理映射等能力。

原生支持模型单体化，实现基于超算云的快速三维构建，可在线实时查看与下载生成的模型。

本文中三维建模与现有的传统建模的区别为：利用超运算技术提高建模效率；可以实现在线实景建模；将核心算法进行封装，打包成容器镜像，一个容器包含了完整的运行时环境，除了算法本身之外，这个算法所需的全部依赖、类库、配置文件等，都统一被打入了一个称为容器镜像的包中，上传搭载到超算云上。搭载超算云的三维建模算法既突出了算法程序的计算优势，又凸显超算云性能、存储等方面的优势。

核心算法是分成个十五个步骤的算子，包括特征提取、图像匹配、特征匹配、自动空三(sfm空三)、自动点云限定范围(模型裁切)、图像去畸变、邻域图像选择、深度图计算、深度图过滤、深度图融合、点云融合、点云颜色计算(带颜色点云)、点云网格化、纹理映射。

进一步地，用流程编排的方式将各个算子的算法连接，实现可视化流程，具体将算法的每个步骤算子根据命令启动的方式创建为多个算子，将每个步骤算子拖拽到可视化的区域内，通过前后顺序连线的方式连接成一个具体的建模流程。在线实景三维建模方法调用这个流程进行建模。

其中特征提取主要是通过影像中相似同名点即特征点进行判断提取。然后通过同名点进行特征匹配等后续步骤，都是用的尺度不变特征变换的方法，即sift。

而且上述4中各个流程的参数、路径、版本信息、软硬件配置均是可以设置的，在核心算法中每个步骤算子的版本信息、路径、参数是通过算法程序的方式设置的，研发人员会根据实际情况给默认信息，一般是不需要改动的。软硬件配置则是在超算云上配置的，云服务扩展性强。

另外在算法程序中加入了一些动态匹配的代码参数，使得算法根据建模图片数量、建模图片大小动态匹配每个算子步骤的参数及资源。参数、资源会在一个大致规定的范围内变化，使建出的模型效果更好。

最后在建模完成后，算法程序内容有建模过程中程序错误信息的描述，建模失败原因是把程序返回的错误信息直接返回给用户的任务，可以直接查看错误信息。既方便研发人员定位，又方便用户查看建模失败的原因。可以定位是程序的错误还是图像数据的问题。

第一部分：

该发明是基于超算的。核心算法开发、测试后进行封装，打包成镜像上传到超算云，搭载超算云的三维建模算法在计算、性能、存储等方面都有很大优势，这是毋庸置疑的。

算法分成几个步骤的算子，每个算子各有特点。用流程编排的方式把算法连接在一起，变成可视化流程，搭载在超算云上。

其中特征提取、特征匹配、图像去畸变、深度图计算、深度图过滤等流程步骤是并行的，可以根据情况设置并行参数，大大节省运行时间，提高运行效率。调整每步算子的参数、流程的默认路径、版本信息、软硬件配置等信息后，即可创建任务进行建模。

算法中支持动态匹配参数及资源，模型参数更精确且更加节省人工成本。

建模中可实时查看模型运行到的步骤；建模失败可查看失败原因由超算云上的算法返回提供；建模成功后可以因需在线预览或下载模型。

第二部分：

图像数据在页面中上传，通过上传接口存储到超算云的对象存储中。创建建模任务，选择图像数据所在位置，填写基本信息并确认内容后创建任务成功。随后进入可视化界面页可以查看总体情况与每一步骤执行情况，包括执行状态、时间等。建模失败可以查看失败原因，可以重新执行任务建模。建模成功可以在线三维球查看或下载查看模型，支持查看空三报告。

第三部分：

本发明建模时长与cc建模时长对比，见图3所示。数据对比更有效的证明本产品的稳定、效率及支撑能力。

第四部分：

有gps信息图像数据建模：

大部分建模都是使用有gps信息图像数据。算法中拆分算子为创建数据库、特征提取、图像匹配、特征匹配、自动空三、自动点云限定范围、图像去畸变、邻域图像选择、深度图计算、深度图过滤、深度图融合、点云颜色计算、点云网格化、网格纹理映射等能力。且建出的模型有坐标和限定范围。

无gps信息图像数据建模：

与有gps信息图像数据建模相比，无自动点云限定范围步骤。无gps信息无法自动限定范围，限定范围是靠gps信息坐标进行限定的。无gps信息的图像数据可以分两种，一种是有单独的gps文件，就需要在特征提取之后加一步从文件中获取gps信息，gps信息文件与图像数据在同级别存储即可。另一种是无单独gps文件。两种都需要把图像匹配的参数需要调整为：num_query＝100，num_spatial＝100。无gps信息图像数据建出的模型无坐标，无限定范围，模型周围超过相机位置区域会有零散的点。是否有gps信息都不影响模型效果与建模效率。