基于卷积神经网络的船舶吃水线提取方法.pdf

《基于卷积神经网络的船舶吃水线提取方法.pdf》由会员分享，可在线阅读，更多相关《基于卷积神经网络的船舶吃水线提取方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910135853.9 (22)申请日 2019.02.25 (71)申请人 秦皇岛燕大滨沅科技发展有限公司 地址 066000 河北省秦皇岛市经济技术开 发区洋河道12号e谷创想空间B区三层 2317室 (72)发明人 李雅倩薛银涛李海滨杜雨杭 贾璐苏青 (74)专利代理机构 石家庄知住优创知识产权代 理事务所(普通合伙) 13131 代理人 林艳艳 (51)Int.Cl. G06T 7/13(2017.01) G06T 7/12(2017.01) G06N 3/04(2。

2、006.01) (54)发明名称 一种基于卷积神经网络的船舶吃水线提取 方法 (57)摘要 本发明涉及港口散货船舶计量技术领域， 尤 其涉及一种基于卷积神经网络的船舶吃水线提 取方法， 用于解决港口船舶吃水线读取不准确问 题。 本发明首先通过搭载摄像机的履带电磁吸附 式爬壁机器人拍摄六面水尺视频， 制作深度学习 训练数据集， 用于训练学习得到模型参数。 使用 时， 将采集到的视频每一帧输入到训练好的深度 学习网络， 得到二值分割结果图片， 进行水平投 影， 获取水线位置。 本发明所述的方法采用了目 前最先进的深度学习技术， 提取的水线准确率 高， 鲁棒性好， 有效解决了复杂环境下吃水线提 取精。

3、度问题。 权利要求书2页 说明书5页 附图4页 CN 109903303 A 2019.06.18 CN 109903303 A 1.一种基于卷积神经网络的船舶吃水线提取方法， 其特征在于： 利用摄像机采集船舶的左右舷艏、 舷舯、 舷艉六面水尺视频； 然后统一对水线以上标注 为船体， 水线以下标注为水体， 制作出大量的标注图； 然后建立深度学习图像语义分割模 型， 利用标注图对模型进行训练以确定模型参数； 然后利用深度学习图像语义分割模型获 取船舶吃水线； 所述深度学习图像语义分割模型由七个块构成， 前五个Block卷积核统一采用3*3， Block1由64通道的两个卷积层组成， Block2。

4、为先进行池化层池化下采样操作， 再由两个128 通道的卷积层组成， Block3、 Block4和Block5均为先进行池化层， 再由三个通道数分别是 256,512,512的卷积层组成； 前五个Block都是VGGNet16的网络结构， 并由训练好的VGG16网 络模型参数进行初始化， Block6由下采样层和卷积核大小为7*7， 通道数为4096的卷积层以 及两个卷积核大小为1*1， 通道数为4096的卷积层组成， Block7为反卷积层， 将Block6输出 采用双线性插值上采样成与输入原图大小一致。 2.根据权利要求1所述的一种基于卷积神经网络的船舶吃水线提取方法， 其特征在于： 其具。

5、体步骤如下： (1)视频数据采集： 使用搭载摄像头的爬壁机器人采集船舶的左右舷艏、 舷舯、 舷艉六 面水尺视频， 每个视频时长为2-4分钟； 采集不重复的包含各种环境条件下的目标视频不少 于20个， 作为训练视频； 采集目标视频以获取船舶的吃水深度； (2)深度学习数据集： 对步骤(1)中的训练视频进行标注制作大量的标注图； 统一对水 线以上标注为船体， 水线以下标注为水体； (3)深度学习图像语义分割模型的建立： 深度学习图像语义分割模型由七个块构成， 前五个Block卷积核统一采用3*3， Block1 由64通道的两个卷积层组成， Block2为先进行池化层池化下采样操作， 再由两个12。

6、8通道的 卷积层组成， Block3、 Block4和Block5均为先进行池化层， 再由三个通道数分别是256,512, 512的卷积层组成； 前五个Block都是VGGNet16的网络结构， 并由训练好的VGG16网络模型参 数进行初始化， Block6由下采样层和卷积核大小为7*7， 通道数为4096的卷积层以及两个卷 积核大小为1*1， 通道数为4096的卷积层组成， Block7为反卷积层， 将Block6输出采用双线 性插值上采样成与输入原图大小一致； (4)模型训练： 使用步骤(3)中的深度学习图像语义分割模型， 对步骤(2)中的标注图进 行图像特征提取； 确定深度学习图像语义分。

7、割模型参数； (5)船舶吃水线提取： 将步骤(1)中采集到的目标视频每一帧输入到步骤(4)训练后的模型， 得到二值分割结 果图片， 进行水平投影， 获取水线位置。 3.根据权利要求2所述的一种基于卷积神经网络的船舶吃水线提取方法， 其特征在于： 每个训练视频制作400-600张标注图， 标注图的制作采用VOC2012深度学习语义分割数据集 的制作方式。 4.根据权利要求2所述的一种基于卷积神经网络的船舶吃水线提取方法， 其特征在于： 所述深度学习图像语义分割模型的深度学习环境搭建如下： 配置两个环境， 一是基于linux 系统的深度学习环境， 用于训练得到深度学习图像语义分割模型参数； 二是深。

8、度学习模型 移植到windows系统实现船舶吃水线提取的工程项目环境。 权利要求书 1/2 页 2 CN 109903303 A 2 5.根据权利要求2所述的一种基于卷积神经网络的船舶吃水线提取方法， 其特征在于： 所述步骤(5)船舶吃水线提取的具体步骤为： 将步骤(1)中的目标视频第一帧中以水线为中 心， 选取大小为224*224的图片ROI， 利用步骤(4)训练后的模型， 获得二值分割图像， 通过水 平投影， 即水平遍历像素值， 当第r行出现前景像素占比大于50， 且第r+2行占比大于 70， 第r+4行占比大于80， 则r为吃水线位置； 获取水线在图像中的位置； 通过前后两帧 水线位置的。

9、变化， 更新ROI； 以船舶标准字符为参考， 计算图像坐标和世界坐标的转化关系， 得到每一帧吃水线的实际高度； 求取时间段内的平均值， 作为最终的船舶吃水线高度。 6.根据权利要求5所述的一种基于卷积神经网络的船舶吃水线提取方法， 其特征在于： 二值分割图像通过canny边缘检测算法或其他边缘检测算法得到吃水线位置。 权利要求书 2/2 页 3 CN 109903303 A 3 一种基于卷积神经网络的船舶吃水线提取方法 技术领域 0001 本发明属于港口散货船舶计量技术领域， 尤其涉及一种基于卷积神经网络的船舶 吃水线提取方法。 背景技术 0002 在港口散货交易中， 由于像煤炭， 矿石这种散。

10、货无法直接称重， 只能通过读取船舶 吃水高度， 计算货物重量。 目前船舶水尺读数主要是通过专业的计量人员进行公估， 但是由 于人的主观因素以及环境的复杂多变， 所以会经常发生货主、 与港方和采购方之间的矛盾。 0003 随着近年来科学技术的发展， 设计一种智能的吃水线检测装置来替代传统人工观 测的方法成为了可能。 虽然各大港口以及高校研究所投入大量人力物力进行了研发， 但受 限于恶劣的环境条件， 吃水线的检测精度一直无法达到要求。 有人提出采用无人机拍摄视 频， 再通过工作人员读取， 得到吃水值， 但这种方法还是未能解决根本问题。 发明内容 0004 本发明的目的在于提出一种基于卷积神经网络的。

11、船舶吃水线提取方法， 旨在有效 的解决吃水线提取精度问题。 0005 为解决上述技术问题， 本发明的技术方案为： 一种基于卷积神经网络的船舶吃水 线提取方法， 其特征在于： 0006 利用摄像机采集船舶的左右舷艏、 舷舯、 舷艉六面水尺视频； 然后统一对水线以上 标注为船体， 水线以下标注为水体， 制作出大量的标注图； 然后建立深度学习图像语义分割 模型， 利用标注图对模型进行训练以确定模型参数； 然后利用深度学习图像语义分割模型 获取船舶吃水线； 0007 所述深度学习图像语义分割模型由七个块构成， 前五个Block卷积核统一采用3* 3， Block1由64通道的两个卷积层组成， Bloc。

12、k2为先进行池化层池化下采样操作， 再由两个 128通道的卷积层组成， Block3、 Block4和Block5均为先进行池化层， 再由三个通道数分别 是256,512,512的卷积层组成； 前五个Block都是VGGNet16的网络结构， 并由训练好的VGG16 网络模型参数进行初始化， Block6由下采样层和卷积核大小为7*7， 通道数为4096的卷积层 以及两个卷积核大小为1*1， 通道数为4096的卷积层组成， Block7为反卷积层， 将Block6输 出采用双线性插值上采样成与输入原图大小一致。 0008 进一步的技术方案在于， 其具体步骤如下： 0009 (1)视频数据采集：。

13、 使用搭载摄像头的爬壁机器人采集船舶的左右舷艏、 舷舯、 舷 艉六面水尺视频， 每个视频时长为2-4分钟； 采集不重复的包含各种环境条件下的目标视频 不少于20个， 作为训练视频； 采集目标视频以获取船舶的吃水深度； 0010 (2)深度学习数据集： 对步骤(1)中的训练视频进行标注制作大量的标注图； 统一 对水线以上标注为船体， 水线以下标注为水体； 0011 (3)深度学习图像语义分割模型的建立： 说明书 1/5 页 4 CN 109903303 A 4 0012 深度学习图像语义分割模型由七个块构成， 前五个Block卷积核统一采用3*3， Block1由64通道的两个卷积层组成， Bl。

14、ock2为先进行池化层池化下采样操作， 再由两个128 通道的卷积层组成， Block3、 Block4和Block5均为先进行池化层， 再由三个通道数分别是 256,512,512的卷积层组成； 前五个Block都是VGGNet16的网络结构， 并由训练好的VGG16网 络模型参数进行初始化， Block6由下采样层和卷积核大小为7*7， 通道数为4096的卷积层以 及两个卷积核大小为1*1， 通道数为4096的卷积层组成， Block7为反卷积层， 将Block6输出 采用双线性插值上采样成与输入原图大小一致； 0013 (4)模型训练： 使用步骤(3)中的深度学习图像语义分割模型， 对步。

15、骤(2)中的标注 图进行图像特征提取； 确定深度学习图像语义分割模型参数； 0014 (5)船舶吃水线提取： 0015 将步骤(1)中采集到的目标视频每一帧输入到步骤(4)训练后的模型， 得到二值分 割结果图片， 进行水平投影， 获取水线位置。 0016 进一步的技术方案在于， 每个训练视频制作400-600张标注图， 标注图的制作采用 VOC2012深度学习语义分割数据集的制作方式。 0017 进一步的技术方案在于， 所述c的深度学习环境搭建如下： 配置两个环境， 一是基 于linux系统的深度学习环境， 用于训练得到深度学习图像语义分割模型参数； 二是深度学 习模型移植到windows系统。

16、实现船舶吃水线提取的工程项目环境。 0018 进一步的技术方案在于， 所述步骤(5)船舶吃水线提取的具体步骤为： 将步骤(1) 中的目标视频第一帧中以水线为中心， 选取大小为224*224的图片(ROI)， 利用步骤(4)训练 后的模型， 获得二值分割图像， 通过水平投影， 即水平遍历像素值， 当第r行出现前景像素占 比大于50， 且第r+2行占比大于70， 第r+4行占比大于80， 则r为吃水线位置； 获取水线 在图像中的位置； 通过前后两帧水线位置的变化， 更新ROI； 以船舶标准字符为参考， 计算图 像坐标和世界坐标的转化关系， 得到每一帧吃水线的实际高度； 求取时间段内的平均值， 作 。

17、为最终的船舶吃水线高度。 0019 进一步的技术方案在于， 二值分割图像通过canny边缘检测算法或其他边缘检测 算法得到吃水线位置。 0020 本发明所采用技术方案具有的有益效果： 本发明所述的方法采用了目前最先进的 深度学习技术， 提取的水线准确率高， 鲁棒性好， 有效解决了复杂环境下吃水线提取精度问 题。 附图说明 0021 图1是本发明的船舶吃水线提取步骤流程图； 0022 图2是本发明深度学习图像语义分割模型的结构图； 0023 图3-6分别是利用本发明所述方法对不同环境下测试的船舶吃水线位置； 0024 图7-8分别是在实验室模拟的的情况下利用本发明所述方法对不同环境下测试的 船舶。

18、吃水线位置。 具体实施例 0025 本发明阐述了一种船舶吃水线提取方法， 其利用摄像机采集船舶的左右舷艏、 舷 说明书 2/5 页 5 CN 109903303 A 5 舯、 舷艉六面水尺视频； 然后统一对水线以上标注为船体， 水线以下标注为水体， 制作出大 量的标注图； 然后建立深度学习图像语义分割模型， 利用标注图对模型进行训练以确定模 型参数； 然后利用深度学习图像语义分割模型获取船舶吃水线； 0026 深度学习图像语义分割模型由七个块构成， 前五个Block卷积核统一采用3*3， Block1由64通道的两个卷积层组成， Block2为先进行池化层池化下采样操作， 再由两个128 通道。

19、的卷积层组成， Block3、 Block4和Block5均为先进行池化层， 再由三个通道数分别是 256,512,512的卷积层组成； 前五个Block都是VGGNet16的网络结构， 并由训练好的VGG16网 络模型参数进行初始化， Block6由下采样层和卷积核大小为7*7， 通道数为4096的卷积层以 及两个卷积核大小为1*1， 通道数为4096的卷积层组成， Block7为反卷积层， 将Block6输出 采用双线性插值上采样成与输入原图大小一致。 0027 本发明优选实施例中， 其具体步骤如下： 0028 (1)视频数据采集： 使用搭载摄像头的爬壁机器人采集船舶的左右舷艏、 舷舯、 。

20、舷 艉六面水尺视频， 每个视频时长为2-4分钟； 采集不重复的包含各种环境条件下的目标视频 不少于20个， 作为训练视频； 采集目标视频以获取船舶的吃水深度； 0029 (2)深度学习数据集： 对步骤(1)中的训练视频进行标注制作大量的标注图； 统一 对水线以上标注为船体， 水线以下标注为水体； 0030 (3)深度学习图像语义分割模型的建立： 0031 深度学习图像语义分割模型由七个块构成， 前五个Block卷积核统一采用3*3， Block1由64通道的两个卷积层组成， Block2为先进行池化层池化下采样操作， 再由两个128 通道的卷积层组成， Block3、 Block4和Block。

21、5均为先进行池化层， 再由三个通道数分别是 256,512,512的卷积层组成； 前五个Block都是VGGNet16的网络结构， 并由训练好的VGG16网 络模型参数进行初始化， Block6由下采样层和卷积核大小为7*7， 通道数为4096的卷积层以 及两个卷积核大小为1*1， 通道数为4096的卷积层组成， Block7为反卷积层， 将Block6输出 采用双线性插值上采样成与输入原图大小一致； 0032 (4)模型训练： 使用步骤(3)中的深度学习图像语义分割模型， 对步骤(2)中的标注 图进行图像特征提取； 确定深度学习图像语义分割模型参数； 0033 (5)船舶吃水线提取： 003。

22、4 将步骤(1)中采集到的目标视频每一帧输入到步骤(4)训练后的模型， 得到二值分 割结果图片， 进行水平投影， 获取水线位置。 0035 本发明优选实施例中， 每个训练视频制作400-600张标注图， 标注图的制作采用 VOC2012深度学习语义分割数据集的制作方式。 0036 本发明优选实施例中， 所述深度学习图像语义分割模型的深度学习环境搭建如 下： 配置两个环境， 一是基于linux系统的深度学习环境， 用于训练得到深度学习图像语义 分割模型参数； 二是深度学习模型移植到windows系统实现船舶吃水线提取的工程项目环 境。 0037 本发明优选实施例中， 所述步骤(5)船舶吃水线提取。

23、的具体步骤为： 将步骤(1)中 的目标视频第一帧中以水线为中心， 选取大小为224*224的图片ROI， 利用步骤(4)训练后的 模型， 获得二值分割图像， 通过水平投影， 即水平遍历像素值， 当第r行出现前景像素占比大 于50， 且第r+2行占比大于70， 第r+4行占比大于80， 则r为吃水线位置； 获取水线在图 说明书 3/5 页 6 CN 109903303 A 6 像中的位置； 通过前后两帧水线位置的变化， 更新ROI； 以船舶标准字符为参考， 计算图像坐 标和世界坐标的转化关系， 得到每一帧吃水线的实际高度； 求取时间段内的平均值， 作为最 终的船舶吃水线高度。 0038 本发明优。

24、选实施例中， 二值分割图像通过canny边缘检测算法或其他边缘检测算 法得到吃水线位置 0039 本发明优选实施例中， 其具体步骤为： 0040 1、 视频数据采集： 使用搭载摄像头的爬壁机器人采集船舶的左右舷艏、 舷舯、 舷艉 六面水尺视频， 每个视频时长为2-4分钟； 采集不重复的包含各种环境条件下的目标视频不 少于20个， 作为训练视频； 采集目标视频以获取船舶的吃水深度， 传输到客户端。 0041 每个视频采集于不同船只， 不同环境条件下。 0042 2、 数据集的制作： 参考VOC2012深度学习语义分割数据集， 采用步骤1采集的训练 视频， 每个视频制作大约500张标注图， 共制作。

25、大约一万张的有效标注图片； 统一对水线以 上标注为船体， 水线以下标注为水体。 使用labelme标注工具制作数据集， 下载之后， 打开软 件， 按照提示进行标注， 统一对水线以上标注为船体， 水线以下标注为水体。 0043 3、 搭建深度学习环境： 需要分别配置两个环境， 一是基于linux系统的深度学习环 境， 用于训练得到深度学习网络模型参数； 二是深度学习模型移植到windows系统实现船舶 吃水线提取的工程项目环境。 0044 模型训练参考环境为： Ubuntu14.04系统， GTX1080显卡， Pycharm编译器， Python编 程语言， Tensorflow(Python。

26、)深度学习框架。 配置好之后， 利用深度学习语义分割网络进行 训练学习， 得到训练好的网络模型参数。 在网上下载FCN-tensorflow程序， 下载VGG16的预 训练模型并放在FCN指定的文件夹下。 工程项目环境为： Windows7系统， GTX1060显卡， VS2010， C+编程语言， Tensorflow(C+)框架。 0045 4、 深度学习图像语义分割模型的建立： 0046 深度学习图像语义分割模型由七个块构成， 前五个Block卷积核统一采用3*3大 小， Block1由64通道的两个卷积层组成， Block2为先进行池化层池化下采样操作， 再由两个 128通道的卷积层组。

27、成， Block3、 Block4和Block5均为先进行池化层， 再由三个通道数分别 是256,512,512的卷积层组成； 前五个Block都是VGGNet16的网络结构， 并由训练好的VGG16 网络模型参数进行初始化， Block6由下采样层和卷积核大小为7*7， 通道数为4096的卷积层 以及两个卷积核大小为1*1， 通道数为4096的卷积层组成， Block7为反卷积层， 将Block6输 出采用双线性插值上采样成与输入原图大小一致； 0047 5、 模型训练： 采用深度学习图像语义分割模型， 使用步骤2制作的数据集训练模 型， 提取图像特征， 确定模型参数； 0048 定模型参数。

28、， 将模型参数保存， 用于下一步骤的视频图像处理， 提取船舶吃水线位 置。 这里将模型参数保存为 “*.pb” 文件， 因为 “*.pb” 格式的文件不仅保存了网络模型的参 数， 而且将网络模型的结构一并进行了保存， 这样方便我们恢复模型进行测试。 0049 6、 视频图像分析： 将步骤1中的目标视频第一帧中以水线为中心， 选取大小为224* 224的图片(ROI)， 利用步骤5训练后的模型， 获得二值分割图像， 通过水平投影， 即水平遍历 像素值， 当第r行出现前景像素占比大于50， 且第r+2行占比大于70， 第r+4行占比大于 80， 则r为吃水线位置； 获取水线在图像中的位置； 通过前。

29、后两帧水线位置的变化， 更新 说明书 4/5 页 7 CN 109903303 A 7 ROI； 以船舶标准字符为参考， 计算图像坐标和世界坐标的转化关系， 得到每一帧吃水线的 实际高度； 求取时间段内的平均值， 作为最终的船舶吃水线高度。 0050 为了对程序算法进行检测， 本发明对在实际情况下对船舶进行测量， 如图3-6所 示， 分别为不同环境下的的视频数据进行了处理， 获得了相应的船舶吃水线数据； 并且在此 情况下进行了人工测量和本发明程序测量进行了对比， 如下表1所示； 同时对本发明程序测 量数据与专业水尺检测人员得到的数据进行分析对比， 判断程序计算的误差和专业人员检 测的误差大小；。

30、 确保检测结果的准确、 可靠、 有效。 0051 除此之外， 本发明还在实验室环境中进行了海浪模拟， 制作标准的水尺， 录制视 频。 对录取的视频利用软件处理同时检测人员也对该视频读数， 经过本发明程序测量， 其结 果如图7-8所示； 如表2所示， 对本发明程序测量数据与水面平静下的真实数据进行分析对 比， 判断程序计算的准确性； 确保检测结果的准确、 可靠、 有效。 0052 表1 0053 序号程序/m人工/m误差 110.5210.540.02 211.6611.6320.028 312.2112.2040.006 47.0777.070.007 0054 表2 0055 编号程序真实误差 a0.3720.3680.004 b0.3660.368-0.002 0056 本发明通过与人工读取数据和实验室数据双重对比， 进一步确保算法的准确， 可 靠。 说明书 5/5 页 8 CN 109903303 A 8 图1 图2 说明书附图 1/4 页 9 CN 109903303 A 9 图3 图4 说明书附图 2/4 页 10 CN 109903303 A 10 图5 图6 说明书附图 3/4 页 11 CN 109903303 A 11 图7 图8 说明书附图 4/4 页 12 CN 109903303 A 12 。