摘要：为提升集装箱在物流运输行业的中转和利用效率、降低集装箱检验和管理的人力成本，设计并实施基于图像采集配准、实例分割、视频识别等算法的智能集装箱缺陷检测系统，助力港口与集装箱外堆场智能升级。基于配准后的采集图像，通过实例分割算法准确定位图像中的每个集装箱；对于凹凸形变、破口、锈蚀、非标等不同的缺陷类型，设计合适的目标检测和图像分割算法，准确定位集装箱缺陷；对集装箱表面的结构化字符信息进行自动化提取，大幅提升集装箱信息管理的效率和准确率。全自动化集装箱形变检测系统投入使用后，大幅提升堆场整体验箱效率。

0引言

集装箱作为长距离运输大量货物的装货容器和载体，通常由有运货需求的客户向特定公司租赁使用。然而，在长途运输以及多个中转站之间的流转中，集装箱容易遭受损坏从而形成缺陷，其种类多达50多种，例如形变、锈蚀、破口、裂缝、部件缺失等。这些缺陷需要被及时检测出来，以评估集装箱能否继续使用，是否需要立即修理。若发生涉及集装箱保险赔偿定损审单的情况，缺陷的及时检测将有助于形成理赔依据。在现有业务流程中，评估集装箱缺陷情况的任务由验箱员承担。这种评估方式存在3个方面的问题：

1.对验箱员的招聘要求较高，且因劳动强度大，培训和留用的成本也较高。

2.评估结果存在不稳定性，通常与验箱员的经验、知识水平、偶发失误等因素有关

3.复杂的堆场环境难以有效保障验箱员的人身安全，如遇集装箱卡车等设备穿梭、雨雪雾、冰冻天气等情况，验箱员攀爬时极易发生安全事故。

基于这些现实问题，一套安全、高效、成本节约、操作可行的智能验箱方案是当前各大集装箱码头、集装箱货运集散场非常迫切的需求，同时也能帮助港口企业推进智能化转型升级。
          1智能集装箱缺陷检测的技术困难
    在集装箱缺陷检测的实际业务操作中，依靠视觉图像采集代替人工肉眼的观察和依靠人工智能算法进行自动识别代替人类认知研判非常困难。其中，最主要也最具挑战性的技术难题包括以下4点：

1.可借鉴经验少。在集装箱检测、检验领域，人工智能验箱是视频识别技术与行业需求结合的创新应用。目前尚无公开数据集、成熟的技术方案或成功的产品可供借鉴。采用新技术解决行业老问题是创新，也是巨大挑战。

2.大尺寸物体完整成像与分析精度的对比要求高。单个40英尺集装箱的长、宽、高分别约为12.2 m、2.5 m、2.6 m，而验箱的定损精度必须达毫米级别。在普通成像场景中，很少遇到多个大尺寸物体堆叠的情况。此外，智能验箱还要求在常规的成像精度下，检测出细微形变。

3.缺陷检测的复杂性高。集装箱形变的程度、类型、位置、区域大小等呈现出多样性和复杂性。例如：形变区域覆盖面积可大可小，大可至1 m2以上，小可至1 cm2以下；集装箱的顶板、侧板、横梁的形变判定都有不同的阈值。此外，如果集装箱发生整体形变，仅从正面拍摄图片所提供的视觉特征，很难判定是否形变。

4.对识别算法的精度要求高。由于智能验箱的最终目标是代替人工验箱，因此对系统检测结果的置信度要求很高，这就要求智能验箱的核心视频识别算法要具有非常高的精度，特别是在堆场、岸边等复杂场景中，算法精度不会明显下降。
          2智能集装箱缺陷检测系统
    腾讯科技有限公司（以下简称“公司”）针对集装箱运输中的码头/堆场闸口、验箱验残、岸边理货等场景，利用人工智能、图像处理、深度学习等优势能力，自主研发智能集装箱缺陷检测系统（以下简称“系统”）。系统可应用在码头或外堆场的出、入闸口或岸边理货场景，快速、精准地识别经过闸口、在堆场或岸边的集装箱上的箱体信息和缺陷信息，确保通过闸口的集装箱符合要求，实现高效、智能、自动化管理。系统的一般架构主要由底层基础硬件与组件、图像采集/配准模块和算法功能模块等组成。智能集装箱缺陷检测系统架构见图1。

2.1图像采集/配准模块图像采集/配准模块主要由用于成像的2D+3D模组、用于成像控制的传感装置、用于固定成像模组的龙门架等部件组成。成像模块需适配集装箱卡车的运行特性，采集到高清晰度的集装箱2D成像和3D点云数据，并进行高精度配准。

2.2算法功能模块该模块中集成根据具体业务场景定义的多种高精度算法子模块，如形变检测分析、箱门信息提取等，通过各种算法子模块对图像信息进行处理，实现集装箱信息识别和缺陷检测结果的呈现。算法从图片中识别货车信息（如车牌等），再判断货车是否装载多个集装箱，若是则算法需要对多个集装箱进行区分。系统采用实例分割算法对每个集装箱区域进行分割，并进一步获得集装箱精细结构的位置信息（如横梁、立柱、角件、波纹板、门把手等部件信息）。在码头作业场景下，获取这些信息便于了解集装箱是否按照正确的方式放置在托板上，进而判定是否需要向操作人员给出警示。针对集装箱上不同缺陷类型的特征，系统提供以下4种种技术方案进行判断：

1.针对凹凸形变的缺陷类型，系统基于集装箱的精细结构定位信息，结合3D点云信息，利用深度学习点云处理技术，发现点云中的异常值和检测结果，即可得到集装箱所有形变区域的区域位置代码、形变类型和形变程度信息。

2.针对孔洞、破损的缺陷类型，系统利用基于深度神经网络的目标检测技术，检测图像中存在孔洞、破损的区域，并将区域的坐标转换为区域位置代码。系统的网络结构能较好地建模全局和局部信息，更有效地区分不同部件的板破缺陷，显著提升效果指标值。

3.针对锈蚀的缺陷类型，系统基于图像目标定位技术获取锈蚀区域的像素级结果，最后按照相关检验标准转换为锈蚀区域的区域位置代码。同时，系统支持对锈蚀程度进行分级描述，可区分轻度、中度、重度锈蚀，可根据不同业务场景的需求动态调整告警阈值。

4.针对非标的缺陷类型，系统基于两阶段目标检测技术，对集装箱上的标志区域进行检测定位，基于高效的检索算法，确定检出标志是否为非标（如危险品标、贴纸、胶带等一切不属于集装箱原有标志的标志物）。

作为一个功能完整的智能验箱产品，除需要定位图片中每个集装箱的位置并给出集装箱具体的缺陷信息，还需要提取集装箱属性信息（如箱号、箱型、承重、铅封序列号等）。提取这些信息有利于工作人员在集装箱流转过程中对每个集装箱进行记录跟踪。公司在集装箱信息提取方面也进行深入研究，探索出一套鲁棒的深度学习字符检测识别方案，对不同排列方式的字符信息均能进行准确提取（如单行、单列、多行排列的箱号和90°字符旋转方向的铅封序列号等）。
                      3结语
    智能集装箱缺陷检测系统在国内某大型集装箱运输企业和某大型集装箱码头上线运行。传统流程中危险的取证过程改由机器完成。系统在检测到缺陷后自动报警，可全天候工作，并且只需极少量的人工干预或确认工作，因而大幅降低验箱员的劳动强度，提升验箱效率，减少集装箱卡车司机的等待时间。此外，得益于高精度人工智能算法的领先技术优势，自动化集装箱形变检测的准确率超过99%；验箱验残操作从检测开始到结果确认，从原来的十几分钟缩短到几分钟之内，整体效率提升超过50%。未来，公司将继续依托腾讯科技有限公司优图实验室在视频AI领域的技术优势，快速完善智能集装箱缺陷检测系统的覆盖场景，通过与港航行业合作伙伴共同研发、赋能验箱机器人、修箱机器人等智能化设备，打造新型智慧场站，并通过简化模式、升级管理，不断提升场站业务运营能力，为各类客户提供优质高效服务。