迈向粉末床熔融增材制造的智能缺陷检测 l 综述(下篇)

谷专栏

金属粉末床熔融(PBF)是制造金属零件的一项关键增材制造(AM)技术。然而,该工艺易受到孔隙、裂纹、翘曲等缺陷的困扰,从而削弱最终产品的质量。针对这一问题,学界和工业界日益关注利用原位监测、数据预处理与机器学习(ML)技术来进行金属 PBF 过程中的缺陷检测与预测。

来自新加坡制造技术研究院的科研团队发表了以“Towards intelligent defect detection in metal powder bed fusion: A review of in situmonitoring, data pre-processing, and machine learning“ 为题的综述论文。论文对粉末床熔融金属增材制造技术的原位监测、数据预处理与机器学习领域的最新进展进行了系统分析。谷·专栏将分上、下两期分享该综述。本期为下篇。

迈向粉末床熔融增材制造的智能缺陷检测 l 综述(上篇)

“ 3D Science Valley 白皮书 图文解析

valley 原位 机器

block 金属PBF中的原位数据预处理

如前所述,近几十年来已开发出多种原位监测方法,在获取金属PBF的实时数据方面发挥了关键作用。虽然直接分析原始数据在技术上可行,但经过预处理的原位数据往往能产生更可靠的结果,因为这一过程解决了噪声、数据丢失和数据量过大等问题,再将其整合到机器学习模型中。该步骤至关重要,因为原始数据通常包含不一致性,这会阻碍预测模型的准确性。特别是,噪声的存在和数据量庞大对直接用于机器学习应用构成了重大挑战,限制了其有效性。

除了用于机器学习,原位数据还可以通过后处理技术(如XCT和光学显微镜)进行详细缺陷分析。这些方法提供了互补的高分辨率见解,使得缺陷分类更加精确。实时监测能为即时反馈提供价值,而后处理方法进一步优化数据,提供关键的形貌细节,从而增强缺陷检测和表征。高效的原位数据处理因此成为提升缺陷识别和优化机器学习模型的基石,有助于开发稳健可靠的监测系统。以下小节将详细介绍不同信号类型下的原位监测数据预处理的最新进展。

光学图像

光学图像是最常见的原位监测数据形式,因为在L-PBF中广泛使用了不同类型的相机。因此,光学原位数据预处理是信号预处理中最重要的考量。光学原位数据预处理的质量决定了输入机器学习训练的数据集质量。根据具体应用,图像预处理的目标可能不同,包括提取熔池几何形状、捕捉飞溅动力学,以及未熔合/孔隙等工艺缺陷的识别与预测(表1)。

paper_situ16

在这个语境下,熔池和飞溅本身并不是缺陷,而是工艺特征,可以独立分析,或作为下游缺陷检测任务的中间指标。根据已有研究,光学原位数据预处理通常包括以下步骤:感兴趣区域(ROI)提取、灰度处理、滤波、二值化、轮廓检测、图像分割以及目标识别。虽然这一流程代表了常见框架,但具体实现可能因目标缺陷类型、数据特性和所用机器学习模型的不同而存在显著差异。表1 展示了这一任务特定的多样化工作流,同时也突出了不同应用中共享的基础步骤。

ROI提取涉及将图像裁剪到合适的大小,有效减少在原位监测、XCT或其他成像方法中采集到的多余或无关信息。原始图像往往大于缺陷检测所需的范围,边缘区域有时包含非必要数据。聚焦于ROI可以提高计算效率,使下游处理任务获得更高精度并降低成本。一些图像最初是灰度捕获的,但更多的是RGB格式。ROI提取后,如果图像是RGB格式,RGB三通道能提供更丰富的视觉信息,尤其在基于颜色特征进行缺陷识别时特别有用。然而,保留RGB格式可能会使后续预处理步骤(如滤波和二值化)复杂化,因为许多传统算法和机器学习算法是针对单通道输入优化的。此外,灰度化能够通过将每个像素简化为一个强度值而非三个颜色值,减少内存需求和处理复杂度。灰度化之前,有时应当进行阈值分割,用以区分目标和背景,增强对比度并提高分割精度。自适应阈值分割方法可动态适应不同光照条件,尤其适合光照波动的原位监测环境。尽管灰度化可能导致部分信息丢失,但它能战略性地简化图像数据,使预处理流程更稳健高效。

滤波是关键预处理步骤,旨在尽量减少背景噪声,同时保留与打印目标相关的关键特征。选择合适的滤波方法直接影响后续数据处理质量和分割精度。高斯滤波因能处理符合高斯分布的背景噪声(如电噪声和光学噪声)而被广泛使用,且算法简单,只需通过二维高斯核函数即可实现,并常通过试错法选择参数。高斯滤波还具有平滑图像的作用,有助于轮廓检测,通过降低噪声边缘增强特征连续性。然而,平滑效应也可能模糊细节,从而削弱对微小缺陷的检测能力。因此,高斯滤波并非通用最优解。在某些应用(如高温熔池监测)中,快速非局部均值去噪、双边滤波和中值滤波可能表现更好。与高斯滤波不同,双边滤波和中值滤波具有保边特性,能够在抑制背景噪声的同时保留关键的高温特征。双边滤波通过同时考虑空间邻近性和像素强度差异来减少噪声,同时保持边缘清晰;而中值滤波在消除椒盐噪声方面表现突出,通过将像素替换为周围像素的中值来提高图像稳健性。这些方法在实际应用中已经用于高温熔池图像处理,并能在挑战性的成像环境下提供更强的鲁棒性(图17)。

paper_situ17图17

此外,还有方法结合光效消除、阈值分割与形态学滤波等手段,利用形态学操作(腐蚀、膨胀)去除小噪声点,再通过连通域滤波识别和连接像素群,从而实现稳健去噪并保留结构信息。这些先进的滤波策略不仅提高了噪声抑制效果,还促进了下游特征提取的准确性。

二值化是灰度图像中的关键步骤,与对比度增强类似。需要先在全局或局部设置阈值,以处理不同区域的灰度值差异,然后将目标图像转换为黑白。该方法省时且便于进行目标轮廓检测。阈值的选择通常依赖试错法,关键在于既能避免丢失图像中的核心目标,又能忽略无关信息。如果羽流在肉眼下清晰可见,那么所有二值化方法都应给出相似结果。然而,当羽流表现为低频区域且伴随一些肉眼不可见的大飞溅时,Otsu、Li和K-means方法在特征提取上效果最佳,能准确分离出这些细微特征。这三种方法在鲁棒图像分割中表现突出(图18)。

paper_situ18图18

相反,IsoData和Huang方法在原位数据处理中容易出现误分割和错误预警,因此应避免使用。轮廓检测在需要获取目标形状和尺寸信息时显得尤为重要。分割则用于从处理后的图像中提取相关特征,因为图像中突出的特征未必与目标对象所需的信息完全一致。例如,当需要捕捉图像中的飞溅时,通常会对熔池进行分割;而打印物体在缺陷检测中往往不被视为重要。目标识别在从图像中提取必要信息以进行后续分析和研究时是基本步骤,能够满足光学原位数据预处理的不同需求。

在原位监测图像与后处理图像(如XCT)之间建立关联,是一种无需依赖机器学习即可直接分析图像的常用方法。这种方法为利用XCT的高分辨率体积数据验证原位数据提供了途径。然而,实现精确的关联需要克服多项技术挑战。这些挑战包括数据模态的不匹配,例如二维图像与三维模型的对齐,以及几何差异,需要通过各种变换进行校正。模态不匹配体现在不同维度数据的比较,例如将原位监测获取的时间序列二维逐层图像与XCT的静态三维体数据进行对比。解决方法包括将三维XCT数据切片为与成形层对应的二维截面图像,或将二维原位监测图像拼接以重建三维体积,这是关键的数据转换步骤。几何失配包括尺度差异(需要缩放变换)、位置不匹配(通过平移和旋转校正)以及局部变形(需补偿算法修正形状畸变)。因此,图像配准通常被作为直接分析的额外步骤。

图像配准常用于比较光学图像与XCT图像,以分析成形板或熔池。起初,由于光学图像与XCT图像的采样间隔不同,需要将不同层的特征组合为可比形式(图19a)。

paper_situ19图19

这种组合允许在光学图像和XCT图像之间实现配准。对于拼接熔池图像与XCT图像的自动配准而言,几何特征匹配通常不可行,因为拼接熔池图像无法准确表示目标特征的位置。为解决这一问题,研究者检测了两个几何向量,分别用于水平和垂直切片的配准(图19b)。在零件移除后,XCT扫描数据与熔池数据之间存在约0.5 mm的差异,使配准过程更加困难和关键(图 19c)。配准完成后的图像可以通过叠加和分析用于不同的研究方法。当配准准确时,原位熔池图像与XCT扫描结果表现出高度相关性,表明其有潜力独立表征气孔的尺寸和形状。这种能力不仅提高了缺陷检测效率,还支持基于XCT图像的气孔类型分类。尽管已有进展,目前的方法在直接比较光学和XCT图像进行缺陷检测时仍面临挑战。

局限性包括空间分辨率的不一致、成像模态的差异,以及熔池图像在拼接过程中可能出现的畸变,这些都会导致精度下降。要解决这些问题,需要开发创新的配准算法,可能结合机器学习技术,以改进特征对齐并支持更可靠的缺陷分析。

除了标准的二维光学图像处理外,光电二极管信号提供了一种独特的方法,其生成的是一维数据流而非传统的二维图像。这种降维简化了预处理流程,相比之下,声学信号往往需要更复杂的去噪和特征提取方法。光电二极管信号的处理通常包括设定阈值以提取有意义的数据,同时抑制背景噪声(图20)。

paper_situ20图20

这一阈值步骤对于提高信噪比至关重要,确保与缺陷相关的波动特征得以保留。完成阈值处理后,信号会进一步通过短时傅里叶变换(STFT)和快速傅里叶变换(FFT)进行处理,以提取时域信息并对环境噪声去除。傅里叶变换(FT)是一种减少多项式运算处理时间的方法,包括FFT、STFT和离散傅里叶变换(DFT)。这一变换对分析光电二极管信号中的时间模式尤为有利,因为它能够识别与工艺异常相关的特定频率成分。STFT尤其适合金属PBF过程中瞬态事件的检测,因为它具备时频局部化的优势;而FFT则提供全局频谱,有助于识别持续的周期性信号并滤除环境噪声。

在傅里叶变换之后,优化过的一维信号会被转换为二维图像表示,从而能够集成到机器学习模型中。例如,研究者对光电二极管信号进行预处理时,通过平均两个50 kHz锗光电二极管的强度值来减少角度检测偏差。随后,他们将信号转换为二维图像数据集,其中一个版本保留了内部和轮廓数据点,另一个则排除了外部轮廓。这些表示捕捉了与工艺波动相关的局部强度变化,有效实现了熔合不足缺陷的检测,并展示了原位光电二极管信号与缺陷形成之间的强相关性。

尽管存在多种成像硬件和安装方式,光学监测中的一个关键挑战是接收到难以直观解释的信号,或分辨率不足,尤其是在轴外或高速条件下。这些局限会妨碍缺陷的及时和准确检测。然而,光学信号同样可以用于获取熔池信息,因为这些信息能反映潜在的缺陷。飞溅特征可从光学信号中提取,而飞溅与缺陷形成密切相关。因此,可以进一步分析光学信号中的附加信息用于缺陷研究。通过提取和分析二级特征(如飞溅轨迹、强度波动、几何不规则性),未来研究有望揭示缺陷演化的更深层次机制。这也凸显了不仅需要改进传感器硬件,还要通过智能数据处理和特征提取方法提升信号解释能力,这将在后续章节中进一步探讨。

声发射信号

声发射(AE)信号主要是一维信号,通常以幅值(Pa)随时间(s)变化的形式表示。AE信号的标准处理方法是使用傅里叶变换(FT)和数字滤波器来分离高、低频背景噪声。最初,离散傅里叶变换(DFT)被用于处理AE和其他类型的信号,它能降低数据维度并将其集中到频域中。随着AE技术的发展,快速傅里叶变换(FFT)因其计算效率高而越来越受欢迎,能够显著减少处理时间。

在信号到图像的转换过程中(图21),一维AE信号首先被分段并通过FFT转换到频域,然后应用带通滤波来抑制带外噪声。去噪后的信号被映射成二维灰度图像,并结合激光扫描信息进行处理。经过这一流程,AE信号就转化为二维图像,可以利用光学图像处理方法进行分析。灰度图像随后可作为典型的二维光学图像进行处理,并用于训练机器学习模型。

paper_situ21图21

除了这种转换方法外,AE信号还可以直接与其他后处理结果进行比较,例如XCT图像。AE信号与XCT图像的直接对比表明,AE信号波峰可以与气孔相对应,即使存在一定误差(图22)。

paper_situ22图22

值得注意的是,AE信号与XCT图像中波峰位置的不一致,往往表明裂纹的萌生和扩展。AE事件通常出现在包含缺陷(气孔和裂纹)的区域,偏差仅有2–3 mm,这表明AE信号处理具有很高的精度。这种精度水平对于不同材料和结构的缺陷检测与预测具有良好前景。

尽管如此,AE信号分析的可解释性和鲁棒性仍有进一步提升的空间。AE数据的一个长期局限是其复杂且嘈杂的特性,往往掩盖了有意义的特征。传统的分析工具(如皮尔逊相关系数)在这一领域的应用仍然不足。已有研究表明,皮尔逊分析在其他增材制造工艺(如DED和电弧增材制造)中处理光学与AE信号时是有效的,但在L-PBF中尚未有已知研究应用这一方法。探索此类统计方法可能有助于揭示声学信号模式与缺陷形貌之间的潜在关联,为实时缺陷预测提供一种互补且可解释的路径。

热学信号

热学信号表示物体内部或表面的热分布。通过检测温度或热能的变化,这些信号可以在二维热像图中提供关于对象特征、状态及缺陷的信息。在金属PBF中,热学信号检测的一个常见应用是熔池形貌分析,如图23 所示。

paper_situ23

通过提取ROI、绘制等温图并将图像转化为灰度图像,可以获得熔池的轮廓,其结果的精度依赖于分辨率。原位数据处理后获取的信息(如熔池尺寸和温度)可用于进一步分析。直接利用热像图进行熔池预测时,误差可控制在5%以内。

除了熔池分析之外,热学信号还能揭示更广泛的热分布模式。通过应用背景扣除和统计特征提取,热数据可被预处理并用于训练机器学习模型,在预测局部热积累方面取得了94.7%的准确率。这不仅有助于监测热变化,还能辅助缺陷预防。在缺陷检测方面,红外图像与SEM图像对比被用于预测熔合不足,结果准确率为82%。类似地,通过分析原位监测的多层热特征,可以实现孔洞型气孔的检测。在一项代表性研究中,该方法在局部700 × 700 × 50 µm³ 子体积内预测孔洞型气孔时,达到了96%的准确率和0.86的F1值。该结果表明,该方法在L-PBF实时质量控制中具有潜力。

除了目前在熔池监测和缺陷分类中的应用外,热学信号在更深入的工艺理解和早期缺陷预测方面也有潜力。其捕捉熔池几何与温度特征的能力,也可用于跟踪熔池演化和识别工艺异常。特别是一些在DED中应用的技术(如重力超像素)可被改造用于L-PBF中的熔池分割和时间跟踪,为实时质量保证提供新机会。最新研究表明,热梯度和熔池尺寸与特定缺陷类型和工艺异常相关。此外,空间分辨的高温数据还能基于热分布不均来识别气孔聚集现象,提供了关于缺陷如何在不同热历史下演化的新视角。这些关联突显了热学信号的价值,不仅适用于分类任务,也能用于缺陷形成机理的建模。

电子信号

来自原位监测的电子信号仍以原始数据的形式存在,其表现为二维图像,与原始光学图像类似。电子信号的原位数据处理可分为人工标注、噪声去除、畸变校正、分辨率增强以及图像分析。

在一种常见的人工标注与缺陷分类方法中(图24)

paper_situ24图24

单次EB-PBF过程中通过人工判断对孔隙严重程度进行分级(如不均匀、良好和多孔),以有效指示工艺窗口。此类数据集可在一次构建过程中完成采集,将开发时间从传统后处理分析所需的数周甚至数月大幅缩短至数小时。然而,这种依赖人工判断和操作经验的方法在图像分类能力上较为粗糙,主要适用于识别最明显的缺陷(如大气孔),但难以检测更细微或复杂的缺陷特征。其在初步、粗粒度分类中仍具成本效益和效率,但在需要高精度和细致缺陷表征的场景下,该方法存在明显不足,因此亟需更先进的自动化技术以实现精确的缺陷检测与分类。

噪声去除方法包括生成电子图像的直方图,并应用中值滤波和归一化以增强图像对比度(图24b)。电子图像中的畸变与倾斜角度有关,因此通过表面倾斜校正和立体角对比度调整来修正畸变(图24c)。经校正后,图像显示这些因子仅依赖于样品表面形貌。

在数据归一化与三维可视化方面,有研究使用纯铜样品的数据流文件,将所有层的数据导入MATLAB进行处理,并通过X、Y偏转归一化总电子发射信号,生成总电子产额数据集。这提高了信噪比并减少了数据规模。为了便于与XCT图像对比,还利用ImageJ对分辨率与灰度值进行了标准化,再用Dragonfly软件实现三维可视化。另有研究则使用基于Python的图像分析脚本,该脚本能够利用分水岭算法实现表面轮廓的精确勾勒。该方法首先通过索贝尔边缘检测算法增强特征对比度,继而采用泛洪填充法消除非闭合特征,最终利用霍夫圆变换识别小型环形特征。此外,该技术还实现了逐层图像的三维重构。处理后的ELO图像被用于污染检测和后处理结果对比(图25)。

paper_situ25图25

在污染检测中,ELO图像可用于识别杂质,如钽元素会在图像中表现为亮区。

此外,通过构建ELO电压图并结合归一化的最大、最小值,可突出材料异常。由于EB-PBF过程中温度变化难以测量,ELO成像结合电压信息被认为是缺陷检测与预测的一种有前景的替代方法。

在对比后处理结果方面,ELO图像与XCT、OM图像的对比是一种常用的方法。研究发现,ELO成像在某些方面比OM和XCT的限制更少,例如样品大小,因为它是一种实时监测方法。然而,ELO成像往往高估孔隙率,这是由于其只能捕捉每一层的电子信号,而某一层检测到的孔隙可能在随后的层中被重熔。此外,ELO成像的分辨率不足也是检测微小缺陷或精确定位时的问题。

后续研究表明,ELO图像可用于监测熔融层精度和预测打印表面的粗糙度,但边缘损失问题依然存在。这一局限源于ELO成像的固有限制,即只能进行逐层表面成像。在理想条件下,其最小可检测缺陷约为100 µm,因为其空间分辨率仅为47µm/像素。

还有研究将BSE成像与XCT图像进行配准,采用结构相似性指数和平均绝对百分比误差作为比较标准。结果(图26b)显示,BSE成像检测到的孔隙与金相分析结果高度一致。这表明BSE与XCT成像结合在增强缺陷检测和表征方面具有潜力。

paper_situ26图26

除XCT和OM外,激光扫描显微镜与共聚焦激光扫描显微镜也被用于与ELO图像的对比(图27)。

paper_situ27图27

结果表明,ELO图像的低、高强度区域与激光显微镜图像具有显著相关性,但ELO图像仍表现出较高的噪声水平。

研究还探讨了环境参数对EB-PBF打印的影响,例如温度、氦气效应、倾斜角度、人工喷砂和视场。结果表明,温度变化(室温至320 ºC)对ELO图像无影响,倾斜角度对图像畸变和BSE/SE反馈信号影响也很小。但氦气和人工喷砂会改变电子图像纹理,因此对BSE检测有较大影响。

总体而言,电子信号的原位数据处理仍研究不足,在理解和方法学上存在显著空白。除缺陷与形貌检测外,BSE或SE成像还能检测金属和合金的显微结构,而显微结构的质量也反映了打印件的致密度,因此这一方法也可能用于EB-PBF中的气孔检测与评估。然而,缺乏标准化流程导致了电子信号和图像处理在生产率和可靠性上的不足。数据解读不一致与可重复性差,直接影响了缺陷检测和工艺控制质量。这些局限对机器学习在EB-PBF工艺中的应用构成重大障碍,因为ML模型需要大量高质量且一致的数据进行训练。没有可靠、标准化的数据处理方法,ML技术的应用将变得困难,从而阻碍自动化、缺陷预测和工艺优化的发展。最终,这一不足限制了原位监测系统在提升EB-PBF效率和准确性方面的潜力。

通过综合上述针对不同信号的预处理流程,论文总结了各操作如何重塑信息结构,明确指出哪些数据被有意舍弃、哪些特征被保留,以及这些决策的重要性。它还评估了每一步对空间分辨率与时间保真度的影响。该映射清晰展现了数据压缩与信息保留之间的平衡,包括熔池几何、与缺陷相关的频率带以及时间分辨的强度模式,这些都是实现可靠缺陷检测和机器学习推断的关键。通过将处理流程与量化结果相联系,突出了原位数据处理中的权衡,并展示了合理设计的处理管道如何在不牺牲关键信息的前提下降低计算需求。这为后续特征提取和模型训练策略的讨论提供了概念基础。

block 原位监测数据与机器学习在缺陷检测中的集成

尽管在统计处理原位监测数据方面已经取得了进展,但由于数据量庞大且复杂,要获得确定性结果仍然困难。为此,机器学习为金属PBF工艺提供了一种实用且高效的解决方案。作为人工智能的一个子集,机器学习算法通过计算学习特定模式,在数据总结和分析方面具有优势。这一能力使得机器学习能够进行预测,而这些预测要么是人类难以迅速得出的,要么是人类根本无法实现的,因此为金属PBF工艺中的深度理解和决策提供了有前景的途径。

金属PBF缺陷检测中的机器学习技术分类

用于金属PBF缺陷检测的机器学习方法已经发展出监督学习、无监督学习、半监督学习、强化学习和迁移学习等。其中,监督学习和无监督学习在当前应用中占主导地位,而半监督学习和强化学习尽管具有潜力,但仍然应用不足。每种方法采用不同的判别标准,如图28 所示,反映了它们在处理原位监测数据时的独特优势与局限性。

paper_situ28图28

监督学习依赖于带标签的数据集,以建立输入特征(如热成像、声发射信号)与缺陷标签(如气孔、裂纹)之间的关联。如图29 所示,其流程通常包括将原位监测数据划分为训练集(>60%)、验证集和测试集,随后进行模型选择和评估。

paper_situ29图29

监督学习算法可分为分类、回归和深度学习。例如,支持向量机(SVM)是经典的分类方法;线性回归是回归的重要方法;卷积神经网络(CNN)则是金属PBF中最常用的机器学习方法,较复杂的结构还包括VGG和残差网络(ResNet)。已有多项研究展示了监督学习在增材制造缺陷检测中的应用,例如将多传感器数据融合用于缺陷分类、利用光电二极管和AE信号实现实时缺陷检测、结合逐层图像实现早期缺陷识别,以及利用ResNet结构实现对熔合不足气孔等细微缺陷的高精度检测(超过90%准确率)。尽管如此,监督学习在跨材料泛化方面仍存在挑战,例如基于不锈钢训练的模型往往需要大量再训练才能在铜合金上保持准确性。

无监督学习则利用完整数据集进行学习,无需带标签的输入。其核心是发现未标注数据中的潜在模式、结构或关系,特别适用于人类理解有限或缺失的场景。无监督学习可分为聚类与降维两类。代表性应用是K-means聚类算法(图30),其中滤波器被优化并卷积处理(图30b),相似特征通过K-means进行聚类(图30c),最终利用指纹表与直方图(图30f–g)匹配来检测异常(图30i–j)。

paper_situ30图30

另一方面,降维方法(如主成分分析PCA)主要用于数据预处理,而非独立的缺陷分类,因为其输出通常需要进一步解释才能与具体缺陷类型相关联。

半监督学习介于监督与无监督之间,在标注成本较高时具有优势。通过将少量带标签数据与大量无标签数据结合学习,它能在工业应用中缓解标注样本稀缺的问题。当数据量充足时,其性能可接近甚至媲美完全依赖标注数据的监督学习模型。已有研究表明,半监督学习结合随机奇异值分解和高斯混合模型,可在减少40%标注工作量的同时,仍保持与全监督模型相当的性能,尤其在利用光电二极管测量数据进行缺陷检测时表现突出。不过,由于半监督学习依赖于对无标签数据分布的假设,若数据分布分散或存在偏差,会导致精度下降甚至误判。

强化学习(RL)虽在PBF应用中研究较少,但它引入了一个基于决策的范式,使智能体能够通过迭代优化来提升缺陷预测效果。已有研究表明,基于CNN的模型驱动强化学习在钛合金的L-PBF过程中,通过动态调整激光参数,使逐层表面粗糙度预测提升了20%(F1-score)。这凸显了RL在实时缺陷缓解中的潜力。然而,计算开销和延迟奖励机制阻碍了其实时实现,需要先进的架构来降低延迟。同时,决策和训练过程中的高计算量与人力成本也使其收敛变得困难。未来研究应探索将半监督学习与RL结合,利用多模态传感数据进一步增强实时质量保障和工艺优化。

迁移学习通过借鉴相关领域的知识来降低训练成本(图31)。

paper_situ31图31

它包括示例驱动、特征驱动、模型驱动和多任务驱动四类,适用于不同场景。已有研究表明,迁移学习在应对数据有限问题时尤为有效。例如,利用AE信号训练VGG-16和ResNet-18,对不锈钢和铜合金的四类PBF过程机理(飞溅、熔合不足气孔、热传导模式和孔洞型气孔)进行聚类,结果显示ResNet-18在精度和计算效率上均优于VGG-16,尤其在小规模数据集下效果更佳。

然而,迁移学习在PBF中的应用仍然有限,主要挑战是领域偏移:不同机器、材料批次、传感器配置及工艺参数会形成差异化的数据域,使得模型难以跨域泛化。为解决此问题,领域自适应成为研究重点,旨在对齐不同域的特征分布,提高模型鲁棒性。例如,基于AE信号的领域自适应方法显著提升了模型在跨材料与跨参数条件下的泛化性能。此外,研究还提出数据优化策略,认为并非所有源域数据都有助于模型迁移,需通过多目标优化方法筛选更相关的源数据。

在工业协作中,数据所有权与隐私问题也限制了迁移学习的发展。为此,联邦学习逐渐兴起,它允许多个机构在不共享敏感原始数据的前提下,协同训练全局模型。尽管在PBF领域仍处于起步阶段,但其利用多样化数据集构建高度鲁棒模型的潜力,预示了其未来在行业最佳实践模型构建中的重要地位。

迁移学习在PBF中的有效策略包括特征提取与微调。特征提取利用预训练CNN的中间层(如VGG16、ResNet50、MobileNetV2)生成缺陷特征图,MobileNetV2已成功应用于裂纹与气孔分类。微调则通过在目标数据集上重训练部分层,将通用工业检测模型改造为适配AM缺陷的模型。与此同时,合成数据增强通过模拟裂纹和气孔等缺陷来缓解数据稀缺问题。已有研究结合合成数据与Inception ResNet V2架构,提升了多材料缺陷检测的鲁棒性。

尽管取得了这些进展,迁移学习在L-PBF缺陷预测中的应用仍不广泛。未来研究应重点探索:将合成数据与多模态传感结合的混合方法;优化适用于实时AM监测的架构;以及通过 Point Cloud Library 和 Detectron2 等平台统一特征提取、微调与合成数据策略,构建动态灵活的缺陷表征框架,从而减少对大规模标注数据集的依赖,加速金属PBF缺陷检测中模型训练与应用的落地。

为便于实施,开源平台(如 Detectron2、TensorFlow Hub、PyTorch Hub、Point Cloud Library)提供了丰富的迁移学习资源,支持预训练模型的高效利用。例如,Detectron2中的Mask R-CNN算法可微调用于制造过程中的实时缺陷分割;PrintWatch系统通过AI驱动的实时视频分析与3D打印机联动,实现即时缺陷干预;Point Cloud Library则为点云数据处理提供了曲面重建和特征估计算法。

利用机器学习进行缺陷分类与预测

-光学图像

处理并配准后的光学图像,不仅可用于分析,也能作为机器学习的训练数据。图像标注被认为至关重要,因为监督学习模型需要带标签的数据进行训练。然而,由于其耗时且依赖专家输入,仍是一个挑战。为解决这一问题,有研究提出使用人工设计的孔洞作为标注基础。他们借助计算机辅助设计与XCT方法对样品进行配准,并在 ImageJ 中完成图像标注(图32)。

paper_situ32图32

然而,标注精度对结果极为关键,不同分辨率的图像之间差异使得高质量标注极具挑战性。此外,研究也表明,由于标注精度、解释偏差和图像分辨率不一致,机器学习分割结果与专家驱动的分割结果可能存在差异。这些差异可能引入偏差,影响缺陷表征与分析的可靠性。因此,采用稳健的数据准备策略(如标准化标注协议、严格的真值验证和迭代优化的工作流)对于提升缺陷表征的准确性和一致性至关重要。

在图像配准之后,各类机器学习模型已被应用于缺陷预测。例如,2018年提出的多尺度卷积神经网络(CNN)展示了其在材料分析与缺陷检测中的应用潜力。另一项研究利用VGG-16预测人工设计的缺陷,在2 mm 孔洞的预测中准确率达到96.09%,但在小于1 mm 的孔洞时仅为81%,凸显了小尺寸缺陷检测的困难以及对更有效配准方法的需求。还观察到,随着孔径减小,错误标注对准确率的负面影响更为显著。其他研究中,CNN被用于训练熔池监测图像,在曝光前后的缺陷预测准确率分别达90.3%和97.1%;CNN也被用于检测大于200 μm 的缺陷,原始构件准确率为93.5%,而在新构件中下降至87.3%。更复杂的CNN结构,如AlexNet、VGG16和Inception V3,能够自动学习特征,从而减少对原位数据预处理的依赖。也有研究提出半监督CNN方法,有效识别实验轨迹、平均宽度和连续性。

光电二极管信号也被用于原位监测和机器学习模型的结合。例如,三光电二极管系统结合无监督聚类和监督学习方法,用于预测缺陷。通过对比K-means和高斯混合模型(GMM,作为无监督方法)与高斯过程回归(GPR,作为监督方法),实现了基于密度的缺陷分类。另一项研究则利用半监督GMM处理小规模数据,展示了仅依赖光电二极管时序数据也能进行缺陷分析的可行性。

孔隙检测方面,机器学习模型的准确率随着孔径的变化而显著不同。

当孔径为2 mm 时,准确率可达97%;当孔径减小至1 mm、0.8 mm 和0.5 mm 时,准确率下降至约80%;进一步缩小至系统分辨率极限以下(如0.2 mm),准确率仅为66.67%。这种波动反映了小缺陷检测的内在复杂性。除孔径外,孔隙特征的复杂性也会影响光学信号下的缺陷检测准确率。熔合不足(LoF)缺陷检测准确率在86.20%至93.50%之间,而孔隙分类准确率超过98.83%。熔合不足的特征更为复杂、不规则,因此难以区分,而不同类型孔隙(如气孔与孔洞型孔隙)的形态差异更易于识别。进一步地,熔池的形貌特征(受激光功率与扫描速度影响)与孔隙形成密切相关,机器学习模型在熔池图像分析中也可达到90%以上的准确率。

相比熔池和孔隙特征,羽流与飞溅的分类准确率更低。这是由于羽流与飞溅的复杂性和高度可变性,它们受能量输入、材料属性和工艺条件等多因素影响。二维图像对这些现象的捕捉往往不足,加之干扰、噪声和特征区分能力有限,进一步降低了分类准确率。此外,飞溅特征往往过小且不规则,不易与背景噪声区分。

总结来看,机器学习方法已广泛应用于光学图像,作为分析小尺寸缺陷模式的有效工具。由于光学信号是最常见的原位监测手段,因此其在缺陷分类与预测中的机器学习应用也占据了绝大多数。然而,模型泛化性和小缺陷检测仍是显著挑战。

-声发射信号

有研究提出利用深度信念网络(DBN)在无需预处理的情况下检测缺陷。与SVM和多层感知机(MLP)相比,DBN在处理未经FFT或去噪的AE原始信号时表现更好,并能在不同工艺参数组合下实现更强的泛化能力。

另一项研究使用不同机器学习模型将孔隙率划分为低(1.42 ± 0.85 %)、中(0.3 ± 0.18 %)和高(0.07 ± 0.02 %)(Table 5)。类似地,还有研究将密度分为大于99%、介于94.3%与99%之间以及低于94.3%三个等级(Table 5)。目前,AE信号与机器学习的结合主要用于分类,而对缺陷具体尺寸、形状和位置的预测仍然缺乏,但结果同样可用于构件质量评定。

-热学信号

热学信号与机器学习的结合在L-PBF中的研究仍处于发展阶段。2019年,有研究利用三维有限元方法检测熔池尺寸,在宽度与深度预测中准确率超过94%。

另一项研究使用随机森林(RF)、决策树(DT)和线性回归(LR)对构件状态进行预测与聚类,其中RF的F1分数最高(0.966)。还有研究使用SVM、MLP和一维CNN对构件密度进行分类,大于98.15%、介于96.13%–98.15%、低于96.13%,结果表明MLP的准确率最高(94.32%)。另一项研究利用高温计从熔池图像中提取熔池长度、温度分布和飞溅等特征,并使用KNN等模型进行训练,F1分数在89–97%之间。与AE信号类似,目前热学信号结合机器学习的研究以分类为主,对缺陷位置、大小和形状的预测仍需进一步探索。

未来研究应聚焦于更先进的机器学习模型,以提供空间精确且可解释的预测。基于视觉的方法(如实例分割)具有巨大潜力,可直接在热像图中定位并量化缺陷。例如,Mask R-CNN可生成像素级的缺陷掩膜,并区分重叠的缺陷实例,从而跟踪熔池中缺陷随时间的演化,特别适用于几何复杂或缺陷类型多样的构件。

-电子信号

迄今为止,机器学习在EB-PBF中的缺陷检测、分类与预测研究仍然有限,主要原因在于EB-PBF缺乏稳定且高产的原位监测方法来提供足够可靠的训练与测试数据集。2022年,有研究利用后处理方法,将逻辑回归、SVM、决策树、XGBoost和朴素贝叶斯五种模型用于分析内部缺陷与表面形貌的关系,其中SVM的准确率最高(95%)。另一项研究开发了GPR与SVR模型来预测Inconel 718打印件的相对密度,GPR取得了更高的拟合精度(MSE为7.63%,R²为99.82%)。

目前,尚无研究在EB-PBF中使用原位监测数据结合机器学习进行缺陷检测与预测,但随着新监测技术的发展,这一状况有望改变。

-数据融合与混合学习

单一传感器监测虽然能提供有价值的信息,但存在固有局限。例如,光学信号在捕捉飞溅特征时容易受到噪声干扰,声发射信号的准确率也有限。为克服这些局限,已有研究展示了多传感器融合方法,显著提升了增材制造过程中的缺陷检测准确性与可靠性。

数据融合可在不同层次实现,各具优势。例如,有研究通过结合光学与声发射信号来监测飞溅行为,深度学习模型的分类置信度达到85.08%,显著高于单一光学信号的70.9%。这种提升可能源于AE传感器能够检测到不可见的飞溅事件,提供了更全面的监测手段。光学信号也常与热学信号结合,生成反映熔池温度分布的综合数据集,从而更好地理解激光-材料相互作用的复杂过程。

此外,声学传感器与光电二极管传感器也能结合使用。光电二极管信号通常用于监测光强度,其受熔池尺寸、温度、飞溅和羽流强度影响。最初,光电二极管信号主要用于密度分类,而当其与AE信号结合时,还能实现孔隙分类。进一步地,有研究同时采集光学、光电二极管与AE数据,利用基于CNN的多传感器数据融合方法(包括数据级融合、特征级融合和决策级融合),其准确率高于任一单一信号。

最近,研究者将多种传感信号与混合深度学习模型结合,例如将CNN与LSTM结合,用于在不同时间尺度上分类工艺状态(如孔洞模式、传导模式和熔合不足),其信号来源包括光学、声发射、红外与反射信号。这些信号捕捉了L-PBF过程中的不同物理现象,其融合提升了分类模型的鲁棒性与准确率。在部分研究中,还借助同步X射线成像验证了传感信号与实际熔池动力学之间的相关性。

数据融合外,混合学习方法(结合数据驱动模型与基于物理的仿真)也逐渐受到关注。例如,将热学模拟或有限元熔池模型的先验知识引入学习过程,有助于提高模型的可解释性与泛化性。还有研究提出了结合无监督聚类与半监督学习的混合训练策略,即使在标注数据有限的情况下,也能实现跨材料的泛化能力。

混合学习的概念已扩展至自适应控制。例如,将机器学习模型与机器人控制系统结合,使得工艺参数和路径能够基于传感器反馈实时调整,从而提高工艺稳定性和表面质量。这种人工智能驱动的控制框架展示了混合学习在闭环制造环境中的潜力,将传感数据、决策与执行联系在一个统一架构中。

这些进展表明,结合异构传感与混合学习能显著提升缺陷检测系统的可靠性。通过嵌入物理约束并利用互补的传感信息,这类方法为金属PBF的实时自适应质量保障提供了有前景的方向。

最后,需要强调的是,尽管光学信号仍是基于机器学习的PBF原位监测的主要数据来源,但越来越多的证据表明,包括声发射、光电二极管和热学数据在内的其他信号,可能在减少预处理需求的同时实现相当的缺陷检测准确率。然而,原位监测数据与机器学习结合在缺陷分类与预测中仍存在诸多挑战,如 Table 4 所示,光学信号在小孔径缺陷检测中的准确率显著下降。此外,更深层的CNN架构需要庞大的计算资源,模型可解释性不足,也使其在工业应用中推广受限。因此,未来研究应聚焦于改进数据获取策略、开发结合物理知识的混合机器学习方法,以及增强模型可解释性,以促进机器学习与原位监测在增材制造中的可靠集成。

block 总结性意见

金属PBF作为增材制造中的一股变革力量,仍因孔隙、裂纹和熔合不足等缺陷而限制其工业应用。本综述指出,原位监测与机器学习的结合并非独立解决方案;数据预处理才是必不可少的使能环节,它将原始的、异构的传感器数据转化为可靠的输入,从而支持机器学习驱动的缺陷检测。不同监测方式的发展与挑战同时展现了前景与关键缺口。

光学信号是目前研究中使用最多的手段(约占60%),通过相机和光电二极管检测表面缺陷,如熔合不足、孔隙和结球。经由ROI提取、灰度化和轮廓检测等预处理,原始图像可转化为适配机器学习模型的输入。例如,DBN模型能够以99.59%的准确率分类不同的孔隙模式,VGG16在孔隙预测中的准确率可达96.09%。然而,光学信号的非直观特性(如熔池眩光)与硬件局限(如分辨率权衡)表明,在传感器设计与预处理算法上仍需持续创新。

声发射(AE)信号虽仍不成熟,但在内部缺陷检测上具备独特优势。近年来,结合原位监测、数据预处理与机器学习的AE信号分析逐渐兴起,用于识别L-PBF过程中的裂纹和孔隙。已有研究证明AE信号的直接分析能与内部裂纹相关联,而机器学习的应用主要停留在孔隙率与密度分类,而非对缺陷尺寸、形状与位置的精确检测。

热学信号主要用于检测与热相关的缺陷,如热裂纹和温度梯度,同时具备提取与预测熔池特征的潜力。然而,原位监测、热学数据预处理与机器学习的结合仍处于发展中。目前,灰度处理与等温图绘制被用于弥合热学原位监测与机器学习分析之间的差距。直接基于热像图进行分析较少见,因为热学信号主要传递与热相关的信息。尽管其在熔池现象预测与检测中应用广泛,但在缺陷预测与分类方面的研究仍相对不足。然而,鉴于其反映熔池动力学的能力,热学信号在金属PBF缺陷预测中仍极具潜力。

电子信号是EB-PBF工艺独有的,ELO成像是其中最常见的原位监测方法,可捕捉二维缺陷特征。然而,该领域仍处于起步阶段,尚无标准化的预处理流程。目前的方法依赖人工标注、噪声去除和畸变校正,以便将电子图像与后处理数据对齐。但环境干扰(如氦气散射)限制了信号可靠性,从而延缓了机器学习的应用。虽然尚无研究将电子原位数据与机器学习结合,但预处理的进展有望推动其在污染检测和显微组织分析中的应用。

多传感器方法(结合光学、声发射与热学信号)代表了一个新兴前沿。通过交叉验证异构数据流(如将热峰值与声学异常关联),研究者已证明缺陷定位精度有所提高。然而,其可扩展性仍受限于计算复杂性和缺乏标准化融合协议。

对这些进展的综合分析揭示了三点普遍结论:第一,机器学习模型的有效性根本上取决于预处理数据的质量,而不仅仅是算法的复杂程度;第二,光学信号研究的主导地位反映了体系性失衡,AE、热学和电子信号同样需要重视,以应对其在缺陷检测中的独特作用;第三,缺乏标准化的预处理流程(如AE去噪协议)与模型选择准则(如针对特定缺陷应使用CNN还是SVM),限制了研究的可重复性和跨研究比较。

block 未来展望

金属PBF缺陷检测的未来不依赖于原位监测或机器学习的单独进展,而在于通过自适应、数据驱动的框架实现两者的融合。该领域不应仅追逐算法新颖性,而应优先保证高质量数据与标准化流程,以实现主动的质量保障,特别是在核能、航空航天和生物医用植入物等关键应用领域。

一个核心优先事项是开发标准化、实用的端到端框架,明确传感器安装、信号解读、数据预处理、图像分析和基于机器学习的预测等环节的最佳实践。这类标准化将减少研究碎片化,提高可重复性,并加速创新。

数据预处理在这一融合中发挥关键作用。作为原始传感数据与机器学习模型之间的桥梁,它决定了后续分析的可靠性与一致性。亟需标准化的预处理工作流和开放协议,以确保不同设备、工艺和研究团队间的数据完整性。

在机器学习方面,迁移学习尤为值得关注。通过利用已有模型的知识,它能减少对大规模标注数据集的依赖,并实现跨域泛化。其他先进方法,如半监督学习、领域自适应与联邦学习,也为解决数据稀缺与系统差异问题提供了潜力。多传感器监测(如光学、声发射、热学信号)与工艺元数据(如扫描路径、熔池行为、羽流动力学)的结合,开辟了多模态融合的新可能。这不仅提高了缺陷检测的鲁棒性,还为实时闭环控制系统奠定了基础,使其能够动态调整工艺参数,从而同时提升效率与质量一致性。

这一整体方法(如图33 所示)不仅提高了缺陷检测与分类的准确性,还增强了对增材制造工艺的信心。展望未来,将实时检测与闭环/校正能力集成到这些框架中,有望进一步推动该领域的发展。快速响应制造环境中的动态变化并自动调整参数的能力,不仅将提升工艺效率,还能确保输出质量的一致性。

paper_situ33图33

最终,原位缺陷检测的目的不仅在于实时发现异常,更在于深化对制造—显微组织/缺陷—性能关系的理解,以契合增强产品性能的制造目标。建立缺陷位置与拉伸力学性能的定量关联、明确缺陷分布对断裂行为的影响、评估缺陷特征对疲劳性能的作用,都是关键的前进方向。此外,将原位监测数据融入实验设计,可形成有价值的反馈机制,使测试方案能基于实时洞察进行动态调整。这一自适应方法不仅提升了测试效率,还增强了缺陷预测的准确性以及缺陷缓解策略的有效性。

本文转载自:筑基手册

l 谷专栏 l

欢迎高校及科研机构、企业科学家加入谷专栏,与业界分享对推动增材制造发展起关键作用的共性基础科研与应用成果,欢迎扫描下方图片二维码提交您的信息。

谷专栏


白皮书下载 l 加入3D科学谷QQ群:106477771
网站投稿 l 发送至2509957133@qq.com
欢迎转载 l 转载请注明来源3D科学谷

分享:

你可能也喜欢...

发表评论