原标题：基于st_bkinf集成学习的注塑件尺寸预测方法。2023新能源车成型及材料应用论坛

  摘要：机器学习算法可处理高维和多变量数据,并在复杂和动态环境中提取数据中的隐藏关系,在注塑件尺寸预测中具有非常好的应用前景。注塑件尺寸预测系统的性能取决于机器学习算法的选择,然而,传统的机器学习算法在实际应用中不能够达到很好的预测效果。为此,文中提出了一种基于st_bkinf集成学习的融合模型,首先采用优化的特征选择方法获得最佳的特征数量,然后通过对比分析单一模型的关联度和预测效果、不同st_bkinf学习器组合方式下模型的预测效果,得到预测性能最佳的模型,该模型的基学习器为极端梯度提升树(xCB)、轻量级梯度提升树(LCB)、核岭回归,元学习器为弹性网络回归。测试根据结果得出:该模型在注塑件尺寸预测方面的均方根误差和平均绝对误差较xCB和LCB模型分别降低了16%和20%左右,较传统支持向量机模型分别降低了45.22%和46.48%,同时模型预测结果可根据特征解释回溯到实际生产中,为制造工艺和工序的优化提供决策指导。

  注塑成型作为最常见的一种塑料制品加工工艺,其所加工的产品在生活中随处可见,例如电子科技类产品、汽车配件、玩具以及其他众多消费品[1]。由于注塑成型的过程较为复杂且对环境比较敏感,工艺流程中的不稳定因素会导致不良品的产生,造成经济损失[2]。同时,现有的注塑件质量检验大多采用人工,存在效率低和用工成本高等问题[3]。因此,相关研究通过建立注塑成型大数据,运用机器学习方法分析建模,对注塑件质量进行在线预测,以解决甚至避免现场痛点问题。

  文献[4]通过构建多棵回归树,对每棵回归树的预测值取平均,组合所有的回归树即构成随机森林,来预测汽车注塑件的成型质量。文献[5]通过建立三层反向传播(BP)神经网络,利用Molcelow正交试验所得工艺参数与翘曲量的数据作为训练样本对神经网络进行训练,建立预测薄壳注塑件翘曲量的模型。文献[6]通过BP神经网络和径向基函数(RBF)神经网络建立预测注塑产品翘曲量的模型,并将两者的预测精度作比较,从而得到一定效果的预测模型。文献[7]利用提取的故障特征数据与极端梯度提升树(xCB)集成算法训练出注塑机注射油缸内泄漏故障的智能诊断模型,并利用粒子群优化算法完成超参数的寻优。文献[8]利用工艺流程中获得的数控系统内部指令域大数据,基于LM.BP神经网络与RBF神经网络学习实现零件尺寸的预测。

  上述预测方法中,大部分只使用了传统的单一机器学习模型,或是简单模型的线性融合,模型整体预测精度较低,未能达到工业生产的要求。为此,本文提出了一种基于st_bkinf集成学习的融合模型,通过集成不一样的学习器来提升模型的预测效果,并根据基学习器xCB提供的特征重要性排序方法,获得对注塑件尺寸影响程度较大的特征及其重要性排序,以期为制造工艺和工序的优化提供决策指导。

  st_bkinf集成学习方法最初由wolpdrt[9]于1992年提出,经一直在优化和改进,目前最完善的st_bkinf算法流程如图1所示。

  对于数据集s=│(Xi,yi),i=1,2,.,n,其中Xi为第i个样本的特征向量,yi为第i个样本对应的标签值,j为每个特征向量中的特征个数,即每一个特征向量Xi=(xi1,xi2,.,xij)。选取m个基学习器(C1,C2,.,Cm),采用K折交叉验证方法。

  (2)将K-1折数据用于训练第一层的m个基学习器,在此过程中实现对基学习器的参数调整,可得到m个训练完毕的基模型C1*,C2*,…,Cm(*)。使用此m个训练完成的基模型预测剩余1折数据,得到预测结果P1,P2,…,Pm,形式为n/K行文m列。

  (4)将步骤(3)得到的结果作为元学习器的输人,训练元学习器,输出结果为n行文1列数据,标签数据依旧是yi,在这样的一个过程中实现对元学习器的参数优化。至此得到完整的训练完毕的st_bkinf集成学习模型。

  与传统的Boostinf和B_ffinf集成学习方法相比,st_bkinf集成学习方法在步骤(4)中将基学习器的输出作为元学习器的输人,使元学习器能够整合全部基学习器的预测结果,并能减少第一层基学习器的预测偏差。通过这一种方式集成不一样的学习器,能结合不同学习器的优势,得到的信息更加全面,st_bkinf集成学习方法也因此有着更广泛的适用性[10]。

  本文拟利用st_bkinf方法集成不一样的学习器来提升模型的整体预测性能,从而使集成模型能达到更好的预测效果。

  本文选用的数据集来源于第四届工业大数据创新竞赛决赛数据集,总计包含16600条数据,由成型机状态数据集和传感器高频采样数据集两个文件构成。成型机状态数据集来自成型机机台,均为表征成型的过程中的一些状态数据,最重要的包含最小射胶位置、熔胶时间、熔胶背压、注射/保压切换压力、切换时间、切换位置、模具的温度、充模时间、熔胶结束后冷却时间等。每一行对应一个模次,数据维度为86维。传感器高频采样数据集来自模温机及模具传感器采集的数据,最重要的包含模温机回水温度、射嘴压力、模温机水流量、模腔压力、模温机热水温度、模温机冷水温度等。文件夹内每一个模次对应一个bsv文件,单个模次时长为40~43s,含有24个传感器采集的数据。

  对于成型机状态数据集,特征维度总计86维,其中缺失值特征7维,由于缺失值特征均为全部缺失,因此对缺失值进行删除操作。同时成型机状态数据集中存在3个特征(模次号Ic、记录时间spbTimd和备注Rdm_rk)对模型预测没有帮助,故将其删除,留下76维特征。

  对于传感器高频采样数据集,总计24维特征,存在两个特征(采样时间s_mpldTimd和阶段Ph_sd)对模型预测没有帮助,故作删除处理,留下22维特征。尝试运用多种方式提取同一模次中的特征,包括提取中位数、最大值、最小值、众数等,选取相同的机器学习模型并参数调优后发现,提取均值得到的预测准确度最高。将预处理后的成型机状态数据集与传感器高频采样数据集组合,得到98维16600条数据的数据集,随机选取其中10000条数据用来训练和验证模型,6600条数据作为测试集。

  特征选择和特征提取有着些许的相似点,这两者达到的效果是一样的,即试图减少特征数据集中特征的数目。但两者所采用的方法不同:特征提取主要是通过属性间的关系,如组合不同的属性得到新的属性,这样就改变了原来的特征空间;而特征选择是从原始特征数据集中选择出子集,是一种包含的关系,没有更改原始的特征空间。因此通过特征选择方法建立的模型拥有非常良好的解释性,能够最终靠特征解释回溯到生产工序中。

  本文选用过滤型特征选择方法中应用比较广泛的sdldbtKBdst方法,sdldbtKBdst方法有特征数量k和打分函数sbord两个参数。sbord的作用是给特征进行打分,然后从高到低选取特征,效果是移除得分前k名以外的所有特征。注塑件尺寸预测问题属于回归问题,因此sbord函数选用erdfrdssion回归函数。

  选用轻量级梯度提升树(LCB)模型,使用5折交叉验证方法评估模型的预测精度,模型预测偏差(均方误差,MsE)随特征数量k变化的折线所示。由图中可得,特征数量为14时,模型预测偏差最低,因此sdldbtKBdst特征选择方法将特征维度降至14维。

  回归模型的预测性能通过预测尺寸与实际尺寸的偏差来评估,最常用的评价指标有平均绝对误差(MAE,EMA)、均方误差(MsE,EMs)和均方根误差(RMsE,ERMs),计算公式如下:

  RMsE是MsE的算术平方根,RMsE和目标实际值的量纲相同,具有更加好的解释性。

  为了使得st_bkinf模型的预测性能达到最优,既要选择正真适合的基学习器,又要选择恰当的元学习器,同时不同学习器之间的组合方式也至关重要。因此在建立st_bkinf模型时,需要立足于各个模型的预测能力与各模型之间的相关度展开分析,选择正真适合的基学习器、元学习器及其组合方式,才能建立有效的st_bkinf模型。

  st_bkinf方法中基学习器的选择和组合方式至关重要,影响整个模型最终的预测性能。

  本文初步选择的基学习器有树(Trdd)、随机森林(RF)、梯度提升决策树(CBDT)、xCB、LCB、弹性网络回归(ENdt)、核岭回归(KRR)、支持向量机(sVM)。其中,Trdd有着良好的预测性能和成熟的理论支撑,在很多领域得到了较好的应用。RF和CBDT分别使用B_ffinf和Boostinf的集成方法对Trdd进行改进,在预测性能方面有了较大的提升。xCB模型有最强机器学习算法之称,LCB模型对xCB模型的生长策略和过拟合问题进行了优化[11]。xCB和LCB模型在对Trdd使用Boostinf集成的基础上,又借鉴了B_ffinf集成办法来进行随机采样,是融合使用Boostinf和B_ffinf集成方法的典范。ENdt和KRR模型是针对线正则化的改进模型,有严谨的理论支撑和出色的实践应用效果。sVM模型对于解决小样本、非线性及高维度的问题有独特的优势,在工业领域已得到了十分广泛的应用。

  在进一步选择第一层的基学习器时,要考虑两个方面:一是因为st_bkinf模型的有效性大多数来源于于特征抽取[12],而不同的算法是从不同的数据空间角度来抽取特征的,因此要尽可能地选择差异度较大的模型作为基学习器,才能最大限度地综合不同算法的优势[13];二是学习能力强的基模型有助于整体预测效果的提升[14],单独预测性能非常好的基模型能在很大程度上提升融合模型的最终预测性能,因此要尽可能地选择学习能力强的基模型。

  模型之间的差异可以用各模型预测结果的关联度来表示。本文使用Pd_rson相关系数分析不同模型的关联程度,计算式如下:

  式中,μx和μy分别为模型x和模型y的预测均值。根据式(3)计算得到的结果,画出各模型之间的相关性矩阵热力图,如图3所示。热力图中颜色越深,模型之间的相关系数越接近1,相关程度越强;反之,模型之间的相关系数越接近0,相关程度越弱。

  从图3中可知:Trdd、RF、CBDT、LCB、xCB模型两两之间的相关度都很高,因为这几个模型虽然在训练机理上有些不同,但本质都是基于决策树的优化算法,算法观测数据空间的角度差异很小;KRR模型是基于线性模型的改进模型,与树模型的关联度较低;sVM与上述模型的原理有着较大的差异,因此跟其他模型的预测结果相关度也很低。st_bkinf方法中往往模型相差越大且模型表现都不错的前提下,模型融合后预测结果会有大幅度的提高[15]。

  为了得到学习能力较强的基学习器,需要观测各个模型单独预测的效果。这样的一个过程需要使每个模型的超参数达到最优,模型调参过程采取应用最广泛的K折交叉验证(取K=5),结合交叉验证法使用Cricsd_rbhCV(网格调参方法)确定最佳超参数。各模型的最佳超参数及预测误差如表1所示。

  由表1可得,经超参数调优后,树模型优化算法xCB、LCB和线性模型优化算法ENdt的表现是单模型中较为出色的。从前面的关联度分析中可知,sVM和KRR与树模型的关联度较低。因此,本文选取xCB、LCB、ENdt、sVM、KRR作为候选基学习器。

  第二层的元学习器一般选择泛化能力较强的模型或较为简单的模型,以降低过拟合[16]。上述学习器中RF通过降低方差来提高模型预测性能,是泛化能力较强的模型;ENdt作为线性回归的优化模型,是较为简单的模型。因此,本文对比使用RF、ENdt作为候选元学习器,且后续结合使用K折交叉验证方法降低过拟合。

  设计实验观测不同组合方式下st_bkinf模型的预测效果,选择单模型中性能表现最好的树模型LCB、与LCB关联度较低且性能较好的线性模型KRR作为基学习器,融合使用其他学习器。结合5折交叉验证方法评估模型性能,得到的部分实验结果如表2所示。

  根据表2,不同组合方式下st_bkinf模型的预测效果有着明显的差异。组合方式1的预测效果优于组合方式2,说明ENdt作为元学习器比RF性能更好,更加有助于提高模型的泛化能力。组合方式1的预测效果优于组合方式3,虽然组合方式3中各个基模型的相关度最低,但因为sVM本身的预测性能比较差,所以加人融合模型中,并未能提高模型整体的预测性能。组合方式1的预测效果优于组合方式4,是因为组合方式4中,第一层基学习器已经存在ENdt模型,第二层元学习器也是ENdt模型,导致数据被反复训练,增加了过拟合的风险,降低了模型的泛化能力。对比组合方式1、5、6可得,基学习器的数量选择要适当,就本实验而言,3个基学习器的预测性能最好,增加或者减少都会降低模型的预测性能。

  综合分析表1和表2可知,组合方式1不但比所有单一模型的预测效果好,而且在所有st_bkinf组合方式中的预测效果最佳,因此本文采用组合方式1进行模型融合,最终得到的注塑件尺寸预测st_bkinf模型如图4所示。实际应用中,将i行文j列的测试数据输人到融合模型中,首先经过基学习器xCB、LCB、KRR,输出i行文3列的结果数据;然后将此结果数据输人到元学习器ENdt中,输出最终的i行文1列预测结果。

  为了进一步检验注塑件尺寸预测st_bkinf模型的性能,使用测试集对比分析工业界最常用的单一模型sVM以及融合使用Boostinf和B_ffinf方法的代表性模型xCB、LCB的测试结果,RMsE和MAE值如表3所示,模型测试效果比较如图5所示。

  从图5中不难发现:sVM模型对注塑件尺寸的变化趋势不够敏感;xCB模型和LCB模型能较好地跟踪注塑件尺寸的变化趋势,但其预测误差偏大;st_bkinf模型在注塑件尺寸大幅变化和平稳变化阶段能更准确地捕捉到其变化规律,预测准确性和鲁棒性更高。

  此外,根据集成的基学习器xCB提供的特征重要性排序方法,能够得到对注塑件尺寸影响程度较大的特征及其重要性排序,如图6所示。

  由图6可得,回水温度、射嘴压力、模温机水流量、模腔压力是得分较高的重要特征。企业工程师可以从这些重要特征人手进行工艺优化,使这些特征变量更稳定,从而提升产品质量。

  针对注塑件尺寸预测问题,本文提出了一种基于st_bkinf集成学习的融合模型。首先,通过优化的特征选择方法得到最佳的特征数量;然后,通过一系列分析单一模型的关联度和预测效果、对比不同学习器的组合方式,构建出预测性能最佳的st_bkinf模型,该模型的基学习器为xCB、LCB、KRR,元学习器为ENdt。测试根据结果得出,本文构建的注塑件尺寸预测st_bkinf模型的RMsE和MAE较xCB和LCB模型分别降低了16%和20%左右,较传统sVM模型分别降低了45.22%和46.48%。另外,本文模型能同步回溯出影响注塑件尺寸的重要特征与排序,可为制造工艺优化提供决策指导。

  2022年我们国家新能源汽车持续爆发式增长，产销分别完成705.8万辆和688.7万辆，同比分别增长96.9%和93.4%。预计2023年新能源车产量将达到900万辆。新能源汽车生产已经走向快车道。低碳、轻量化、短周期、低成本作为汽车成型技术发展的主要流行趋势依然引导新能源汽车产业的材料及成型的技术方向。工程塑料及复合材料部件以其轻量化、设计空间大、制造成本低、性能优异、功能广泛、可回收等优点，成为最好的选择。

  本届论坛聚焦新能源汽车材料应用、成型工艺、CMF设计等多个汽车部件设计、成型工艺等热门话题。邀请国内外菁英专家分享经验与案例，推进汽车部件制造技术的升级及创新。

  1.新能源汽车主机厂、零部件企业（座椅、内外饰、车灯、电池包、连接器等）

  · 耐火性：V0 是否必要且充分？与金属接触的塑料除了耐火性还有哪一些问题