论文部分内容阅读
近年来，随着信息技术的发展，人工智能在生产生活中扮演着越来越重要的角色，而人工神经网络（Artificial Neural Network，ANN）作为人工智能和机器学习的关键技术，也得到了迅猛的发展。误差反向传播(Back Propagation，BP)神经网络作为神经网络中经典的一种模型，在很多现实领域中都得到了成功的应用，但是BP神经网络依然存在一些缺陷限制了其更广泛的应用。 BP神经网络的泛化能力是判断其模型好坏的一个重要指标，而样本数量和质量在一定程度上决定了BP神经网络的泛化性能。BP神经网络作为一种有导师学习，使用的数据都是有标签数据，这在有标签数据有限的情况下无法得到好的模型。于是本文针对在有标签数据的数量有限同时存在大量的无标签数据这种情况，将无标签数据的概率信息引入到BP神经网络模型中，提升网络的泛化性能和预测性能。具体工作如下: (1)针对BP神经网络易发生过拟合的情况，在原来的早停止策略上改进了其停止标准。在改进的早停止策略中，除了常用的验证误差外，还加入了通过核密度估计(Kernel Density Estimation，KDE)得到的无标签数据的概率信息，将这两者结合作为新的停止标准决定BP神经网络训练终止的时机。将新的早停止策略与改进前的策略进行比较，最后通过UCI机器学习数据库(UCI Machine Learning Repository)上的四个数据集进行仿真实验，验证了该方案的可行性。 (2)以上算法将概率信息引入算法的停止策略中，为了更加有机融合样本数据概率信息，于是本文将概率密度误差引入到BP算法中，在反向传播过程中引入概率密度的误差来调整网络的权值和阈值，即:在误差反向传播过程中，权重和阈值除了根据实际输出与期望输出之间的差异进行调整外，还将利用估计概率密度与期望概率密度之间的误差进行二次调整，从而加快整个网络的收敛速度并改善网络的性能。最后通过UCI机器学习数据库中四个数据集的仿真实验，验证了本文中提出的改进BP神经网络性能要优于改进前的BP神经网络以及其他的一些改进BP神经网络。