论文部分内容阅读
拟牛顿法是求解无约束优化问题的一类重要算法，然而，标准的拟牛顿法产生的拟牛顿矩阵往往是稠密的.因而，不能用于求解大规模问题.稀疏拟牛顿法可用于求解大规模问题，也是当前优化界关注的热点之一.已有的稀疏拟牛顿法的稀疏性与目标函数的Hessian矩阵有关.本文探讨另一类稀疏拟牛顿法，其稀疏性与目标函数的Hessian矩阵无关.我们首先提出一种对角BFGS算法，它具有计算量和储存量少的优点，适合于求解大规模无约束优化问题.而且，可以保证产生的拟牛顿矩阵对称正定，因而算法是下降算法.我们证明当采用Wolfe线性搜索时，该算法具有全局收敛性.数值试验表明，即使不进行线性搜索这种算法具有很好的数值效果，本文还研究了一种稀疏秩2拟牛顿法在求解lp正则化问题上的应用，并证明了算法的全局收敛性.