论文部分内容阅读
无约束优化问题是实际工程中最常见的问题之一。这类问题虽然形式比较简单，但是对于某些大规模的或者非线性很强的问题，求解它们仍然是有相当难度的。信赖域方法是求解无约束优化问题的一类非常有效的方法，它具有很好的收敛性质，同时也有良好的数值表现。为了使信赖域方法能够很好的求解大规模的问题，并且提高其实际计算的性能，我们需要对传统的信赖域方法进行一些改进，使得新的算法既可以继承信赖域算法的良好的收敛性质，又能够具有内存占用量较小，或者效率较高的性质。本文给出若干改进的信赖域方法。
我们首先提出了一个求解无约束优化问题的有限内存的信赖域方法，将有限内存的思想，和信赖域算法的框架结合起来。使用有限内存的BFGS公式来得到近似Hessian矩阵，同时重新定义信赖域的范数，从而使得信赖域子问题不需要求解，具有显式的解的表达式。在存储上，只需要存储最近几步的梯度差和所走的步了，而不需要显式的存储整个近似Hessian矩阵，因而大大的节省了存储空间。我们证明了算法的收敛性。数值实验表明，该算法明显优于传统的信赖域算法。
我们还提出了一个求解无约束优化问题的子空间的信赖域方法。我们构造了一个新的子空间，这个子空间的维数的上界是可以任意设定的。子空间的方向包括两个部分，一部分是长期存在于子空间中的老的方向，这些方向上积累了大量的信息，对目标函数的近似会比较准确；另一部分是每次迭代都会更新的方向，使得算法可以在新的方向上进行试探。我们还采用了重开始的技巧，及时的将没有贡献的老的方向删除掉。数值实验表明，算法无论是在迭代步数还是CPU时间上，都比现有的方法要好。
为了提高算法的效率，我们提出了一个非单调的牛顿-信赖域方法。由于传统的信赖域方法有时可能过于保守，因而，我们将非单调的技巧以及无约束的牛顿方法，与信赖域框架相结合，使得算法既有信赖域算法的良好的收敛性质，同时又比传统的信赖域方法效率高。对于不同的模型，采用不同的接收准则。数值实验表明，我们的算法明显优于传统的信赖域方法。