支持向量回归超参数的混沌文化优化选择方法

• 作 者: 郭一楠 程健 杨梅
• 机 构: 中国矿业大学信息与电气工程学院,清华大学自动化系,
• 出 处: 控制与决策
• 发表日期: 2010年04期
• 关键词: 超参数 文化算法 时间序列预测 参数选择方法 支持向量回归 两阶段 泛化性能 模型复杂度 模型性能 函数逼近

支持向量回归超参数的选择会影响模型性能,常用的梯度下降选择方法要求核函数或估计函数近似可微,且对迭代初值具有较强依赖性.对此,给出一种两阶段参数优化选择方法.第1阶段根据问题实际需求,确定超参数的变化区域;第2阶段在确定的参数变化范围内,采用自适应混沌文化算法,寻找具有最优性能的超参数组合.面向Mackey-Glass时间序列预测的仿真结果表明,该参数选择方法对函数结构不具有依赖性,所得超参数对应的SVR模型具有较好的泛化性能.

The selection of support vector regression hyperparameters will affect the performance of the model. The commonly used gradient descent selection method requires that the kernel function or the estimation function be approximately differentiable and has a strong dependence on the iterative initial value. In this regard, a two-phase parameter optimization The first step is to determine the changing region of the hyperparameters according to the actual needs of the problem, and the second step is to find the hyperparameter combination with the best performance within the range of the determined parameters by using adaptive chaos culture algorithm.For Mackey-Glass The simulation results of time series prediction show that the method of parameter selection has no dependence on the function structure, and the SVR model corresponding to the obtained hyperparameters has good generalization performance.