在线核选择的随机素描方法

• 作 者: 张骁
• 机 构: 天津大学
• 出 处: 天津大学
• 发表日期: 2019年01期
• 关键词: 在线核方法

在线核选择决定了假设序列所在的再生核希尔伯特空间，是在线核方法理论研究与实际应用的关键。已有的在线核方法大多预先在全体样本上应用离线核选择方法或先验地进行核选择，但这不能保证在线核方法单趟，具有较高的计算复杂度且缺乏可靠的理论保证。针对这一现状，提出在线核选择的随机素描理论与方法，基于随机素描方法构造可增量维护的假设空间素描，建立可靠的在线核选择理论，给出具有理论依据的在线核选择准则，设计计算高效且单趟的在线核选择算法。具体内容如下：
　　1.提出随机素描方法。基于随机素描方法构造两种假设空间素描。首先，提出局部动态素描方法，通过对基函数向量的动态维护实现对假设空间素描的维护。然后，给出增量随机素描方法，构造核矩阵近似的增量随机素描和时变显式特征映射，同时保证假设空间素描的增量性质和近似性质。
　　2.提出在线核选择理论。首先，给出代理假设空间的定义及范数界。然后，针对离散核集合，证明在线核选择产生单个或多个假设序列的后悔上界和一致性。最后，针对连续核空间，依据每回合选择和训练的不同顺序，将连续核空间中的在线核选择分为两类，并分别给出得到最优后悔界和一致性所需的条件。
　　3.提出在线核选择准则与算法。以在线核选择理论为基础，给出分别适用于离散核集合和连续核空间的在线核选择准则。进而设计高效的在线核选择算法，并分析算法的计算复杂度。
　　整体而言，基于随机素描方法增量构造假设空间素描，研究在线核选择的一致性和无偏性，证明在线核选择的最优后悔界，建立可靠的在线核选择理论。进一步，设计具有理论依据的在线核选择准则和每回合具有常数计算复杂度的在线核选择算法，为在线模型选择和在线学习的理论研究和实际应用奠定基础。