论文部分内容阅读
该论文的信息理论的框架下,对神经网络的学习算法作了较系统的研究.内容包括:1.对独立元分析(ICA)的信息论准则进行了系统的分析.基于Kullback-Leibler熵测度,提出了一类ICA算法,利用对概率分布密度的几种逼近形式,指出了其中非线性函数的选取方式.基于信息熵的Edgeworth近似展开式,提出了另一类ICA算法;2.提出了一类非线性ICA的算法.算法针对一类特写的具有信息保持特性的网络结构,利用网络的非线性提取输入信号的相关性,达到非线性混叠信号中各独立元提取的目的,仿真结果表明了该算法的有效性;3.从理论上证明了线性网络、输入信号和噪声为相互独立的高斯分布条件下基于信息传输最大化准则的Infomax算法的收敛性,特别是当输入噪声自相关阵为σ<'2>I时,Infomax算法与主元分析子空间算法的收敛解是一致的;4.导出了Infomax算法能完成独立元分析ICA的理论依据,分析表明其中的关键在于网络非线性传递函数的正确选择,提出了基于两类传递函数的新算法,将之成功的应用于信号盲分离;5.提出了一类含有信息熵因子正则化项的学习算法,引入了一项加性惩罚因子表示隐层节点间的相关性,通过对这一因子的控制,较好的消除了过训练现象,改进了前馈网络的泛化能力.在给出相应网络结构及算法的同时,将这一算法成功的应用于函数逼近及语音识别;6.最后,在论文结论中,对今后研究工作的发展提出了一些个人的观点和看法.