1 引言
人工神經(jīng)網(wǎng)絡(luò)最重要的功能之一是分類。對于線性可分問題，采用硬限幅函數(shù)的單個神經(jīng)元，通過簡單的學習算法就可成功實現(xiàn)分類。即對于兩個不同類中的輸入矢量，神經(jīng)元的輸出值為0或1。但對于大多數(shù)非線性可分類，硬限幅神經(jīng)元則無法完成分類功能。自適應(yīng)線性元件Adaline(Adap-tive LiIlear Element)是一種具有線性功能函數(shù)的神繹元，在實際輸出與理想預期值的最小二乘LMS(Least Mean Square)的統(tǒng)計意義下進行學習，可以實現(xiàn)最佳的非線性可分集合的分類，即按照最小二乘的統(tǒng)計意義要求，實際輸出值與理想預期值之間的誤差均方值為最小，能夠?qū)崿F(xiàn)這一目的算法即稱為最小二乘學習算法或LMS算法。

2 Adaline的LMS算法原理
設(shè)輸入矢量X=[x1，x2，…，xn]，加權(quán)矢量W=[ω1，ω2，…，ωn]，則神經(jīng)元的輸出為：

定義ε(k)是理想輸出值d(k)與實際輸出值y(k)之間的誤差，即ε(k)=d(k)-y(k)，其均方值記作E[ε2(k)]，令ζ(k)=E[ε2(k)]，則：

由式(2)可知必定存在最佳的加權(quán)矢量W*，使ζ(k)達到最小，此時ζ(k)相對于W的梯度等于零，從而可以得到：

式(3)雖然給出了求最佳加權(quán)矢量的方法，但需要大量的統(tǒng)計計算，而且當輸入矢量X的維數(shù)很大時，需要解決高階矩陣求逆問題，這些在數(shù)學計算上都是非常閑難的。

3 隨機逼近LMS學習算法的提出
為了解決式(3)存在的問題，有學者提出LMS學習問題的嚴格遞推算法和隨機逼近算法，這里簡要描述其算法原理。LMS學習問題的嚴格遞推算法是在任意設(shè)置初始加權(quán)矢量W(0)時，對于每一個時序變量k，對W調(diào)整：

用這種方法可以保證求得嚴格的最佳解，而且避開矩陣求逆。但學習過程的每一步仍需大量的統(tǒng)計計算，仍需解決統(tǒng)計計算困難。