您的位置:首頁>正文

常用資料採擷演算法從入門到精通 第四章SOM神經網路聚類(上)

SOM神經網路簡介

在生物神經系統中, 存在著一種側抑制現象, 即一個神經細胞興奮以後, 會對周圍其他神經細胞產生抑制作用。 這種抑制作用會使神經細胞之間出現競爭, 其結果是某些獲勝, 而另一些則失敗。 表現形式是獲勝神經細胞興奮, 失敗神經細胞抑制。 自組織特徵映射神經網路就是類比上述生物神經系統功能的人工神經網路。

自組織特徵映射神經網路(Self-Organizing feature Map,SOM), 又稱Kohonen神經網路(由Kohonen T.教授提出)是一種無導師監督學習, 具有自組織功能的神經網路。 網路通過自身的訓練, 能自動對輸入模式進行分類。

SOM在學習演算法上, 它類比生物神經元之間的興奮、協調與抑制、競爭作用的資訊處理的動力學原理來指導網路的學習與工作, 而不像大多數神經網路那樣是以網路的誤差或能量函數作為演算法的準則。

SOM神經網路構成的基本思想是網路的競爭層各神經元競爭對輸入模式回應的機會, 最後僅有一個神經元成為競爭的勝者。 這一獲勝神經元則表示對輸入模式的分類。 SOM的目標是用低維目標空間的點來表示高維源空間中的所有點, 盡可能地保持點間的距離和鄰近關係(拓撲關係)。

SOM神經網路的結構

SOM一般是由輸入層和競爭層構成的兩層網路。 兩層之間各神經元實現雙向連接, 而且網路沒有隱含層。 有時競爭層各神經元之間還存在橫向連接。

自組織神經網路的典型結構

相似性測量

歐式距離

兩個模式向量的歐式距離越小, 兩個向量越接近, 因此認為這兩個模式越相似, 當兩個模式完全相同時其歐式距離為0。 如果對同一類內各個模式向量間的歐式距離作出規定,

不允許超過某一最大值T, 則最大歐式距離T就成為一種聚類判據, 同類模式向量的距離小於T, 兩類模式向量的距離大於T。

歐式距離

余弦法

兩個模式向量越接近, 其夾角越小, 余弦越大。 當兩個模式向量完全相同時, 其余弦夾角為1。 如果對同一類內各個模式向量間的夾角作出規定,

不允許超過某一最大夾角a, 則最大夾角就成為一種聚類判據。 同類模式向量的夾角小於a, 兩類模式向量的夾角大於a。 余弦法適合模式向量長度相同和模式特徵只與向量方向相關的相似性測量。

余弦距離

競爭學習規則WTA(Winner-Take-All)

網路的輸出神經元之間相互競爭以求被啟動, 結果在每一時刻只有一個輸出神經元被啟動。 這個被啟動的神經元稱為競爭獲勝神經元, 而其它神經元的狀態被抑制, 故稱為Winner Take All, “勝者為王”, “唯我獨興”。

競爭學習步驟

向量歸一化

首先將當前輸入模式向量X和競爭層中各神經元對應的內星向量Wj 全部進行歸一化處理; (j=1,2,…,m)

向量歸一化公式

歸一化前和後

尋找獲勝神經元

當網路得到一個輸入模式向量時,競爭層的所有神經元對應的內星權向量均與其進行相似性比較,並將最相似的內星權向量判為競爭獲勝神經元。兩單位向量最相似,即其點積最大。即:

向量的點積

從上式可以看出,欲使兩單位向量的歐式距離最小,須使兩向量的點積最大

網路輸出與權值調整

根據WTA學習法則,獲勝神經元輸出為“1”,其餘為“0”,即:

獲勝神經元輸出為“1”

只有獲勝的神經元才有權調整其權向量,其權向量學習調整如下:

權向量調整

η稱為學習率,一般隨著學習的進展而減小,即調整的程度越來越小。

重新歸一化處理迴圈訓練

權重調節完成後,對得到的權向量重新進行歸一化處理。然後返回到步驟1繼續訓練,迴圈運算直到學習率衰減到小於閾值,或者達到規定訓練次數時,訓練結束。

歸一化前和後

尋找獲勝神經元

當網路得到一個輸入模式向量時,競爭層的所有神經元對應的內星權向量均與其進行相似性比較,並將最相似的內星權向量判為競爭獲勝神經元。兩單位向量最相似,即其點積最大。即:

向量的點積

從上式可以看出,欲使兩單位向量的歐式距離最小,須使兩向量的點積最大

網路輸出與權值調整

根據WTA學習法則,獲勝神經元輸出為“1”,其餘為“0”,即:

獲勝神經元輸出為“1”

只有獲勝的神經元才有權調整其權向量,其權向量學習調整如下:

權向量調整

η稱為學習率,一般隨著學習的進展而減小,即調整的程度越來越小。

重新歸一化處理迴圈訓練

權重調節完成後,對得到的權向量重新進行歸一化處理。然後返回到步驟1繼續訓練,迴圈運算直到學習率衰減到小於閾值,或者達到規定訓練次數時,訓練結束。

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示