學貫中西(2):認識AI的記憶(背誦)技能
0 前言
人類學習任何知識的過程中,多多少少都會依賴天生的記憶(memorization)能力。也就是俗稱的背誦能力。機器學習(ML)也是一樣,首先具有背誦的能力,進而舉一反三,對一些新事物進行預測和推論。這種舉一反三的能力,在AI 中稱為泛化(generalization)能力。
于是,本期先來看一下機器學習中的記憶(背誦)技能;下一期(《電子產(chǎn)品世界》2022 年第1 期)繼續(xù)說明泛化機能。
1 復習:五行的相生與相克關系
回憶一下,上一期(《電子產(chǎn)品世界》2021 年11 期)曾經(jīng)介紹了五行之間有“相生”關系,也有“相克”關系。
圖1
而且,在上一期也介紹了OHE(one-hot-encoding)編碼,表示五行的要素如下:
圖2
于是,在機器學習模型中,五行中的各元素有如下對應關系:
金 ---- > [10000] 木 ---- > [01000]
水 ---- > [00100] 火 ---- > [00010]
土 ---- > [00001]
由于每一個編碼中都含有1 個1,其他都為0,所以稱為one-hot-encoding 編碼;簡稱OHE 編碼。
2 范例:把五行的相生關系記憶(背)起來
由于剛才提到的OHE 編碼中各有5 個值,例如:金([10000])與水([00100])之間具有相生關系。于是,各準備5 個神經(jīng)元來表示它們,如圖3、圖4。
圖3
圖4
然后建立兩組神經(jīng)元之間的連結(connection),并且賦予1 個權重(值),如圖4 所示。這樣就準備好了1 個簡單的神經(jīng)網(wǎng)絡(neural network)結構,就能讓它來學習并記憶(背)五行元素之間的相生或相克關系。
接下來,就展開機器學習,來記住金([10000])與水([00100])之間的相生關系。于是權重(值)就會發(fā)生變化,如圖5 所示。
圖5
圖5 中的線條寬度表示權重(值)的大小。這樣就記住了金與水之間的相生關系了。那么,這個神經(jīng)網(wǎng)絡繼續(xù)學習更多相生關系,例如學習并記住水與木之間的相關系,如圖6 所示。
圖6
繼續(xù)努力學習,這個神經(jīng)網(wǎng)絡就記住了5 個元素之間的所有“相生”關系了,如圖7、圖8 所示。
圖7
圖8
于是,圖7 中的神經(jīng)網(wǎng)絡就記住了圖8 中的五行相生關系了。
3 范例:背誦之后,隨時可以“想起來”
一旦記住了五行元素之間的相生關系,就能隨時運用這項記憶了,只要提到金,就立刻聯(lián)想到:金生水,如圖9 所示。
圖9
再如,只要提到土,就立刻聯(lián)想到:土生金,如圖10 所示。
圖10
以上說明了機器學習如何展現(xiàn)其記憶的技能。就如同人的背誦能力一般,可以記住許多事物的關系。通過回憶,我們常常看到或聽到:“太極生兩儀,兩儀生四象,四象生八卦?!边@里的“生”是這些詞匯的主要關系。同樣,機器學習也能迅速記住它們之間的關系。
4 實踐AI的學習和記憶:使用TensorFlow建??蚣?/strong>
現(xiàn)在,將五行的相生關系的數(shù)據(jù)放在Excel 畫面上,如圖11 所示。
圖11
其中的輸入值(X[])與對應的目標值(T[])之間是相生關系。這個X[] 和T[] 就是AI 模型的學習數(shù)據(jù),又稱為訓練數(shù)據(jù)(training data)。接著,請按下“學習”按鈕,就開始學習了,很快學習完畢,且記住了這些元素之間的相生關系。前面已經(jīng)說明,AI 模型使用權重(weight)來表達這些關系。從畫面上,可以看到模型訓練之后的權重,如圖12 所示。
圖12
這里的權重(值)等于圖7 中連線的粗細程度,也就是代表神經(jīng)元之間的連結強度。這樣,AI 模型就記住了五行元素之間的相生關系。接下來,將這個Excel畫面上的相生關系改為相克關系,并按下“學習”按鈕,開始學習。學習完畢輸出權重,如圖13 所示。
圖13
同樣的學習和記憶方法,它通過兩組權重數(shù)據(jù)就能記住兩種不同的關系。以此類推,AI 模型可以和人們一樣學習和記憶各式各樣的事物、概念,以及它們之間的關聯(lián)性。也可以繼續(xù)學習更多的知識和智能,形成1個知識體系,例如俗稱的知識圖譜等。
一旦記住了五行元素之間的相生關系,就能隨時運用這項記憶,只要提到金,就立刻聯(lián)想到:金生水;也會聯(lián)想到:金克木,如圖14 所示。
圖14
當按下“回答”按鈕時,AI 模型就依據(jù)其記憶(通過權重)得出其連結強度,如圖14,如果問它:金的相生與相克的元素為何?它就會取出記憶中的權重計算得出:相生[0.1, 0.1, 0.4, 0.1, 0.1],其最接近于[0,0,1,0,0],意味著:金生水。而且還計算出:相克[0.1, 0.4, 0.1, 0.1,0.1],其最接近于[0, 1, 0, 0, 0],意味著:金克木。同樣,在圖14 中,AI 模型也回答了:火生土和火克金。
5 結束語
學習和記憶是AI 機器學習的基礎技能。當它搭配分類(classification)技能,就可以對未曾見過的事物進行歸類而舉一反三,對新事物進行預測。這就是俗稱泛化的能力。下一期(注:《電子產(chǎn)品世界》2022 年第1期),將會繼續(xù)說明。
(本文來源于《電子產(chǎn)品世界》雜志2021年12月期)
評論