1   神奇的自編碼器

在之前各期里，所舉的范例模型都是基于邏輯回歸（Logistic regression）的線性分類器（Linear classifier）。其訓(xùn)練方法是采取監(jiān)督式學(xué)習(xí)（Supervised Learning）模式。在本期里， 將進(jìn)一步介紹非監(jiān)督式學(xué)習(xí)（Unsupervised Learning）模式，并以小而美的自編碼器（Autoencoder，簡(jiǎn)稱：AE）為例。自編碼器是一種小而美的ML 模型，它的用途非常多，所以有“ML 瑞士刀”之稱。例如，Pawer Sobel 就稱之為：深度學(xué)習(xí)瑞士刀。

他在該文章里寫道：“當(dāng)談到在一個(gè)充滿機(jī)器學(xué)習(xí)問題的世界中生存時(shí)，有一種演算法可能像瑞士刀一樣通用，它是一種自動(dòng)編碼器。”

2   復(fù)習(xí)：分類器（Classifier）

首先來(lái)復(fù)習(xí)您已經(jīng)熟悉的邏輯回歸（分類器）模型。例如，有一群鴨和雞，我們收集了它們的兩項(xiàng)特征是：頭冠大小與腳蹼大小。如下圖所示：

這是監(jiān)督式學(xué)習(xí)模式，我們給予目標(biāo)值（T），也就是貼上分類標(biāo)簽（Label）。也就是，在Z 空間里設(shè)定了兩個(gè)目標(biāo)值，如下：

接下來(lái)，就可按下“學(xué)習(xí)”，ML 模型就尋找出最棒的W&B 來(lái)表達(dá)上述的對(duì)應(yīng)關(guān)系。于是，輸出很棒的預(yù)測(cè)值（Z）：

可以看出，已經(jīng)尋找出很棒的W&B 了，預(yù)測(cè)值（Z）非常接近于目標(biāo)值（T）了，呈現(xiàn)出的理想的空間對(duì)應(yīng)關(guān)系：

這是一個(gè)簡(jiǎn)單的分類模型。

3   增添一個(gè)新分類器

剛才的分類器（取名為分類器-1）已經(jīng)輸出了預(yù)測(cè)值（Z）。接下來(lái)，我們做一項(xiàng)巧妙的組合：設(shè)計(jì)一個(gè)新的分類器（取名為分類器-2），并且拿這個(gè)Z 值做為新模型的輸入值（ZX），如下圖：

這是一個(gè)簡(jiǎn)單的分類模型，其公式是：ZX * Wr +Br = ZY。接下來(lái)，就可按下“學(xué)習(xí)”，這回歸模型尋找出Wr&Br 得出一條回歸線，并輸出其預(yù)測(cè)值（Z）：

于是，我們共有兩段空間對(duì)應(yīng)關(guān)系：1）分類器-1的空間對(duì)應(yīng)；2）分類器-2 的空間對(duì)應(yīng)?，F(xiàn)在，將兩者連接起來(lái)，形成下述的整合對(duì)應(yīng)關(guān)系：

其中，值得留意的是：這兩段的空間對(duì)應(yīng)是獨(dú)立訓(xùn)練（學(xué)習(xí)）的。然而，現(xiàn)在的ML 是可以多層一起學(xué)習(xí)的，也就是通稱的深度學(xué)習(xí)（Deep learning）。

4   組合成為深度學(xué)習(xí)模型

剛才的分類器-1 和分類器-2 都是單層的神經(jīng)網(wǎng)絡(luò)。現(xiàn)在將兩個(gè)模型融合為一，成為一個(gè)多層的神經(jīng)網(wǎng)絡(luò)。使用Excel 來(lái)呈現(xiàn)其數(shù)據(jù)關(guān)聯(lián)，如下圖：

此時(shí)，中間層通稱為隱藏層（Hidden layer）。上圖里的Wh 和Bh 就是隱藏層的權(quán)重和位移；而Wo 和Bo則是輸出層的權(quán)重和位移。由于是監(jiān)督式學(xué)習(xí)模式，所以在Y 空間里設(shè)定了兩個(gè)目標(biāo)值（也就是上圖中的標(biāo)簽），如下圖所示：

接下來(lái)，按下“學(xué)習(xí)”，這個(gè)多層模型就開始學(xué)習(xí)，尋找出最好的Wh&Bh，以及最好的Wo&Bo，并且，輸出其預(yù)測(cè)值（Y）：

其空間對(duì)應(yīng)關(guān)系如下圖所示：

在這個(gè)模型里，我們貼上了標(biāo)簽，所以是監(jiān)督式學(xué)習(xí)模式。

5   設(shè)計(jì)出自編碼器（Autoencoder）

上一小節(jié)的多層分類模型，是人為的貼上分類標(biāo)簽，所以屬于監(jiān)督式學(xué)習(xí)。反之，如果不需要人去貼標(biāo)簽，就稱為非監(jiān)督式學(xué)習(xí)了。于是，想一想：如果沒有人去貼標(biāo)簽，那么這個(gè)模型又如何學(xué)習(xí)呢？于是，ML 專家們就想到一個(gè)方法，就是：用輸入值（X）來(lái)作為Y 空間的目標(biāo)值（T），如下圖：

其中，目標(biāo)值（T）就等于輸入值（X）。由于人們不必去煩惱各筆資料該貼上什么標(biāo)簽了。因此這個(gè)新模型，就屬于非監(jiān)督式學(xué)習(xí)了。由于用自己的輸入值當(dāng)作目標(biāo)值，所以又稱為自編碼器（Autoencoder）。此時(shí)，X 空間與Y 空間的對(duì)應(yīng)關(guān)系如下：

接下來(lái)，按下“學(xué)習(xí)”，這個(gè)多層模型就開始學(xué)習(xí)，尋找出最好的Wh&Bh，以及最好的Wo&Bo，并且，輸出其預(yù)測(cè)值（Y）：

此時(shí)的空間對(duì)應(yīng)關(guān)系是：

這就是神奇的AE（Autoencoder）模型。它的結(jié)構(gòu)很簡(jiǎn)單，而用途卻非常多，所以被稱之為：小而美的神奇ML 瑞士刀。到底他有哪些神奇之處呢？在下一期里，將會(huì)為您詳細(xì)解說。

（本文來(lái)源于《電子產(chǎn)品世界》雜志2021年9月期）