來源：Deephub Imba

核回歸技術(shù)是一組非參數(shù)方法，用于通過一組數(shù)據(jù)點(diǎn)擬合平滑的曲線。Nadaraya-Watson 估計(jì)就是這樣一種方法。它通常是在自變量分布的核密度估計(jì)以及因變量和自變量聯(lián)合分布的基礎(chǔ)上，通過計(jì)算因變量的條件期望得到的。

在本文中，我將介紹推導(dǎo) Nadaraya-Watson 估計(jì)（本篇文章中將其簡(jiǎn)稱為“核回歸”）的另一種基本原理。這個(gè)基本原理激發(fā)了一個(gè)變分原理，這將使我們能夠制定一個(gè)可以稱為“正則化核回歸”的修改。

許多回歸技術(shù)可以通過最小化關(guān)于二次損失函數(shù)的經(jīng)驗(yàn)風(fēng)險(xiǎn)或關(guān)于 N 個(gè)數(shù)據(jù)點(diǎn) (x?, y?) 的殘差平方和 R[f] 推導(dǎo)出來，...：

相對(duì)于未知回歸函數(shù) f 最小化問題，該表達(dá)式是不適定的，所以需要對(duì) f 進(jìn)行進(jìn)一步的假設(shè)。在參數(shù)化建模中，我們將 f 限制在某個(gè)假設(shè)空間中以使問題成為適定的。例如，在線性回歸中，我們將 f 限制在仿射線性函數(shù)的空間，f(x) = m? x + c。確定斜率 m 和截距 c 使得上述殘差平方和最小，將產(chǎn)生最佳擬合曲線?，F(xiàn)在讓我們對(duì)上述公式應(yīng)用一些數(shù)學(xué)變換，并逐步解釋這些：

第一個(gè)等式就是把平方展開，把y的平方展開作為它們自己的和。對(duì)于第二個(gè)等式，y的平方和對(duì)我們以后要應(yīng)用的最小化過程沒有幫助因?yàn)樗灰蕾囉谖覀兿胍钚』暮瘮?shù)f。因此，我們可以稱它為“const”。我們就不用管它了。

下一步至關(guān)重要。我們可以通過狄拉克δ函數(shù)來計(jì)算f在一個(gè)固定位置的值，就像這樣:

這將允許我們將整體損失 R[f] 寫成一個(gè)積分，并且經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化變得可以通過變分計(jì)算的標(biāo)準(zhǔn)工具進(jìn)行。

δ（delta）的正確定義需要對(duì)泛函分析有一定的了解，更準(zhǔn)確地說是分布理論或“廣義函數(shù)”的理解。但是根據(jù)我們的最終目標(biāo)，可以將狄拉克δ函數(shù)想象為以原點(diǎn)為中心的非常窄的峰。我們可以通過新生 delta 函數(shù)的極限來近似狄拉克 δ 函數(shù)（新生成函數(shù)的度量在原點(diǎn)附近變得越來越集中）。

一般情況下這個(gè)名字就出現(xiàn)了 - 高斯：

這個(gè)函數(shù)族消失在 > 0的極限下，并在適當(dāng)?shù)囊饬x上收斂于狄拉克函數(shù)。

最后，在用上述近似代替狄拉克函數(shù)之后，我們可以給出積分下的公式的名稱:L代表拉格朗日。(這個(gè)特定的拉格朗日函數(shù)實(shí)際上并不依賴于f '的導(dǎo)數(shù)，但我們稍后會(huì)用到它的通用性)

找到像這樣一個(gè)函數(shù)的平穩(wěn)點(diǎn)——即一個(gè)用拉格朗日函數(shù)的積分表示的點(diǎn)——在數(shù)學(xué)和理論物理中有許多應(yīng)用。例如，經(jīng)典力學(xué)可以被重新表述為基于最小作用量原理的拉格朗日力學(xué)。另一個(gè)應(yīng)用是對(duì)光線路徑的描述，它遵循費(fèi)馬原理，也就是最小時(shí)間原理。

因此，這個(gè)問題有一個(gè)眾所周知的通解。但在這里我們感興趣的是最小化以下形式的函數(shù):

函數(shù)f是當(dāng)且僅當(dāng)滿足以下歐拉-拉格朗日方程時(shí)的平穩(wěn)點(diǎn):

對(duì)于我們到目前為止導(dǎo)出的拉格朗日函數(shù)，通過最小二乘法 R[f] 的“抹去”和，所以右側(cè)消失了，因?yàn)閷?dǎo)數(shù) f ' 沒有依賴關(guān)系。

在這種情況下，歐拉-拉格朗日方程可以簡(jiǎn)單地用代數(shù)方法求解f(x):

這正是 Nadaraya 和 Watson 提出的核回歸公式。

到目前為止，我們能夠推導(dǎo)出經(jīng)過驗(yàn)證的回歸技術(shù)?，F(xiàn)在可以進(jìn)行更多的研究了，我們對(duì)變分原理進(jìn)行一些修改。例如，可以添加一個(gè)使模型正則化的項(xiàng)，并懲罰大導(dǎo)數(shù)：

λ > 0是一個(gè)正則化參數(shù)。我們還引入了常數(shù)因子“1 / N”，因此我們實(shí)際上是將平均經(jīng)驗(yàn)風(fēng)險(xiǎn)與正則化項(xiàng)進(jìn)行比較。計(jì)算相應(yīng)的歐拉-拉格朗日方程是一項(xiàng)簡(jiǎn)單的任務(wù):

當(dāng)然，對(duì)于λ = 0，這個(gè)公式可以簡(jiǎn)化為傳統(tǒng)的核回歸。這是一個(gè)二階線性微分方程一旦給出邊界條件或初始條件它就有唯一解。在R中，solve和bvpSolve包可以用于數(shù)值求解常微分方程。

讓我們模擬一些真實(shí)的數(shù)據(jù)。下圖顯示了Berkeley Earth (http://berkeleyearth.org/data/):)的1850年至2019年全球平均氣溫的時(shí)間序列

虛線是bandwidth  h = 10.0的常規(guī)核回歸，實(shí)線是相同bandwidth 和正則化參數(shù)λ = 0.5的正則化核回歸的結(jié)果。歐拉-拉格朗日方程是通過施加一個(gè)邊界值問題來求解的，該邊界值是由前五年/最近五年的溫度中值給出的最早/最近的溫度。

本文提出的正則化核回歸有一些明顯的缺陷，例如:

邊界條件需要被指定，這看起來像是一個(gè)特別的過程，

嘗試應(yīng)用初始條件似乎并不實(shí)際，而且會(huì)導(dǎo)致荒謬解決方案，

在λ很小的情況下，數(shù)值可能不穩(wěn)定。

但是該模型似乎也有一些理想的功能。例如，對(duì)于不同的bandwidth 選擇，它似乎相當(dāng)健壯。下圖顯示了h = 1.0時(shí)使用相同的數(shù)據(jù)和回歸的函數(shù)，但bandwidth 更小:

傳統(tǒng)的核回歸似乎在很大程度上過度擬合了數(shù)據(jù)，但正則化版本“保持在正確的軌道上”。

該模型的另一個(gè)特點(diǎn)是:它可能更擅長(zhǎng)處理丟失的數(shù)據(jù)。這里有一個(gè)圖表，說明了同樣的回歸技術(shù)，但缺失1920年和1970年之間的數(shù)據(jù):

我們可以利用這種健壯性來處理丟失的數(shù)據(jù)，并嘗試推斷出未來場(chǎng)景的時(shí)間序列。雖然傳統(tǒng)的核回歸在插值中肯定是有用的，但我們可以預(yù)期傳統(tǒng)的技術(shù)在這項(xiàng)任務(wù)中會(huì)失敗。

然而，正則化的核回歸可能會(huì)成功，因?yàn)樵黾恿恕皯T性”λ。以下圖表顯示了對(duì)未來情景的先驗(yàn)預(yù)測(cè)，即2040年全球平均氣溫將分別上升到15.2攝氏度、15.8攝氏度和16.4攝氏度:

對(duì)于每個(gè)外推，使用相同的模型超參數(shù)h = 10.0， λ = 0.5。盡管在擬合最終模型之前給出了先驗(yàn)，但 2040 年 15.8 °C 的選擇并不是臨時(shí)的：推算到 2040 年的 15.8 °C 實(shí)際上是最好的預(yù)測(cè)，因?yàn)橛辛诉@個(gè)參數(shù)，（傳統(tǒng)的） 殘差平方和被最小化，這可以通過簡(jiǎn)單的網(wǎng)格搜索來驗(yàn)證。

核回歸是一種技術(shù)，可以通過最小化與二次損失函數(shù)相關(guān)的經(jīng)驗(yàn)風(fēng)險(xiǎn)的“平滑”或“涂抹”推導(dǎo)出來。這種方法導(dǎo)致可以擴(kuò)展的變分原理，例如通過添加正則化項(xiàng)。

對(duì)結(jié)果模型的一些實(shí)驗(yàn)顯示了一些理想的特性，它可能會(huì)在預(yù)測(cè)時(shí)間序列中找到有用的應(yīng)用。