以下文章來(lái)源于學(xué)術(shù)頭條 ，作者學(xué)術(shù)頭條

今天，由谷歌大神 Jeff Dean 領(lǐng)銜，這份總結(jié)雖遲但到。出于知識(shí)傳播目的，我們現(xiàn)將全文翻譯如下，以饗讀者：
在過(guò)去的幾十年里，我見(jiàn)證了機(jī)器學(xué)習(xí)（ML, Machine Learning）和計(jì)算機(jī)科學(xué)（CS, Computer Science）領(lǐng)域的變化和發(fā)展。

早期的方法往往存在某些缺陷導(dǎo)致了失敗，然而，通過(guò)在這些方法上的不斷研究和改進(jìn)，最終產(chǎn)生了一系列的現(xiàn)代方法，目前這些方法已經(jīng)非常成功。按照這種長(zhǎng)期的發(fā)展模式，在未來(lái)幾年內(nèi)，我認(rèn)為我們將會(huì)看到一些令人欣喜的進(jìn)展，這些進(jìn)展最終將造福數(shù)十億人的生活，產(chǎn)生比以往任何時(shí)候都更大的影響。

這篇文章中，我將重點(diǎn)介紹 ML 中可能產(chǎn)生重大影響的五個(gè)領(lǐng)域。對(duì)于其中的每一項(xiàng)，我都會(huì)討論相關(guān)的研究（主要是從 2021 年開(kāi)始），以及我們?cè)谖磥?lái)幾年可能會(huì)看到的方向和進(jìn)展。

• 趨勢(shì)1：更強(qiáng)大的通用 ML 模型
• 趨勢(shì)2：ML 的持續(xù)效率提高
• 趨勢(shì)3：ML 對(duì)個(gè)人和社會(huì)都越來(lái)越有益
• 趨勢(shì)4：ML 在科學(xué)、健康和可持續(xù)發(fā)展方面日益增長(zhǎng)的效益
• 趨勢(shì)5：更深入和廣泛地理解 ML

研究人員正在訓(xùn)練比以往更大、更有能力的ML模型。
例如，僅在過(guò)去的幾年中，模型已經(jīng)在語(yǔ)言領(lǐng)域取得突破性進(jìn)展，從數(shù)百億的數(shù)據(jù) tokens 中訓(xùn)練數(shù)十億個(gè)參數(shù)（如，11B 參數(shù) T5 模型），發(fā)展到數(shù)千億或上萬(wàn)億的數(shù)據(jù) tokens 中訓(xùn)練高達(dá)數(shù)千億或上萬(wàn)億的參數(shù)（如，密集模型，像 OpenAI 的 175 B 參數(shù) GPT3 模型、DeepMind 的 280B 參數(shù) Gopher 模型；稀疏模型，如谷歌的 600 B 參數(shù) GShard 模型、1.2T 參數(shù) GLaM 模型）。數(shù)據(jù)集和模型大小的增加導(dǎo)致了各種語(yǔ)言任務(wù)的準(zhǔn)確性的顯著提高，這可以從標(biāo)準(zhǔn)自然語(yǔ)言處理（NLP, Natural Language Processing）基準(zhǔn)測(cè)試任務(wù)的全面改進(jìn)中觀察到，正如對(duì)語(yǔ)言模型和機(jī)器翻譯模型的神經(jīng)網(wǎng)絡(luò)縮放法則（neural scaling laws）的研究預(yù)測(cè)的那樣。
這些先進(jìn)的模型中，有許多專注于單一但重要的書(shū)面語(yǔ)言模式上，并且在語(yǔ)言理解基準(zhǔn)和開(kāi)放式會(huì)話能力方面顯示出了最先進(jìn)的成果，即是跨越一個(gè)領(lǐng)域的多個(gè)任務(wù)也是如此。除此之外，他們還表現(xiàn)出了令人興奮的能力，即僅用相對(duì)較少的訓(xùn)練數(shù)據(jù)便可以泛化新的語(yǔ)言任務(wù)。因?yàn)樵谀承┣闆r下，對(duì)于一個(gè)新的任務(wù)，幾乎不存在訓(xùn)練示例。簡(jiǎn)單舉例，如改進(jìn)的長(zhǎng)式問(wèn)答（long-form question answering），NLP 中的零標(biāo)簽學(xué)習(xí)，以及我們的 LaMDA 模型，該模型展示出了一種復(fù)雜的能力，可以進(jìn)行開(kāi)放式對(duì)話，并在多個(gè)對(duì)話回合中保持重要的上下文。

圖丨與 LaMDA 的對(duì)話模仿了威德?tīng)柡１╓eddell sea）預(yù)設(shè)提示，“嗨，我是 Weddell sea。你有什么問(wèn)題要問(wèn)嗎？”該模型在很大程度上控制了角色中的對(duì)話。

Transformer 模型也對(duì)圖像、視頻和語(yǔ)音模型產(chǎn)生了重大影響，所有這些模型也都從縮放中受益，正如研究可視 Transformer 模型的縮放法則工作中預(yù)測(cè)的那樣。用于圖像識(shí)別和視頻分類的 Transformers 在許多基準(zhǔn)上都取得了最先進(jìn)的結(jié)果，我們還證明，與單獨(dú)使用視頻數(shù)據(jù)的模型相比，在圖像數(shù)據(jù)和視頻數(shù)據(jù)上的聯(lián)合訓(xùn)練模型可以提高視頻任務(wù)的性能。我們已經(jīng)為圖像和視頻 Transformers 開(kāi)發(fā)了稀疏的軸向注意機(jī)制（axial attention mechanisms），從而更有效地使用計(jì)算，為視覺(jué) Transformers 模型找到了更好的圖像標(biāo)記方法，并通過(guò)與卷積神經(jīng)網(wǎng)絡(luò)相比，研究了視覺(jué) Transformers 的操作方式，加深了我們對(duì)視覺(jué) Transformers 方法的理解。將 Transformers 模型與卷積操作相結(jié)合，已在視覺(jué)和語(yǔ)音識(shí)別任務(wù)中展示出顯著的優(yōu)勢(shì)。
生成模型的輸出也在大幅提高。在過(guò)去幾年里取得了顯著的進(jìn)步，尤其在圖像的生成模型中最為明顯。例如，最近的模型已經(jīng)證明了僅給定一個(gè)類別（如“irish setter”或“steetcar”）便可以創(chuàng)建逼真的圖像，可以“填充”一個(gè)低分辨率的圖像，以創(chuàng)建一個(gè)看起來(lái)十分自然的高分辨率匹配圖像，甚至可以構(gòu)建任意長(zhǎng)度的自然場(chǎng)景。另一個(gè)例子是，可以將圖像轉(zhuǎn)換成一系列離散 tokens，然后使用自回歸生成模型以高保真度進(jìn)行合成。
圖丨級(jí)聯(lián)擴(kuò)散模型（cascade diffusion models）的例子，從一個(gè)給定的類別生成新的圖像，然后使用這些圖像作為種子來(lái)創(chuàng)建高分辨率的示例：第一個(gè)模型生成低分辨率圖像，其余的執(zhí)行向上采樣（upsampling）到最終的高分辨率圖像。

圖丨SR3 超分辨率擴(kuò)散模型是以低分辨率圖像作為輸入，并從純?cè)肼曋袠?gòu)建相應(yīng)的高分辨率圖像。
鑒于這些強(qiáng)大的功能背后，潛藏著的是巨大的責(zé)任，所以我們不得不仔細(xì)審查，這類模型的潛在應(yīng)用是否違背我們的人工智能原則。
除了先進(jìn)的單模態(tài)模型（single-modality models）外，大規(guī)模的多模態(tài)模型（multimodal models）也在陸續(xù)進(jìn)入人們的視野。這些模型是迄今為止最前沿的模型，因?yàn)樗鼈兛梢越邮芏喾N不同的輸入模式（例如，語(yǔ)言、圖像、語(yǔ)音、視頻），而且在某些情況下，還可以產(chǎn)生不同的輸出模式，例如，從描述性的句子或段落生成圖像，或用人類語(yǔ)言簡(jiǎn)要描述圖像的視覺(jué)內(nèi)容。這是一個(gè)令人驚喜的研究方向，因?yàn)轭愃朴诂F(xiàn)實(shí)世界，在多模態(tài)數(shù)據(jù)中更容易學(xué)習(xí)（例如，閱讀一些文章并看時(shí)輔以演示比僅僅閱讀有用得多）。因此，將圖像和文本配對(duì)可以幫助完成多種語(yǔ)言的檢索任務(wù)，并且更好地理解如何對(duì)文本和圖像輸入進(jìn)行配對(duì)，可以對(duì)圖像字幕任務(wù)（image captioning tasks）帶來(lái)更好的改進(jìn)效果。同樣，在視覺(jué)和文本數(shù)據(jù)上的聯(lián)合訓(xùn)練，也有助于提高視覺(jué)分類任務(wù)的準(zhǔn)確性和魯棒性，而在圖像、視頻和音頻任務(wù)上的聯(lián)合訓(xùn)練則可以提高所有模式的泛化性能。還有一些誘人的跡象表明，自然語(yǔ)言可以作為圖像處理的輸入，告訴機(jī)器人如何與這個(gè)世界互動(dòng)，以及控制其他軟件系統(tǒng)，這預(yù)示著用戶界面的開(kāi)發(fā)方式可能會(huì)發(fā)生變化。這些模型處理的模式將包括語(yǔ)音、聲音、圖像、視頻和語(yǔ)言，甚至可能擴(kuò)展到結(jié)構(gòu)化數(shù)據(jù)、知識(shí)圖和時(shí)間序列數(shù)據(jù)等等。

圖丨基于視覺(jué)的機(jī)器人操作系統(tǒng)的例子，能夠泛化到新的任務(wù)。左圖：機(jī)器人正在執(zhí)行一項(xiàng)用自然語(yǔ)言描述為“將葡萄放入陶瓷碗中”的任務(wù)，而不需要對(duì)模型進(jìn)行特定的訓(xùn)練。右圖：和左圖一樣，但是有“把瓶子放在托盤(pán)里”的新的任務(wù)描述。
這些模型通常使用自監(jiān)督學(xué)習(xí)（Self-supervised learning）的訓(xùn)練，在這種方法中，模型從觀察到的“原始”數(shù)據(jù)中學(xué)習(xí)，而這些數(shù)據(jù)沒(méi)有被整理或標(biāo)注。例如，GPT-3 和 GLaM 使用的語(yǔ)言模型，自監(jiān)督的語(yǔ)音模型 BigSSL，視覺(jué)對(duì)比學(xué)習(xí)模型 SimCLR，以及多模態(tài)對(duì)比模型 VATT。自監(jiān)督學(xué)習(xí)允許大型語(yǔ)音識(shí)別模型匹配之前的語(yǔ)音搜索中的自動(dòng)語(yǔ)音識(shí)別技術(shù)（Automatic Speech Recognition）的基準(zhǔn)精度，同時(shí)僅使用 3% 的標(biāo)注訓(xùn)練數(shù)據(jù)。這些趨勢(shì)是令人興奮的，因?yàn)樗鼈兛梢源蟠鬁p少為特定任務(wù)啟用 ML 所需的努力。而且，它們使得在更有代表性的數(shù)據(jù)上訓(xùn)練模型變得更容易，這些數(shù)據(jù)可以更好地反映不同的亞種群、地區(qū)、語(yǔ)言或其他重要的表示維度。
所有這些趨勢(shì)都指向訓(xùn)練能夠處理多種數(shù)據(jù)模式并解決數(shù)千或數(shù)百萬(wàn)任務(wù)的高能力通用模型的方向。通過(guò)構(gòu)建稀疏性模型，使得模型中唯一被給定任務(wù)激活的部分是那些針對(duì)其優(yōu)化過(guò)的部分，由此一來(lái)，這些多模態(tài)模型可以變得更加高效。在未來(lái)的幾年里，我們將在名為“Pathways”的下一代架構(gòu)和綜合努力中追求這一愿景。隨著我們把迄今為止的許多想法結(jié)合在一起，我們期望在這一領(lǐng)域看到實(shí)質(zhì)性的進(jìn)展。

圖丨Parthway：我們正在朝著單一模型的描述而努力，它可以在數(shù)百萬(wàn)個(gè)任務(wù)中進(jìn)行泛化。
趨勢(shì)2：ML 的持續(xù)效率提高
由于計(jì)算機(jī)硬件設(shè)計(jì)、ML 算法和元學(xué)習(xí)（meta-learning）研究的進(jìn)步，效率的提高正在推動(dòng) ML 模型向更強(qiáng)的能力發(fā)展。ML 管道的許多方面，從訓(xùn)練和執(zhí)行模型的硬件到 ML 體系結(jié)構(gòu)的各個(gè)組件，都可以在保持或提高整體性能的同時(shí)進(jìn)行效率優(yōu)化。這些不同的線程中的每一個(gè)都可以通過(guò)顯著的乘法因子來(lái)提高效率，并且與幾年前相比，可以將計(jì)算成本降低幾個(gè)數(shù)量級(jí)。這種更高的效率使許多關(guān)鍵的進(jìn)展得以實(shí)現(xiàn)，這些進(jìn)展將繼續(xù)顯著地提高 ML 的效率，使更大、更高質(zhì)量的 ML 模型能夠以更有效的成本開(kāi)發(fā)，并進(jìn)一步普及訪問(wèn)。我對(duì)這些研究方向感到非常興奮！
ML加速器性能的持續(xù)改進(jìn)：

每一代ML加速器都在前幾代的基礎(chǔ)上進(jìn)行了改進(jìn)，使每個(gè)芯片的性能更快，并且通常會(huì)增加整個(gè)系統(tǒng)的規(guī)模。其中，擁有大量芯片的 pods，這些芯片通過(guò)高速網(wǎng)絡(luò)連接在一起，可以提高大型模型的效率。

當(dāng)然，移動(dòng)設(shè)備上的 ML 能力也在顯著增加。Pixel 6 手機(jī)配備了全新的谷歌張量處理器（Google Tensor processor），集成了強(qiáng)大的ML加速器，以更好地支持重要的設(shè)備上功能。

我們使用 ML 來(lái)加速各種計(jì)算機(jī)芯片的設(shè)計(jì)（下面將詳細(xì)介紹），這也帶來(lái)了好處，特別是在生產(chǎn)更好的 ML 加速器方面。

持續(xù)改進(jìn)的 ML 編譯和 ML 工作負(fù)載的優(yōu)化：

即使在硬件沒(méi)有變化的情況下，對(duì)于 ML 加速器的編譯器和系統(tǒng)軟件的其他優(yōu)化也可以顯著提高效率。例如，“自動(dòng)調(diào)優(yōu)多通道機(jī)器學(xué)習(xí)編譯器的靈活方法”展示了如何使用 ML 來(lái)執(zhí)行編譯設(shè)置的自動(dòng)調(diào)優(yōu)，從而在相同的底層硬件上為一套 ML 程序?qū)崿F(xiàn) 5-15%（有時(shí)高達(dá) 2.4 倍的改進(jìn)）的全面性能改進(jìn)。GSPMD 描述了一個(gè)基于 XLA 編譯器的自動(dòng)并行化系統(tǒng)，該系統(tǒng)能夠擴(kuò)展大多數(shù)深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，超出加速器的內(nèi)存容量，并已應(yīng)用于許多大型模型，如 GShard-M4、LaMDA、BigSSL、ViT、MetNet-2 和 GLaM 等等，在多個(gè)領(lǐng)域上帶來(lái)了最先進(jìn)的結(jié)果。

圖丨在 150 ML 模型上使用基于 ML 的編譯器自動(dòng)調(diào)優(yōu)，可以加快端到端模型的速度。包括實(shí)現(xiàn) 5% 或更多改進(jìn)比例的模型。條形顏色代表了優(yōu)化不同模型組件的相對(duì)改進(jìn)程度。

人類創(chuàng)造力驅(qū)動(dòng)的更高效模型架構(gòu)的發(fā)現(xiàn)：

模型體系結(jié)構(gòu)的不斷改進(jìn)，大大減少了許多問(wèn)題達(dá)到給定精度水平所需的計(jì)算量。例如，我們?cè)?2017 年開(kāi)發(fā)的 Transformer 結(jié)構(gòu)，能夠在幾個(gè) NLP 任務(wù)和翻譯基準(zhǔn)上提高技術(shù)水平。與此同時(shí)，可以使用比各種其他流行方法少 10 倍甚至百倍的計(jì)算來(lái)實(shí)現(xiàn)這些結(jié)果，例如作為 LSTMs 和其他循環(huán)架構(gòu)。類似地，視覺(jué) Transformer 能夠在許多不同的圖像分類任務(wù)中顯示出改進(jìn)的最新結(jié)果，盡管使用的計(jì)算量比卷積神經(jīng)網(wǎng)絡(luò)少 4 到 10 倍。

更高效模型架構(gòu)的機(jī)器驅(qū)動(dòng)發(fā)現(xiàn)：

神經(jīng)體系結(jié)構(gòu)搜索（NAS, Neural Architecture Search）可以自動(dòng)發(fā)現(xiàn)對(duì)于給定的問(wèn)題域更有效、新穎的 ML 體系結(jié)構(gòu)。NAS 的主要優(yōu)勢(shì)是，它可以大大減少算法開(kāi)發(fā)所需的工作量，因?yàn)?NAS 在每個(gè)搜索空間和問(wèn)題域組合中只需要一次性的工作。此外，雖然最初執(zhí)行 NAS 的工作可能在計(jì)算上很昂貴，但由此產(chǎn)生的模型可以大大減少下游研究和生產(chǎn)環(huán)境中的計(jì)算，從而大大減少整體資源需求。例如，為了發(fā)現(xiàn)演化 Transformer（Evolved Transformer）而進(jìn)行的一次性搜索只產(chǎn)生了 3.2 噸的 CO2e，但是生成了一個(gè)供 NLP 社區(qū)中的任何人使用的模型，該模型比普通的 Transformer 模型的效率高 15-20%。最近對(duì) NAS 的使用發(fā)現(xiàn)了一種更高效的體系結(jié)構(gòu) Primer（開(kāi)源），與普通的 Transformer 模型相比，它降低了4倍的訓(xùn)練成本。通過(guò)這種方式，NAS 搜索的發(fā)現(xiàn)成本通?？梢酝ㄟ^(guò)使用發(fā)現(xiàn)的更高效的模型體系結(jié)構(gòu)得到補(bǔ)償，即使它們只應(yīng)用于少數(shù)下游任務(wù)。

圖丨與普通的 Transformer 模型相比，NAS 發(fā)現(xiàn)的 Primer 架構(gòu)的效率是前者的4倍。這幅圖（紅色部分）顯示了 Primer 的兩個(gè)主要改進(jìn)：深度卷積增加了注意力的多頭投影和 squared ReLU 的激活（藍(lán)色部分表示原始 Transformer）。

NAS 還被用于發(fā)現(xiàn)視覺(jué)領(lǐng)域中更有效的模型。EfficientNetV2 模型體系結(jié)構(gòu)是神經(jīng)體系結(jié)構(gòu)搜索的結(jié)果，該搜索聯(lián)合優(yōu)化了模型精度、模型大小和訓(xùn)練速度。在 ImageNet 基準(zhǔn)測(cè)試中，EfficientNetV2 提高了 5 到 11 倍的訓(xùn)練速度，同時(shí)大大減少了先前最先進(jìn)模型的尺寸。CoAtNet 模型架構(gòu)是通過(guò)一個(gè)架構(gòu)搜索創(chuàng)建的，該架構(gòu)搜索采用了視覺(jué) Transformer 和卷積網(wǎng)絡(luò)的想法，以創(chuàng)建一個(gè)混合模型架構(gòu)，其訓(xùn)練速度比視覺(jué) Transformer 快 4 倍，并取得了新的 ImageNet 技術(shù)水平。
圖丨與之前的 ImageNet 分類模型相比，EfficientNetV2 獲得了更好的訓(xùn)練效率。
搜索的廣泛應(yīng)用有助于改進(jìn) ML 模型體系結(jié)構(gòu)和算法，包括強(qiáng)化學(xué)習(xí)（RL，Reinforcement Learning）和進(jìn)化技術(shù)（evolutionary techniques）的使用，激勵(lì)了其他研究人員將這種方法應(yīng)用到不同的領(lǐng)域。為了幫助其他人創(chuàng)建他們自己的模型搜索，我們有一個(gè)開(kāi)源的模型搜索平臺(tái)，可以幫助他們探索發(fā)現(xiàn)其感興趣的領(lǐng)域的模型搜索。除了模型架構(gòu)之外，自動(dòng)搜索還可以用于發(fā)現(xiàn)新的、更有效的強(qiáng)化學(xué)習(xí)算法，這是在早期 AutoML-Zero 工作的基礎(chǔ)上進(jìn)行的，該工作演示了自動(dòng)化監(jiān)督學(xué)習(xí)算法發(fā)現(xiàn)的方法。

稀疏的使用：

稀疏性是算法的另一個(gè)重要的進(jìn)步，它可以極大地提高效率。稀疏性是指模型具有非常大的容量，但對(duì)于給定的任務(wù)、示例或 token，僅激活模型的某些部分。2017 年，我們推出了稀疏門(mén)控專家混合層（Sparsely-Gated Mixture-of-Experts Layer），在各種翻譯基準(zhǔn)上展示了更好的性能，同時(shí)在計(jì)算量上也保持著一定的優(yōu)勢(shì)，比先前最先進(jìn)的密集 LSTM 模型少 10 倍。最近，Switch Transformer 將專家混合風(fēng)格的架構(gòu)與 Transformer 模型架構(gòu)結(jié)合在一起，在訓(xùn)練時(shí)間和效率方面比密集的 T5-Base Transformer 模型提高了 7 倍。GLaM 模型表明，Transformer 和混合專家風(fēng)格的層可以組合在一起，可以產(chǎn)生一個(gè)新的模型。該模型在 29 個(gè)基準(zhǔn)線上平均超過(guò) GPT-3 模型的精度，使用的訓(xùn)練能量減少 3 倍，推理計(jì)算減少 2 倍。稀疏性的概念也可以用于降低核心 Transformer 架構(gòu)中注意力機(jī)制的成本。

圖丨BigBird 稀疏注意模型由全局 tokens（用于處理輸入序列的所有部分）、局部 tokens（用于處理輸入序列的所有部分）和一組隨機(jī) tokens 組成。從理論上看，這可以解釋為在 Watts-Strogatz 圖上添加了一些全局 tokens。

就計(jì)算效率而言，在模型中使用稀疏性顯然是一種具有很高潛在收益的方法，而就在這個(gè)方向上進(jìn)行嘗試的研究想法而言，我們只是觸及了表面。
這些提高效率的方法中的每一種都可以結(jié)合在一起，這樣，與美國(guó)平均使用 P100 GPUs 訓(xùn)練的基線 Transformer 模型相比，目前在高效數(shù)據(jù)中心訓(xùn)練的等效精度語(yǔ)言模型的能源效率提高了 100 倍，產(chǎn)生的 CO2e 排放量減少了 650 倍。這甚至還沒(méi)有考慮到谷歌的碳中和（carbon neutral），100% 的可再生能源抵消。

隨著 ML 和硅硬件（如 Pixel 6 上的 Google Tensor 處理器）的創(chuàng)新，許多新體驗(yàn)成為可能，移動(dòng)設(shè)備能夠更持續(xù)有效地感知上下文和環(huán)境。這些進(jìn)步提高了設(shè)備的可訪問(wèn)性和易用性，同時(shí)計(jì)算能力也有提升，這對(duì)于移動(dòng)攝影、實(shí)時(shí)翻譯等流行功能至關(guān)重要。值得注意的是，最近的技術(shù)進(jìn)步還為用戶提供了更加個(gè)性化的體驗(yàn)，同時(shí)加強(qiáng)了隱私保護(hù)。
人們比以往任何時(shí)候都依賴他們的手機(jī)攝像頭來(lái)記錄日常生活和創(chuàng)作靈感。機(jī)器學(xué)習(xí)在計(jì)算攝影中的巧妙應(yīng)用提升了手機(jī)相機(jī)的功能，使它們更易于使用，產(chǎn)生了更高質(zhì)量的圖像。一些先進(jìn)的技術(shù)，如改進(jìn)的 HDR+，在弱光下的拍攝能力，更好的人像處理功能，及更大的包容性使得手機(jī)攝像可以更真實(shí)地反映拍攝對(duì)象。Google Photos 中基于機(jī)器學(xué)習(xí)的強(qiáng)大工具如 Magic Eraser 等還能進(jìn)一步優(yōu)化照片。


除了用手機(jī)進(jìn)行創(chuàng)造外，許多人還依賴手機(jī)與他人實(shí)時(shí)跨語(yǔ)言溝通，例如在打電話時(shí)使用 Live Translate 和 Live Caption。由于自我監(jiān)督學(xué)習(xí)（self-supervised learning）和有噪音的學(xué)生訓(xùn)練（noisy student training）等技術(shù)，語(yǔ)音識(shí)別準(zhǔn)確率持續(xù)改善。對(duì)有口音的語(yǔ)音、嘈雜的語(yǔ)音或重疊語(yǔ)音等有明顯的改善。在文本到語(yǔ)音合成的進(jìn)步基礎(chǔ)上，人們可以使用谷歌朗讀技術(shù) Read Aloud 在越來(lái)越多的平臺(tái)上收聽(tīng)網(wǎng)頁(yè)和文章，使獲取信息更加便宜，跨越了模態(tài)和語(yǔ)言的障礙。通過(guò)穩(wěn)定生成的即時(shí)翻譯，谷歌翻譯（Google Translate）的實(shí)時(shí)語(yǔ)音翻譯水平顯著改善。高質(zhì)量的語(yǔ)音翻譯在多語(yǔ)言交流時(shí)提供了更好的用戶體驗(yàn)。在 Lyra 語(yǔ)音編****和 Soundstream 音頻編****中，機(jī)器學(xué)習(xí)與傳統(tǒng)編****方法相結(jié)合使語(yǔ)音、音樂(lè)和其他聲音能夠以低得多的比特率保真地傳送。


智能文本選擇（Smart Text Selection）等工具得到了改進(jìn)，它可以自動(dòng)選擇電話號(hào)碼或地址等信息，以便復(fù)制和粘貼。此外，Screen Attention 可以防止手機(jī)屏幕變暗，凝視識(shí)別技術(shù)有所的改進(jìn)。機(jī)器學(xué)習(xí)還讓人們的生活更加安全。例如， Suspicious Message Alerts 對(duì)可能的網(wǎng)絡(luò)釣魚(yú)攻擊提出預(yù)警，Safer Routing 提出更加安全的替代路線。

考慮到這些功能使用數(shù)據(jù)的敏感性，把它們默認(rèn)設(shè)置為不共享是很重要的。以上提到的許多功能都在 Android的Private Compute Core 中運(yùn)行。這是一個(gè)開(kāi)源的、安全的環(huán)境，與操作系統(tǒng)的其余部分隔離開(kāi)。Android 確保未經(jīng)用戶同意，不會(huì)將在 Private Compute Core 中的數(shù)據(jù)共享給任何應(yīng)用程序。Android 還阻止 Private Compute Core 的任何功能直接訪問(wèn)網(wǎng)絡(luò)。功能通過(guò)一小部分開(kāi)源 API 與 Private Compute Services 進(jìn)行通信，這樣就能剔除身份敏感信息并使用聯(lián)邦學(xué)習(xí)、聯(lián)邦分析和私人信息檢索等功能保護(hù)隱私。 

這些技術(shù)對(duì)于發(fā)展下一代計(jì)算和交互范例至關(guān)重要，個(gè)人或公共設(shè)備需要在不損害隱私的情況下學(xué)習(xí)并幫助訓(xùn)練（算法）模型。聯(lián)邦的無(wú)人監(jiān)督學(xué)習(xí)方法，可以創(chuàng)造出越來(lái)越智能的系統(tǒng)。這些系統(tǒng)的交互更加直觀，更像是一個(gè)社交實(shí)體，而不是一臺(tái)機(jī)器。只有對(duì)我們的技術(shù)進(jìn)行深刻變革，才有可能廣泛而公平地?fù)碛羞@些智能系統(tǒng)，讓它們支持神經(jīng)計(jì)算。

近年來(lái)，我們看到機(jī)器學(xué)習(xí)在物理、生物等基礎(chǔ)科學(xué)科的影響越來(lái)越大，在可再生能源和醫(yī)學(xué)等領(lǐng)域也有許多令人興奮的應(yīng)用。計(jì)算機(jī)視覺(jué)模型對(duì)個(gè)人和全球問(wèn)題都有所功效。它們可以幫助醫(yī)生進(jìn)行工作，擴(kuò)大我們對(duì)神經(jīng)生理學(xué)的理解，還可以提供更好的天氣預(yù)報(bào)，加快救災(zāi)工作。其他類型的機(jī)器學(xué)習(xí)模型能發(fā)現(xiàn)減少碳排放和提高替代能源產(chǎn)量的方法，在應(yīng)對(duì)氣候變化方面至關(guān)重要。這樣的模型甚至可以作為藝術(shù)家的創(chuàng)作工具！隨著機(jī)器學(xué)習(xí)變得更加強(qiáng)?。敯簦┖屯晟疲诘膽?yīng)用潛力繼續(xù)擴(kuò)大，有助于解決我們面臨的一些最具挑戰(zhàn)性的問(wèn)題。

計(jì)算機(jī)視覺(jué)提供新的洞察力：

在過(guò)去的十年里，計(jì)算機(jī)視覺(jué)的進(jìn)步使計(jì)算機(jī)能夠完成不同科學(xué)領(lǐng)域的各種任務(wù)。在神經(jīng)科學(xué)中，自動(dòng)重建技術(shù)可以從腦組織薄片的高分辨率電子顯微鏡圖像中重現(xiàn)腦組織的神經(jīng)連接結(jié)構(gòu)。前些年，谷歌為研究果蠅、老鼠的大腦創(chuàng)造了這樣的資源，去年，我們與哈佛大學(xué)的利希特曼實(shí)驗(yàn)室（Lichtman Lab）合作，進(jìn)行了第一次大規(guī)模的人類皮質(zhì)突觸連接研究。該研究跨越了所有皮層的多個(gè)細(xì)胞類型。這項(xiàng)工作的目標(biāo)是幫助神經(jīng)科學(xué)家研究令人驚嘆的人類大腦。例如，下圖顯示了成人大腦中約 860 億個(gè)神經(jīng)元中的 6 個(gè)。

計(jì)算機(jī)視覺(jué)技術(shù)還提供了強(qiáng)大的工具來(lái)應(yīng)對(duì)全球挑戰(zhàn)?；谏疃葘W(xué)習(xí)的天氣預(yù)報(bào)方法用衛(wèi)星和雷達(dá)圖像作為輸入，結(jié)合其他大氣數(shù)據(jù)，產(chǎn)生比傳統(tǒng)的基于物理的模型更準(zhǔn)確的天氣和降水預(yù)報(bào)，預(yù)報(bào)時(shí)間長(zhǎng)達(dá) 12 小時(shí)。它們還可以比傳統(tǒng)方法更快地產(chǎn)生更新的預(yù)報(bào)，這在極端天氣時(shí)期可能是至關(guān)重要的。


擁有準(zhǔn)確的建筑足跡記錄對(duì)于從人口估計(jì)和城市規(guī)劃到人道主義響應(yīng)和環(huán)境科學(xué)的一系列應(yīng)用都是至關(guān)重要的。在世界上的許多地方，包括非洲的大部分地區(qū)，這一信息以前是無(wú)法獲得的，但新的研究表明，將計(jì)算機(jī)視覺(jué)技術(shù)應(yīng)用于衛(wèi)星圖像可以幫助識(shí)別大陸范圍內(nèi)的建筑邊界。這一方法的結(jié)果已在開(kāi)放建筑數(shù)據(jù)集中發(fā)布，這是一種新的開(kāi)放獲取的數(shù)據(jù)資源，其中包含 5.16 億座覆蓋非洲大陸大部分地區(qū)的建筑的位置和占地面積。我們還能夠在與世界糧食計(jì)劃署的合作中使用這一獨(dú)特的數(shù)據(jù)集，通過(guò) ML 的應(yīng)用提供自然災(zāi)害后的快速損失評(píng)估。


在健康領(lǐng)域的應(yīng)用：

除了推進(jìn)基礎(chǔ)科學(xué)，人工智能還可以在更廣泛的范圍內(nèi)為醫(yī)學(xué)和人類健康做出貢獻(xiàn)。在健康領(lǐng)域利用計(jì)算機(jī)科學(xué)并不是什么新鮮事。但機(jī)器學(xué)習(xí)打開(kāi)了新的大門(mén)，帶來(lái)了新的機(jī)遇和挑戰(zhàn)。

以基因組學(xué)領(lǐng)域?yàn)槔?。?jì)算機(jī)從一開(kāi)始就對(duì)基因組學(xué)很重要，但是機(jī)器學(xué)習(xí)增加了新的功能并顛覆了舊的模式。當(dāng)谷歌的研究人員探索這一領(lǐng)域的工作時(shí)，許多專家認(rèn)為利用深度學(xué)習(xí)來(lái)推斷基因變異的想法是牽強(qiáng)的。如今，這種機(jī)器方法被認(rèn)為是最先進(jìn)的。谷歌發(fā)布的開(kāi)源軟件 DeepConsensus 以及與加州大學(xué)洛杉磯分校（UCSC）合作的 Pepper-DeepVariant 提供了尖端的信息學(xué)支持。我們希望更多的快速測(cè)序可以在近期進(jìn)入實(shí)際應(yīng)用領(lǐng)域，并對(duì)患者產(chǎn)生實(shí)際影響。

以基因組學(xué)領(lǐng)域?yàn)槔?。?jì)算技術(shù)一直對(duì)基因組學(xué)非常重要，但機(jī)器學(xué)習(xí)方法改變了之前的舊模式，并增添了新的功能。最初，谷歌的研究人員使用機(jī)器學(xué)習(xí)在該領(lǐng)域展開(kāi)研究時(shí)，許多專家認(rèn)為使用深度學(xué)習(xí)技術(shù)從測(cè)序儀中推斷是否存在基因變異的想法是不可行的。但如今，機(jī)器學(xué)習(xí)是最先進(jìn)的研究方法。并且未來(lái)機(jī)器學(xué)習(xí)將扮演更重要的角色，比如基因組學(xué)公司正在開(kāi)發(fā)更精確、更快的新測(cè)序儀，它需要匹配更好的推理能力。我們也發(fā)布了 DeepConsensus 開(kāi)源軟件，以及與 UCSC 合作的 PEPPER-DeepVariant，為這些新儀器提供最前沿的信息學(xué)支持。我們希望這些性能更強(qiáng)的測(cè)序儀可以盡快應(yīng)用在實(shí)際患者中并產(chǎn)生有益影響。
圖丨DeepConsensus 中的 Transformer 結(jié)構(gòu)示意圖，它可以糾正測(cè)序錯(cuò)誤，提高準(zhǔn)確率。
機(jī)器學(xué)習(xí)也可以在處理測(cè)序數(shù)據(jù)之外起作用，比如使用機(jī)器學(xué)習(xí)加速個(gè)性化健康的基因組信息建設(shè)。廣泛表型和測(cè)序個(gè)體的大型生物樣本庫(kù)的建立，可以徹底改變我們理解和管理疾病遺傳易感性的方式?；跈C(jī)器學(xué)習(xí)的表型方法可以提高將大型圖像和文本數(shù)據(jù)集轉(zhuǎn)換為可用于遺傳相關(guān)研究表型的可擴(kuò)展性，并且 DeepNull 也可以利用大型表型數(shù)據(jù)進(jìn)行遺傳研究。我們也很高興將這兩種開(kāi)源方法公布給科學(xué)界。
圖丨根據(jù)生物樣本庫(kù)中的基因組數(shù)據(jù)，生成的解剖學(xué)和疾病性狀的大規(guī)模量化過(guò)程。
正如機(jī)器學(xué)習(xí)可以幫助我們看到基因組數(shù)據(jù)中的隱藏特征一樣，它也可以幫助我們從其他健康數(shù)據(jù)類型中發(fā)現(xiàn)并收集新信息。疾病的診斷通常包括模式識(shí)別、關(guān)系量化和在大量類別中識(shí)別出新實(shí)例等任務(wù)，而這些都是機(jī)器學(xué)習(xí)擅長(zhǎng)的。谷歌的研究人員已經(jīng)使用機(jī)器學(xué)習(xí)來(lái)解決各種各樣的問(wèn)題，但也許沒(méi)有一個(gè)問(wèn)題比它在醫(yī)學(xué)成像中的應(yīng)用有更大進(jìn)展。

谷歌在 2016 年發(fā)表了一篇關(guān)于深度學(xué)習(xí)在糖尿病視網(wǎng)膜病變篩查中應(yīng)用的論文，被《美國(guó)醫(yī)學(xué)會(huì)雜志》（JAMA）的編輯選為十年來(lái)最具影響力的十大論文之一。這意味著它不僅在機(jī)器學(xué)習(xí)和健康方面具有廣泛影響力，并且也是十年來(lái)最具影響的 JAMA 論文之一。而且我們的研究影響并不僅限于對(duì)論文，而是擴(kuò)展到現(xiàn)實(shí)世界中建立系統(tǒng)的能力。通過(guò)我們的全球合作伙伴網(wǎng)絡(luò)，該項(xiàng)目已經(jīng)幫助印度、泰國(guó)、德國(guó)和法國(guó)的數(shù)萬(wàn)名患者進(jìn)行疾病篩查，否則他們自己可能沒(méi)有能力接受這種威脅視力疾病的檢測(cè)。

我們希望看到更多機(jī)器學(xué)習(xí)輔助系統(tǒng)的部署，以應(yīng)用到改善乳腺癌篩查、檢測(cè)肺癌、加速癌癥放射治療、標(biāo)記異常x光和對(duì)前列腺癌活檢分級(jí)上。機(jī)器學(xué)習(xí)為每個(gè)領(lǐng)域都提供了新的幫助。比如機(jī)器學(xué)習(xí)輔助的結(jié)腸鏡檢查，就是一個(gè)超越了原有基礎(chǔ)的例子。結(jié)腸鏡檢查不僅僅只是診斷結(jié)腸癌，還可以在手術(shù)過(guò)程中切除息肉，是阻止疾病發(fā)展和預(yù)防嚴(yán)重疾病的前沿陣地。在該領(lǐng)域中，我們已經(jīng)證明機(jī)器學(xué)習(xí)可以幫助確保醫(yī)生不遺漏息肉，幫助檢測(cè)難以發(fā)現(xiàn)的息肉，還可以增加維度來(lái)提高準(zhǔn)確度，例如應(yīng)用同步定位和繪圖技術(shù)。在與耶路撒冷 Shaare Zedek Medical Center 醫(yī)療中心的合作中，實(shí)驗(yàn)證明這些系統(tǒng)可以實(shí)時(shí)工作，平均每次手術(shù)可以檢測(cè)到一個(gè)可能會(huì)漏檢的息肉，而且每次手術(shù)的錯(cuò)誤警報(bào)少于 4 次。

圖丨對(duì)（A）一般異常、（B）結(jié)核病和（C）COVID-19 的真陽(yáng)性、假陽(yáng)性以及真陰性、假陰性的胸部 X 光片（CXR）進(jìn)行采樣。在每張 CXR 中，紅色的輪廓表示模型識(shí)別時(shí)關(guān)注的區(qū)域（即類激活圖），黃色的輪廓表示由放射科醫(yī)生認(rèn)定的感興趣區(qū)域。

Care Studio 是另一個(gè)有潛力的醫(yī)療保健計(jì)劃，它使用最先進(jìn)的機(jī)器學(xué)習(xí)和 NLP 技術(shù)來(lái)分析結(jié)構(gòu)化數(shù)據(jù)和醫(yī)療記錄，并在正確的時(shí)間為臨床醫(yī)生提供相關(guān)信息，幫助他們提供更積極和準(zhǔn)確的治療。

盡管機(jī)器學(xué)習(xí)可能對(duì)擴(kuò)大訪問(wèn)量和提高臨床準(zhǔn)確性很重要，但我們發(fā)現(xiàn)有新的趨勢(shì)正在出現(xiàn)：使用機(jī)器學(xué)習(xí)幫助人們的日常健康和幸福。我們?nèi)粘Ｊ褂玫脑O(shè)備都部署有強(qiáng)大的傳感器，可以幫助人們普及健康指標(biāo)和信息，使人們可以對(duì)自己的健康做出更明智的決定。目前已經(jīng)有了可以評(píng)估心率和呼吸頻率的智能手機(jī)攝像頭，并且無(wú)需額外的硬件設(shè)備。Nest Hub 設(shè)備可以支持非接觸式睡眠感知，讓用戶更好地了解自己的夜間健康狀況。我們可以在自己的 ASR 系統(tǒng)中顯著提高無(wú)序語(yǔ)音識(shí)別的質(zhì)量，也可以使用機(jī)器學(xué)習(xí)幫助有語(yǔ)音障礙的人重塑聲音，使他們能夠用自己的聲音交流。也許，使用機(jī)器學(xué)習(xí)讓智能手機(jī)幫助人們更好地研究皮膚病狀況，或者幫助視力有限的人慢跑，并不是遙不可及的：這些機(jī)遇證明未來(lái)是光明的。

用于非接觸式睡眠感知的自定義機(jī)器學(xué)習(xí)模型可以有效地處理連續(xù)的3維雷達(dá)張量（匯總了一定距離、頻率和時(shí)間范圍內(nèi)的活動(dòng)），從而自動(dòng)計(jì)算出用戶清醒或睡著的可能性。

機(jī)器學(xué)習(xí)在氣候危機(jī)中的應(yīng)用：

氣候變化也是一個(gè)至關(guān)重要的領(lǐng)域，對(duì)人類來(lái)說(shuō)具有非常緊迫的威脅。我們需要共同努力來(lái)扭轉(zhuǎn)有害排放的趨勢(shì)，以確保未來(lái)的安全和繁榮。而更好地了解不同選擇對(duì)氣候的影響，可以幫助我們用多種方式應(yīng)對(duì)這一挑戰(zhàn)。

為此，我們?cè)诠雀璧貓D中推出了環(huán)保路線，預(yù)計(jì)該方法可以每年節(jié)省約 100 萬(wàn)噸二氧化碳排放（相當(dāng)于在道路上減少 20 多萬(wàn)輛汽車）。最近的實(shí)驗(yàn)研究表明，在美國(guó)鹽湖城使用谷歌地圖導(dǎo)航可以實(shí)現(xiàn)更快、更環(huán)保的路線，節(jié)省了 1.7% 的二氧化碳排放量和 6.5% 的旅行時(shí)間。此外，還可以讓地圖軟件更好地適應(yīng)電動(dòng)汽車，幫助緩解里程焦慮，鼓勵(lì)人們使用無(wú)排放的交通工具。我們還與世界各地的城市進(jìn)行合作，利用匯總的歷史交通數(shù)據(jù)，幫助改善交通燈計(jì)時(shí)設(shè)置。在以色列和巴西進(jìn)行的一項(xiàng)早期試點(diǎn)研究顯示，有檢查十字路口的燃油消耗和延誤時(shí)間減少了 10-20%。

圖丨采用谷歌地圖的環(huán)保路線，將會(huì)展示最快和最省油的路線，所以你可以選擇任意一條適合你的路線。

從長(zhǎng)遠(yuǎn)來(lái)看，核聚變有望成為一種改變世界方式的可再生能源。在與 TAE Technologies 的長(zhǎng)期合作中，我們通過(guò)設(shè)置 1000 多個(gè)相關(guān)控制參數(shù)，使用機(jī)器學(xué)習(xí)來(lái)幫助聚變反應(yīng)堆保持穩(wěn)定的等離子體。通過(guò)我們的合作，TAE 實(shí)現(xiàn)了 Norman 反應(yīng)堆的主要目標(biāo)，這離我們實(shí)現(xiàn)平衡的核聚變又近了一步。這臺(tái)機(jī)器能在 3000 萬(wàn)開(kāi)爾文的溫度下保持穩(wěn)定的等離子體 30 毫秒，這是系統(tǒng)可用功率范圍的極限。目前他們已經(jīng)設(shè)計(jì)完成了一個(gè)更強(qiáng)大的核聚變機(jī)器，并希望該機(jī)器能在十年內(nèi)展示出實(shí)現(xiàn)核聚變平衡的必要條件。
并且，我們還得努力應(yīng)對(duì)越來(lái)越常見(jiàn)的火災(zāi)和洪水（像數(shù)百萬(wàn)加州人一樣不得不適應(yīng)定期的“火災(zāi)季節(jié)”）。去年，我們發(fā)布了一份由衛(wèi)星數(shù)據(jù)支持的火災(zāi)邊界地圖，幫助美國(guó)人輕松地在自己設(shè)備上了解火災(zāi)的大致規(guī)模和位置。我們還將谷歌上所有的火災(zāi)信息進(jìn)行整合，并在全球范圍內(nèi)進(jìn)行推出。我們也一直在應(yīng)用圖形優(yōu)化算法來(lái)幫助優(yōu)化火災(zāi)疏散路線，以幫助人們安全逃離快速推進(jìn)的火災(zāi)。2021 年，我們的洪水預(yù)報(bào)計(jì)劃的預(yù)警系統(tǒng)覆蓋范圍擴(kuò)大到 3.6 億人，是前一年的三倍以上，并向面臨洪災(zāi)風(fēng)險(xiǎn)人群的移動(dòng)設(shè)備直接發(fā)送了 1.15 億多條通知。我們還首次在現(xiàn)實(shí)世界系統(tǒng)中部署了基于 LSTM（長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)）的預(yù)測(cè)模型和 Manifold 模型，并分享了系統(tǒng)中所有組件的詳細(xì)信息。

圖丨谷歌地圖中的火災(zāi)圖在緊急情況下為人們提供關(guān)鍵信息。
我們也在努力完善可持續(xù)發(fā)展計(jì)劃。谷歌在 2007 年成為第一家實(shí)現(xiàn)碳中和的大型公司，也在 2017 年成為第一家使用 100% 可再生能源的公司。我們運(yùn)營(yíng)著行業(yè)中最清潔的全球云，也是世界上最大的可再生能源企業(yè)采購(gòu)商。在 2020 年，我們成為第一家承諾在全球所有數(shù)據(jù)中心和校園中全天候運(yùn)行無(wú)碳能源的大型公司。這比將能源使用與可再生能源相匹配的傳統(tǒng)方法更具挑戰(zhàn)性，但我們希望能在 2030 年前完成這一目標(biāo)。目前，機(jī)器學(xué)習(xí)模型訓(xùn)練的碳排放是該領(lǐng)域關(guān)注的主要問(wèn)題，而在模型架構(gòu)、數(shù)據(jù)中心和機(jī)器學(xué)習(xí)加速器方面做出正確的選擇，可以減少約 100-1000 倍的碳足跡訓(xùn)練量。

隨著機(jī)器學(xué)習(xí)在技術(shù)產(chǎn)品和社會(huì)中的應(yīng)用越來(lái)越廣泛，為了確保它被公平和公正地應(yīng)用，我們必須繼續(xù)開(kāi)發(fā)新技術(shù)，以確保它惠及更多人。這是我們“負(fù)責(zé)任人工智能和以人為本技術(shù)”（Responsible AI and Human-Centered Technology）研究小組的主要研究重點(diǎn)，也是我們對(duì)各種責(zé)任相關(guān)主題進(jìn)行研究的領(lǐng)域。

基于用戶在線產(chǎn)品活動(dòng)的推薦系統(tǒng)是研究的重點(diǎn)領(lǐng)域。由于這些推薦系統(tǒng)通常由多個(gè)不同部分組成，理解它們的公平性往往需要深入了解單個(gè)部分以及各個(gè)部分組合在一起時(shí)的行為。最近的研究工作揭示了提高單個(gè)部分和整個(gè)推薦系統(tǒng)的公平性的方法，有助于更好地理解這些關(guān)系。此外，當(dāng)從用戶的隱藏活動(dòng)中學(xué)習(xí)時(shí)，推薦系統(tǒng)以一種無(wú)偏差的方式進(jìn)行學(xué)習(xí)。因?yàn)閺囊郧坝脩羲故镜捻?xiàng)目中直接學(xué)習(xí)的方法中會(huì)表現(xiàn)出很明顯的偏差。并且如果不對(duì)這種偏差進(jìn)行糾正，推薦產(chǎn)品被展示的位置越顯眼，它們就越容易被頻繁推薦給未來(lái)的用戶。

與推薦系統(tǒng)一樣，上下文環(huán)境在機(jī)器翻譯中也很重要。因?yàn)榇蠖鄶?shù)機(jī)器翻譯系統(tǒng)都是獨(dú)立地翻譯單個(gè)句子，并沒(méi)有額外的上下文環(huán)境。在這種情況下，它們往往會(huì)加強(qiáng)與性別、年齡或其他領(lǐng)域有關(guān)的偏見(jiàn)。為此，我們長(zhǎng)期以來(lái)一直在研究如何減少翻譯系統(tǒng)中的性別偏見(jiàn)。為了幫助翻譯界研究，去年我們基于維基百科傳記的翻譯來(lái)研究翻譯中的性別偏見(jiàn)，并發(fā)布了一個(gè)數(shù)據(jù)集。

部署機(jī)器學(xué)習(xí)模型的另一個(gè)常見(jiàn)問(wèn)題是分布轉(zhuǎn)移：如果訓(xùn)練模型的數(shù)據(jù)統(tǒng)計(jì)分布與輸入模型的數(shù)據(jù)統(tǒng)計(jì)分布不一致，那么有時(shí)模型的行為是不可預(yù)測(cè)的。最近的研究中，我們使用 Deep Bootstrap 框架來(lái)比較現(xiàn)實(shí)世界和“理想世界”（ideal world）的區(qū)別，前者的訓(xùn)練數(shù)據(jù)是有限的，而后者擁有無(wú)限的數(shù)據(jù)。更好地理解模型在這兩種情況下（真實(shí)與理想）的行為，可以幫助我們開(kāi)發(fā)出更適用于新環(huán)境的模型，并減少在固定訓(xùn)練數(shù)據(jù)集上的偏差。

盡管人們對(duì)機(jī)器學(xué)習(xí)算法和模型開(kāi)發(fā)的工作有極大的關(guān)注，但研究者們對(duì)于數(shù)據(jù)收集和數(shù)據(jù)集的管理往往關(guān)注較少，但這些研究也非常重要，因?yàn)闄C(jī)器學(xué)習(xí)模型所訓(xùn)練的數(shù)據(jù)可能是下游應(yīng)用中出現(xiàn)偏見(jiàn)和公平性問(wèn)題的潛在原因。分析機(jī)器學(xué)習(xí)中的數(shù)據(jù)級(jí)聯(lián)可以幫助我們識(shí)別機(jī)器學(xué)習(xí)項(xiàng)目生命周期中，可能對(duì)結(jié)果產(chǎn)生重大影響的環(huán)節(jié)。這項(xiàng)關(guān)于數(shù)據(jù)級(jí)聯(lián)的研究已經(jīng)在修訂后的 PAIR 指南中為數(shù)據(jù)收集和評(píng)估提供了證據(jù)支持，該指南主要面向的是機(jī)器學(xué)習(xí)的開(kāi)發(fā)人員和設(shè)計(jì)人員。

圖丨不同顏色的箭頭表示各種類型的數(shù)據(jù)級(jí)聯(lián)，每個(gè)級(jí)聯(lián)通常起源于上游部分，在機(jī)器學(xué)習(xí)開(kāi)發(fā)過(guò)程中復(fù)合，并體現(xiàn)在下游部分。

更好地理解數(shù)據(jù)是機(jī)器學(xué)習(xí)研究的一個(gè)重要部分。我們對(duì)一些方法進(jìn)行研究，來(lái)更好地理解特定的訓(xùn)練實(shí)例對(duì)機(jī)器學(xué)習(xí)模型的影響，這可以幫助我們發(fā)現(xiàn)和調(diào)查異常數(shù)據(jù)，因?yàn)殄e(cuò)誤標(biāo)記的數(shù)據(jù)或其他類似的問(wèn)題可能會(huì)對(duì)整個(gè)模型行為產(chǎn)生巨大的影響。同時(shí)，我們還建立了“了解你的數(shù)據(jù)”（Know Your Data）工具，以幫助機(jī)器學(xué)習(xí)研究人員和從業(yè)人員更好地了解數(shù)據(jù)集的屬性。去年，我們還進(jìn)行了案例研究，教你如何使用“了解你的數(shù)據(jù)”工具來(lái)探索數(shù)據(jù)集中的性別偏見(jiàn)和年齡偏見(jiàn)等問(wèn)題。

圖丨“了解你的數(shù)據(jù)”截圖顯示了描述吸引力和性別詞匯之間的關(guān)系。例如，“有吸引力的”和“男性/男人/男孩”同時(shí)出現(xiàn) 12 次，但我們預(yù)計(jì)偶然出現(xiàn)的次數(shù)約為 60 次（比例為 0.2 倍）。另一方面，“有吸引力的”和“女性/女人/女孩”同時(shí)出現(xiàn)的概率是 2.62 倍，超過(guò)預(yù)計(jì)偶然出現(xiàn)的情況。

因?yàn)閯?dòng)態(tài)使用基準(zhǔn)測(cè)試數(shù)據(jù)集在機(jī)器學(xué)習(xí)作領(lǐng)域中扮演著核心角色，了解它也很重要。盡管對(duì)單個(gè)數(shù)據(jù)集的研究已經(jīng)變得越來(lái)越普遍，但對(duì)整個(gè)領(lǐng)域的動(dòng)態(tài)使用數(shù)據(jù)集的研究仍然沒(méi)有得到充分探索。在最近的研究工作中，我們第一個(gè)發(fā)表了關(guān)于動(dòng)態(tài)的數(shù)據(jù)集創(chuàng)建、采用和重用的大規(guī)模經(jīng)驗(yàn)性分析。這項(xiàng)研究工作為實(shí)現(xiàn)更嚴(yán)格的評(píng)估，以及更公平和社會(huì)化的研究提供了見(jiàn)解。

對(duì)每個(gè)人來(lái)說(shuō)，創(chuàng)建更具包容性和更少偏見(jiàn)的公共數(shù)據(jù)集是幫助改善機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要方法。2016 年，我們發(fā)布了開(kāi)放圖像（Open Images）數(shù)據(jù)集，它包含了約 900 萬(wàn)張圖片，這些圖片用圖像標(biāo)簽標(biāo)注，涵蓋了數(shù)千個(gè)對(duì)象類別和 600 類的邊界框標(biāo)注。

去年，我們?cè)陂_(kāi)放圖像擴(kuò)展（Open Images Extended）集合中引入了包容性人物標(biāo)注（MIAP）數(shù)據(jù)集。該集合包含更完整人類層次結(jié)構(gòu)的邊界框標(biāo)注，每個(gè)標(biāo)注都帶有與公平性相關(guān)的屬性，包括感知的性別和年齡范圍。隨著人們?cè)絹?lái)越致力于減少不公平的偏見(jiàn)，作為負(fù)責(zé)任的人工智能（Responsible AI）研究的一部分，我們希望這些標(biāo)注能夠鼓勵(lì)已經(jīng)使用開(kāi)放圖像數(shù)據(jù)集的研究人員在他們的研究中納入公平性分析。

我們的團(tuán)隊(duì)并不是唯一一個(gè)創(chuàng)建數(shù)據(jù)集來(lái)改善機(jī)器學(xué)習(xí)效果的團(tuán)隊(duì)，我們還創(chuàng)建了“數(shù)據(jù)集搜索”（Dataset Search）方法，使得無(wú)論來(lái)自哪里的用戶都可以在我們的幫助下發(fā)現(xiàn)新的和有用的數(shù)據(jù)集。

谷歌非常重視應(yīng)對(duì)網(wǎng)絡(luò)暴力問(wèn)題，包括使用極端語(yǔ)言，發(fā)表仇恨言論和散播虛假信息等。能夠可靠、高效和大規(guī)模地檢測(cè)到這些行為，對(duì)于確保平臺(tái)安全至關(guān)重要，同時(shí)也能避免機(jī)器學(xué)習(xí)通過(guò)無(wú)監(jiān)督學(xué)習(xí)的方式從網(wǎng)絡(luò)上大量復(fù)制這些負(fù)面信息。在這方面，谷歌開(kāi)創(chuàng)了領(lǐng)先的 Perspective API 工具。但是如何在大規(guī)模場(chǎng)景中精準(zhǔn)地檢測(cè)出有害信息仍然是一個(gè)復(fù)雜的問(wèn)題。在最近，我們與不同的學(xué)術(shù)伙伴合作，引入了一個(gè)全面的分類法來(lái)應(yīng)對(duì)不斷變化的網(wǎng)絡(luò)仇恨和網(wǎng)絡(luò)騷擾情況。谷歌還對(duì)如何發(fā)現(xiàn)隱蔽性網(wǎng)絡(luò)暴力，如微歧視進(jìn)行了研究。通常，微歧視在網(wǎng)絡(luò)暴力的問(wèn)題中容易被忽視。我們發(fā)現(xiàn)，對(duì)微歧視這種主觀概念進(jìn)行數(shù)據(jù)注釋的傳統(tǒng)方法很可能將少數(shù)族裔邊緣化。因此谷歌提出用多任務(wù)框架來(lái)解決問(wèn)題的新的分類建模方法。此外，谷歌的 Jigsaw 團(tuán)隊(duì)與喬治華盛頓大學(xué)（George Washington University）的研究人員合作，通過(guò)定性研究和網(wǎng)絡(luò)層面的內(nèi)容分析，研究了極端的仇恨群體如何在社交媒體平臺(tái)上散播虛假信息。

另一個(gè)潛在的問(wèn)題是，機(jī)器學(xué)習(xí)算法生成的模型有時(shí)會(huì)產(chǎn)生缺乏證據(jù)支持的結(jié)果。為了在問(wèn)題回答、總結(jié)和對(duì)話中解決這一問(wèn)題，谷歌開(kāi)發(fā)了一個(gè)新的框架來(lái)衡量算法結(jié)果是否可以歸因于特定的來(lái)源。我們發(fā)布了注釋指南，并證明可以使用這項(xiàng)可靠的技術(shù)來(lái)對(duì)候選模型進(jìn)行評(píng)估。

模型的交互式分析和調(diào)試仍然是負(fù)責(zé)任地使用機(jī)器學(xué)習(xí)語(yǔ)言的關(guān)鍵。谷歌對(duì) Language Interpretability Tool 的技術(shù)和功能進(jìn)行了更新。更新包括對(duì)圖像和表格數(shù)據(jù)的支持，從 What-If Tool 中繼承下來(lái)的各種功能，以及 Testing with Concept Activation Vectors 技術(shù)對(duì)公平性分析的內(nèi)置支持。機(jī)器學(xué)習(xí)系統(tǒng)的可解釋性也是谷歌提出的“負(fù)責(zé)任的 AI 愿景”（Responsible AI vision）的關(guān)鍵部分。在與 DeepMind 的合作下，谷歌開(kāi)始了解自我訓(xùn)練的AlphaZero國(guó)際象棋系統(tǒng)是如何獲取人類的象棋概念的。

谷歌還在努力拓寬“負(fù)責(zé)任的人工智能”的視角和格局，使其超越西方的局限。一項(xiàng)最近的研究提出在非西方背景下，基于西方機(jī)構(gòu)和基建的算法公平概念并不適用。研究為印度的算法公平研究提供了新方向和新途徑。谷歌正在幾大洲積極開(kāi)展調(diào)查，以更好地了解人們對(duì)人工智能的看法和偏好。西方視角下的算法公平研究?jī)A向于只關(guān)注少數(shù)幾個(gè)問(wèn)題，因此導(dǎo)致很多非西方背景下的算法偏見(jiàn)問(wèn)題被忽略。為了解決這一差距，我們與密歇根大學(xué)（University Of Michigan）合作，開(kāi)發(fā)了一種弱監(jiān)督薄的自然語(yǔ)言處理（NLP）模型，以便在更廣泛的地理文化語(yǔ)境中檢測(cè)出語(yǔ)言偏見(jiàn)，反映人類在不同的地理環(huán)境中對(duì)攻擊性和非攻擊性語(yǔ)言的判斷。

此外，谷歌還探索了機(jī)器學(xué)習(xí)在發(fā)展中國(guó)家的應(yīng)用，包括開(kāi)發(fā)一個(gè)以農(nóng)民為中心的機(jī)器學(xué)習(xí)研究方案。通過(guò)這項(xiàng)工作，我們希望鼓勵(lì)人工智能領(lǐng)域更多思考如何將機(jī)器學(xué)習(xí)支持的解決方案帶給千萬(wàn)小農(nóng)戶，以改善他們的生活和社區(qū)。

讓整個(gè)社會(huì)的利益相關(guān)方參與到機(jī)器學(xué)習(xí)研發(fā)部署的各階段是谷歌正在努力的方向，這讓谷歌牢記什么才是最需要解決的問(wèn)題。本著這一原則，我們和非營(yíng)利組織負(fù)責(zé)人、政府和非政府組織代表以及其他專家之間舉行了健康公平研究峰會(huì)（Health Equity Research Summit），討論如何將更多的公平帶入整個(gè)機(jī)器學(xué)習(xí)的生態(tài)系統(tǒng)，使公平原則從最初的解決問(wèn)題貫穿到結(jié)果評(píng)估的最后一步。

從社會(huì)出發(fā)的研究方法讓谷歌在機(jī)器學(xué)習(xí)的系統(tǒng)中就思考數(shù)字福利和種族平等問(wèn)題。谷歌希望更多了解非洲裔美國(guó)人對(duì) ASR 系統(tǒng)的體驗(yàn)。谷歌也在更廣泛地聽(tīng)取公眾的意見(jiàn)，以了解機(jī)器學(xué)習(xí)如何在重大生活事件中提供幫助，例如提供家庭照顧。

隨著機(jī)器學(xué)習(xí)能力的提高和在許多領(lǐng)域的影響，機(jī)器學(xué)習(xí)中的隱私保護(hù)是一個(gè)研究重點(diǎn)。沿著這個(gè)思路，我們力求解決大型模型中的隱私問(wèn)題。谷歌既強(qiáng)調(diào)訓(xùn)練數(shù)據(jù)可以從大型模型中提取，也指出了如何在大型模型（例如 BERT）中實(shí)現(xiàn)隱私保護(hù)。除了上面提到的聯(lián)邦學(xué)習(xí)和分析技術(shù)，我們還一直在使用其他原則性和實(shí)用性的機(jī)器學(xué)習(xí)技術(shù)來(lái)保護(hù)隱私。例如私有聚類、私有個(gè)性化、私有矩陣補(bǔ)全、私有加權(quán)采樣、私有分位數(shù)、半空間的私有穩(wěn)健學(xué)習(xí)，以及私有 PAC 學(xué)習(xí)。此外，我們一直在擴(kuò)展可針對(duì)不同應(yīng)用和威脅模型定制的隱私概念，包括標(biāo)簽隱私和用戶與項(xiàng)目級(jí)別隱私。

數(shù)據(jù)集：
谷歌認(rèn)識(shí)到開(kāi)放數(shù)據(jù)集對(duì)機(jī)器學(xué)習(xí)和相關(guān)研究領(lǐng)域的普遍價(jià)值，我們繼續(xù)擴(kuò)大我們的開(kāi)源數(shù)據(jù)集和資源，并在 Google DataSet Search 中增加了開(kāi)放數(shù)據(jù)集的全球索引。今年，我們發(fā)布了一系列各個(gè)研究領(lǐng)域的數(shù)據(jù)集和工具：


總結(jié)

學(xué)術(shù)研究往往要經(jīng)歷多年才能在現(xiàn)實(shí)世界產(chǎn)生影響。人工智能領(lǐng)域先驅(qū)的工作現(xiàn)在對(duì)現(xiàn)在的谷歌產(chǎn)品和全世界都產(chǎn)生了戲劇性的影響。對(duì) TPU 等機(jī)器學(xué)習(xí)加速器和 TensorFlow、JAX 等軟件的開(kāi)發(fā)經(jīng)取得了豐碩成果。谷歌在自己的產(chǎn)品中正越來(lái)越多地使用機(jī)器學(xué)習(xí)模型，因?yàn)樗δ軓?qiáng)大，在性能關(guān)鍵型的實(shí)驗(yàn)和生產(chǎn)中表現(xiàn)優(yōu)異。在創(chuàng)建 Seq2Seq、Inception、EfficientNet 和 Transformer 等模型的過(guò)程中對(duì)模型結(jié)構(gòu)的研究正在推動(dòng)語(yǔ)言理解、視覺(jué)、語(yǔ)音識(shí)別等領(lǐng)域的進(jìn)步。語(yǔ)言、視覺(jué)和語(yǔ)音識(shí)別等領(lǐng)域?qū)鉀Q問(wèn)題具有變革性，因此，這類型的機(jī)器學(xué)習(xí)模型被廣泛部署用于許多產(chǎn)品中，包括 Search, Assistant, Ads, Cloud, Gmail, Maps, YouTube, Workspace, Android, Pixel, Nest 和 Translate。
對(duì)機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)來(lái)說(shuō)，這是一個(gè)激動(dòng)人心的時(shí)代。通過(guò)處理語(yǔ)言、視覺(jué)和聲音，計(jì)算機(jī)理解周圍的世界并與之互動(dòng)的能力在不斷提高。同時(shí)計(jì)算機(jī)也在不斷為人類開(kāi)拓新疆界貢獻(xiàn)力量。前文所述的五個(gè)方面正是這漫長(zhǎng)旅程中的許多進(jìn)步的節(jié)點(diǎn)！

原文鏈接：

https://ai.googleblog.com/2022/01/google-research-themes-from-2021-and.html