除了我們前面考慮的結(jié)構(gòu)信息以外，還有一個非常重要的信息就是曲式結(jié)構(gòu)，這個對于生成一首完整的旋律非常重要。我們常見的曲式結(jié)構(gòu)有單一、單二、單三、回旋、變奏、奏鳴曲式以及流行音樂常見的主副歌結(jié)構(gòu)，這些信息非常有助于音樂的生成。同時也需要考慮一首歌的情緒推動，起承轉(zhuǎn)合，比如下圖上這種經(jīng)典的穩(wěn)定開始、變化擴張、緊張運動、穩(wěn)定結(jié)束的形式，還需要對旋律的情感、情緒做出理解。而這些知識都需要有對音樂的理解。

因此，我們開展了 MusicBERT 工作，利用大規(guī)模音樂數(shù)據(jù)進行預訓練，從而更好地理解音樂，包括情感分類、流派分類、旋律伴奏抽取、結(jié)構(gòu)分析等。

為了能夠開展大規(guī)模的預訓練，我們構(gòu)建了一個大規(guī)模的音樂數(shù)據(jù)集 MMD 包含150萬首音樂數(shù)據(jù)，比之前的音樂數(shù)據(jù)集大10倍。然后針對音樂理解任務我們提出了 OctupleMIDI 這種編碼方式，其中含有8種基本的 token，包括拍號、速度、小節(jié)、位置、樂器、音高、時長、速度等。相比之前的 REMI、CP 等，編碼方式 OctupleMIDI 能極大地縮短音樂序列長度，同時還可以容納足夠的音樂信息。更短的序列長度可以使模型一次性處理更長的音樂片段，從而提升模型對音樂的理解能力。

我們使用了 BERT 的 Masked Language Modeling 訓練方式，采用了 bar-level 的掩碼策略，即一次性掩蓋一個小節(jié)內(nèi)相同類型的 token，以防止信息泄露。

MusicBERT 模型結(jié)構(gòu)采用了基本的 Transformer，同時在模型的輸入和輸出上針對 OctupleMIDI 的編碼做了一些特殊的設計——輸入時將8個 token 的 embedding 拼接后通過一個線性層映射到模型的隱層維度，在輸出時接8個 softmax 矩陣分別預測相應的 token。

MusicBERT 在三個下游任務：Melody Completion、Accompaniment Completion 和 Genre Classification 上取得了 SOTA 的效果，遠超以前的音樂理解模型。

伴奏編曲

在伴奏編曲的生成方面，我們進行了 PopMAG 這個工作。PopMAG 處理的任務形式是給定主旋律和****進而生成不同樂器的伴奏，包括鼓、貝斯、吉他、鍵盤、弦樂等。這其中的一個難點就是要保證多軌音樂的和諧。因此，我們提出了MuMIDI 的編碼方式，將多軌音樂編碼到一個序列里，使得多軌音樂生成變成了單個序列的生成，這樣自然地建模了不同軌音符之間的依賴關系。

我們在三個數(shù)據(jù)集上評估了 PopMAG 的伴奏生成效果，根據(jù)人的主觀評測，生成的伴奏已經(jīng)比較接近真實的伴奏了。

歌曲合成

針對歌聲合成，我們做了 HiFiSinger 的工作。事實上，和說話的聲音相比，歌聲需要更高的保真度來傳達表現(xiàn)力和情感。那么怎么實現(xiàn)高保真度呢？一個方面是提高聲音質(zhì)量，另一方面是提高聲音的采樣率。

之前的工作大都關注在提高聲音質(zhì)量，而我們考慮的是提高采樣率。我們知道人耳對頻率的感知范圍為20到20kHz，如果采用16kHz或者24kHz的采樣率的話，根據(jù)奈奎斯特-香農(nóng)采樣定理，它只能覆蓋8kHz或者12kHz的頻帶范圍，并不能很好地覆蓋人耳的聽覺范圍。因此我們將采樣率從24kHz升到48kHz來進行建模。

整個歌聲合成的流程采用了聲學模型和聲碼器級聯(lián)的方式，如下圖（右）所示。但是升級到48kHz的采樣率有兩個挑戰(zhàn)：1）48kHz在頻譜維度有更寬的頻譜，這給聲學模型的建模帶來了挑戰(zhàn)；2）48kHz在時間維度上有更長的語音采樣點，這給聲碼器的建模帶來了挑戰(zhàn)。

所以，我們分別提出了針對聲學模型的 Sub-frequency GAN 和針對聲碼器的 Multi-length GAN來解決上述問題。

實驗結(jié)果顯示 HiFiSinger 相比之前的基線方法取得了明顯的音質(zhì)提升，表明了我們的方法對高采樣率建模的有效性。同時采用48kHz采樣率的 HiFiSinger 模型甚至超過了24kHz的錄音音質(zhì)，也證明了高采樣率的優(yōu)勢。

以上就是我們在 AI 音樂生成方面開展的一系列研究工作。目前 AI 音樂生成仍存在一些研究挑戰(zhàn)，包括以下幾個方面：1）對音樂結(jié)構(gòu)的理解有助于音樂的生成以及編排；2）音樂的情感以及風格的建模；3）交互式的音樂創(chuàng)作；4）對于生成音樂原創(chuàng)性的保證等。

微軟亞洲研究院機器學習組一直致力于 AI 音樂的研究，研究課題包括詞曲寫作、伴奏編曲、歌聲合成、音樂理解等。我們即將推出 AI 音樂開源項目 Muzic，涵蓋了我們在 AI 音樂的一系列研究工作，敬請期待。

AI 音樂研究項目主頁：

https://www.microsoft.com/en-us/research/project/ai-music/

Muzic 開源項目頁面（頁面將于近期公開）：

https://github.com/microsoft/muzic

論文列表：

[1] SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint, AAAI 2021, https://arxiv.org/pdf/2012.05168.pdf 

[2] DeepRapper: Neural Rap Generation with Rhyme and Rhythm Modeling, ACL 2021, https://arxiv.org/pdf/2107.01875.pdf 

[3] MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training, ACL 2021, https://arxiv.org/pdf/2106.05630.pdf

[4] PopMAG: Pop Music Accompaniment Generation, ACM MM 2020, https://arxiv.org/pdf/2008.07703.pdf 

[5] HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis, arXiv 2021, https://arxiv.org/pdf/2009.01776.pdf 

相關鏈接：

https://www.microsoft.com/en-us/research/project/ai-music/ 

https://www.bilibili.com/video/BV1Kg411G78m 

https://github.com/microsoft/muzic