阿里巴巴達(dá)摩院聯(lián)合中國科學(xué)院深圳先進(jìn)技術(shù)研究院提出面向多輪 Text-to-SQL 語義解析的 SQL 查詢語句導(dǎo)向型預(yù)訓(xùn)練模型 STAR。

目前高速發(fā)展的互聯(lián)網(wǎng)時代中，各種類型的數(shù)據(jù)不斷涌現(xiàn)，其中，我們較為常用的就有表格數(shù)據(jù)，表格作為一種通用的結(jié)構(gòu)化數(shù)據(jù)，我們可以根據(jù)需求設(shè)計 SQL 查詢語句來獲得表格中的知識，但是往往需要較高的設(shè)計成本以及學(xué)習(xí)成本。此時，Text-to-SQL 解析任務(wù)顯得格外重要，而根據(jù)對話場景的不同，還分為單輪 Text-to-SQL 解析和多輪 Text-to-SQL 解析，本文主要研究更加困難且更接近現(xiàn)實應(yīng)用的多輪 Text-to-SQL 解析任務(wù)。

近期，阿里巴巴達(dá)摩院聯(lián)合中國科學(xué)院深圳先進(jìn)技術(shù)研究院提出面向多輪 Text-to-SQL 語義解析的 SQL 查詢語句導(dǎo)向型預(yù)訓(xùn)練模型 STAR。截至目前，STAR 已連續(xù) 10 個月占據(jù) SParC 和 CoSQL 兩大榜單的第一名。研究論文已被自然語言處理領(lǐng)域國際會議 EMNLP 2022 Findings 接收。

• 論文地址：https://arxiv.org/abs/2210.11888

• 代碼地址：https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/star

STAR 是一種新穎且有效的多輪對話表格知識預(yù)訓(xùn)練語言模型，該模型主要通過兩個預(yù)訓(xùn)練目標(biāo)對多輪對話中的復(fù)雜上下文語義追蹤和數(shù)據(jù)庫模式狀態(tài)追蹤進(jìn)行建模，目的是增強(qiáng)自然語言查詢和數(shù)據(jù)庫模式在對話流中的編碼表示。

該研究在對話式語義解析的權(quán)威榜單 SParC 和 CoSQL 上進(jìn)行了評估，在公平的下游模型對比下，STAR 相比之前最好的多輪表格預(yù)訓(xùn)練模型 SCoRe，在 SParC 數(shù)據(jù)集上 QM/IM 提升了 4.6%/3.3%，在 CoSQL 數(shù)據(jù)集上 QM/IM 顯著提升 7.4%/8.5%。特別地，CoSQL 相比 SParC 數(shù)據(jù)集，擁有更多的上下文變化，這驗證了該研究提出的預(yù)訓(xùn)練任務(wù)的有效性。

背景介紹

為了使得用戶在不熟悉 SQL 語法的情況下也能夠通過自然語言對話與數(shù)據(jù)庫進(jìn)行交互，多輪 Text-to-SQL 解析任務(wù)應(yīng)運而生，該任務(wù)作為用戶與數(shù)據(jù)庫之間的橋梁，將交互內(nèi)的自然語言問題轉(zhuǎn)換為可執(zhí)行的 SQL 查詢語句。

預(yù)訓(xùn)練模型最近幾年在 NLP 的各種任務(wù)上大放異彩，但由于表格和自然語言之間內(nèi)在的差異性，普通的預(yù)訓(xùn)練語言模型（例如 BERT，RoBERTa) 在該任務(wù)上無法達(dá)到最優(yōu)的性能，所以預(yù)訓(xùn)練表格模型（TaLM）[1-5] 應(yīng)運而生。通常，預(yù)訓(xùn)練表格模型（TaLM）需要處理兩個核心問題，包括如何建模上下文查詢之間的復(fù)雜依賴（指代、意圖偏移）及如何有效利用歷史生成的 SQL 結(jié)果。針對上述兩個核心問題，現(xiàn)有的預(yù)訓(xùn)練表格模型存在以下缺陷：

圖 1. 一個上下文依賴的多輪 Text-to-SQL 解析例子。

第一，現(xiàn)有的表格預(yù)訓(xùn)練模型僅僅探索了自然語言查詢的上下文信息，而不考慮歷史 SQL 查詢語句中所蘊(yùn)含的交互狀態(tài)信息，這種信息往往能以一種更加準(zhǔn)確而緊湊的形式概括用戶的意圖。因此，對歷史 SQL 信息進(jìn)行建模和追蹤能夠更好地捕獲當(dāng)前輪查詢的意圖，從而更加準(zhǔn)確地生成對應(yīng)的 SQL 查詢語句。如圖 1 所示，由于第一輪 SQL 查詢中提到了表名 “Compuses”，在第二輪 SQL 查詢中很大可能會再次選擇該表，因此對表名 “Compuses” 的狀態(tài)進(jìn)行追蹤顯得格外重要。

第二，由于用戶可能忽略對話歷史中提及的實體或者引入一些指代，導(dǎo)致當(dāng)前輪對話信息缺失，因此多輪 Text-to-SQL 解析任務(wù)需要有效地建模上下文信息以便更好地解析當(dāng)前輪自然語言對話。如圖 1 所示，第二輪對話省了第一輪對話中提到的 “campuses in year 2000”。然而大部分已有預(yù)訓(xùn)練表格模型并沒有考慮上下文信息，而是對每輪自然語言對話單獨進(jìn)行建模。盡管 SCoRe [1] 通過預(yù)測相鄰兩輪對話之間的上下文切換標(biāo)簽來建模上下文切換信息，但是忽略了更復(fù)雜的上下文信息，并且不能追蹤遠(yuǎn)距離對話之間的依存信息。例如，圖 1 中，由于第二輪對話和第三輪對話發(fā)生了上下文切換，而 SCoRe 并不能捕獲第一輪對話和第四輪對話之間長距離依賴信息。

受到多輪對話中對話狀態(tài)追蹤任務(wù)的啟發(fā)，該研究提出了一種基于模式狀態(tài)追蹤預(yù)訓(xùn)練目標(biāo)來隊上下文 SQL 的模式狀態(tài)進(jìn)行追蹤；針對多輪對話中問題間復(fù)雜語義依賴問題，該研究提出了對話依賴追蹤方法，捕捉多輪對話之間的復(fù)雜語義依存關(guān)系，并提出基于權(quán)重的對比學(xué)習(xí)方法來更好地建模對話之間的正例和負(fù)例關(guān)系。

問題定義

該研究首先給出多輪 Text-to-SQL 解析任務(wù)涉及的符號和問題定義。表示 T 輪自然語言查詢，查詢的多輪 Text-to-SQL 對話交互，其中表示第 i 輪自然語言問題，每輪自然語言對話包含個 tokens。此外，還有一個與交互的數(shù)據(jù)庫 s，其中包含了 N 個表格，并且所有表格包含 m 個表名和列名，表示數(shù)據(jù)庫模式 s 中的第 i 個表名或列名。假設(shè)當(dāng)前輪為第 t 輪，Text-to-SQL 解析任務(wù)的目的是根據(jù)當(dāng)前輪自然語言查詢，歷史查詢，數(shù)據(jù)庫模式 s 和上一輪預(yù)測的 SQL 查詢語句，生成當(dāng)前輪自然語言查詢對應(yīng)的 SQL 查詢語句。

方法描述

如圖 2 所示，該研究提出了一個基于 SQL 引導(dǎo)的多輪表格預(yù)訓(xùn)練框架，充分利用了歷史 SQL 的結(jié)構(gòu)化信息來豐富對話表示，進(jìn)而對復(fù)雜的上下文信息進(jìn)行更加有效地建模。

圖 2. STAR 的模型框架。

具體來說，該研究提出基于模式狀態(tài)追蹤和基于對話依賴追蹤的表格預(yù)訓(xùn)練目標(biāo)，分別對多輪交互中的 SQL 查詢語句和自然語言問題的意圖進(jìn)行追蹤。(1) 在多輪對話情境中，當(dāng)前對話的 SQL 查詢依賴于上下文的 SQL 信息，因此受到多輪對話中對話狀態(tài)追蹤任務(wù)的啟發(fā)，該研究提出了一種基于模式狀態(tài)追蹤（Schema State Tracking，SST）的表格預(yù)訓(xùn)練目標(biāo)，以自監(jiān)督的方式跟蹤上下文相關(guān) SQL 查詢語句的模式狀態(tài) (或用戶請求)。(2) 對針對多輪對話中自然語言問題之間的復(fù)雜語義依賴問題，提出了基于對話依賴追蹤（Utterance Dependency Tracking，UDT）的表格預(yù)訓(xùn)練目標(biāo)，利用基于權(quán)重的對比學(xué)習(xí)方法更好地學(xué)習(xí)自然語言查詢的特征表示。下面詳細(xì)介紹這兩個表格預(yù)訓(xùn)練目標(biāo)。

基于模式狀態(tài)追蹤的表格預(yù)訓(xùn)練目標(biāo)

該研究提出了一種基于模式狀態(tài)追蹤的表格預(yù)訓(xùn)練目標(biāo)，以自監(jiān)督的方式跟蹤上下文相關(guān) SQL 查詢語句的模式狀態(tài) (或用戶請求)，目的是預(yù)測模式槽的值。具體來說，該研究以模式狀態(tài)的形式追蹤 Text-to-SQL 會話的交互狀態(tài)，其中槽是數(shù)據(jù)庫模式（即所有表的列名），對應(yīng)的槽值是 SQL 關(guān)鍵字。以圖 3 中的 SQL 查詢?yōu)槔?，模式?“[car_data]” 的值是 SQL 關(guān)鍵字 “[SELECT]”。首先，該研究將第 t - 1 輪預(yù)測的 SQL 查詢語句轉(zhuǎn)換為一組模式狀態(tài)的形式。由于模式狀態(tài)的槽是數(shù)據(jù)庫的所有表的列名，那些沒有出現(xiàn)在 SQL 查詢語句對應(yīng)的模式狀態(tài)中的值被設(shè)置為 [NONE]。如圖 3 所示，該研究用 m 個模式狀態(tài)表示 SQL 查詢語句，其中表示第 i 個模式狀態(tài)的槽，表示該模式狀態(tài)的值。對于第 t 輪，模式狀態(tài)追蹤的目標(biāo)是在給定所有歷史自然語言問題，當(dāng)前問題和上一輪 SQL 查詢語句的模式狀態(tài)的情況下，預(yù)測第 t 輪的 SQL 查詢語句的每個模式狀態(tài)槽的值。也就是說，在第 t 輪，模式狀態(tài)追蹤預(yù)訓(xùn)練目標(biāo)的輸入為:

由于每個模式狀態(tài)包含多個單詞，因此應(yīng)用注意力層來獲得的表示。具體來說，給定輸出上下文化表示 ( l 是的起始下標(biāo))。對于每個模式狀態(tài)，模式狀態(tài)的注意力感知的表示可以計算為:

進(jìn)而預(yù)測當(dāng)前問題的模式狀態(tài)：

最后，將模式狀態(tài)追蹤的預(yù)訓(xùn)練損失函數(shù)可以被定義為：

基于對話依賴追蹤的表格預(yù)訓(xùn)練目標(biāo)

該研究提出了一個話語依賴跟蹤的預(yù)訓(xùn)練目標(biāo)，利用基于權(quán)重的對比學(xué)習(xí)方法，以捕獲每個 Text-to-SQL 話中自然語言問題之間的復(fù)雜語義依賴關(guān)系?；跈?quán)重的對比學(xué)習(xí)中的一個關(guān)鍵挑戰(zhàn)是如何通過自監(jiān)督的方式構(gòu)建適當(dāng)?shù)恼拓?fù)例標(biāo)簽，直覺上可以通過從不同的會話中選擇自然語言問題來構(gòu)建負(fù)例對。然而，構(gòu)建正例問題對并非易事，因為當(dāng)前的問題可能與那些發(fā)生了話題轉(zhuǎn)移的歷史問題無關(guān)，如圖 1 所示的第二和第三個話語。因此，該研究將同一會話中的自然語言問題視為正例對，并且給它們分配了不同的相似度分?jǐn)?shù)。SQL 是一種高度結(jié)構(gòu)化的用戶話語指示，因此通過測量當(dāng)前 SQL 與歷史 SQL 的相似性，可以獲得自然語言問題的語義依賴的偽標(biāo)簽，以獲得不同語句建的相似度分?jǐn)?shù)，從而指導(dǎo)上下文建模。該研究從語義和結(jié)構(gòu)兩個角度出發(fā)提出了一種度量 SQL 相似性的方法。如圖 3 所示：

圖 3. 兩種計算 SQL 語句相似度的方法。

基于語義的 SQL 相似度計算  該研究通過計算兩個 SQL 查詢語句對應(yīng)的模式狀態(tài)相似度來衡量它們之間的語義相似度。具體來說，如圖 3 所示，該方法會分別獲取兩個 SQL 查詢語句，的模式狀態(tài)和。然后，該研究采用 Jaccard 相似度來計算它們之間的語義相似度：

其中表示和對應(yīng)模式狀態(tài)的值不是 [NONE] 的非重復(fù)模式狀態(tài)的數(shù)量。

基于結(jié)構(gòu)的 SQL 相似度計算  為了利用 SQL 查詢語句的樹形結(jié)構(gòu)，該研究首先將每個 SQL 查詢解析為 SQL 樹，如圖 3 所示。給定 SQL 查詢和的兩棵 SQL 樹和，該研究利用 Weisfeiler-Lehman 算法來計算的結(jié)構(gòu)相似度分?jǐn)?shù)，公式如下:

總的來說，該研究定義兩個 SQL 查詢語句和的相似度分?jǐn)?shù)如下:

基于權(quán)重的對比損失  在獲得 SQL 相似度后，該研究使用加權(quán)對比學(xué)習(xí)將會話中語義相似的自然語言問題的表示拉近，將語義不相似的自然語言問題的表示推遠(yuǎn)。具體來說，首先該研究利用一個注意機(jī)制來學(xué)習(xí)輸入表示:

然后，該研究將加權(quán)對比損失函數(shù)最小化以優(yōu)化整體網(wǎng)絡(luò):

最后，為了學(xué)習(xí)基于上下文語境的自然語言查詢和數(shù)據(jù)庫模式表示，該研究也采用了基于掩碼語義建模的預(yù)訓(xùn)練目標(biāo)，損失函數(shù)表示為?；谏鲜龅娜齻€訓(xùn)練目標(biāo)，該研究定義了基于同方差的聯(lián)合損失函數(shù)：

其中，為可訓(xùn)練的參數(shù)。

實驗效果

數(shù)據(jù)集  該研究在兩個對話式語義解析權(quán)威數(shù)據(jù)集 SParC 和 CoSQL 對 STAR 模型的有效性進(jìn)行了驗證。其中，SParC 是一個跨領(lǐng)域的多輪 Text-to-SQL 解析數(shù)據(jù)集，包含了大約 4300 次多輪交互和超過 12000 條自然語言問題 - SQL 查詢語句對；CoSQL 是一個跨領(lǐng)域的對話式 Text-to-SQL 解析數(shù)據(jù)集，包含了大約 3000 次對話交互和超過 10000 條自然語言問題 - SQL 查詢語句對。相比于 SParC，CoSQL 的對話上下文語義相關(guān)性更高，并且 SQL 查詢語句的語法更加復(fù)雜。

基準(zhǔn)模型  在基準(zhǔn)模型方面，該研究比較了以下方法：（1）GAZP [6]，通過結(jié)合一個前向語義解析模型和一個后向?qū)υ捝赡Ｐ秃铣勺匀徽Z言對話 - SQL 查詢語句對的訓(xùn)練數(shù)據(jù)，最后選擇具有循環(huán)一致性的數(shù)據(jù)擬合前向語義解析模型。（2）EditSQL [7]，考慮了交互歷史信息，通過編輯前時刻預(yù)測的 SQL 查詢語句來提升當(dāng)前輪對話的 SQL 生成質(zhì)量。（3）IGSQL [8]，提出了一個數(shù)據(jù)庫模式交互圖編碼模型，該模型使用數(shù)據(jù)庫模式的歷史信息來捕獲自然語言輸入歷史信息，并且在解碼階段引入門控機(jī)制。（4）IST-SQL [9]，受到對話狀態(tài)追蹤任務(wù)的啟發(fā)，定義了模式狀態(tài)和 SQL 狀態(tài)兩種交互狀態(tài)，并在每一輪中根據(jù)上一個預(yù)測的 SQL 查詢語句進(jìn)行狀態(tài)更新。（5）R2SQL [10]，提出了一個動態(tài)圖框架，針對對話流中的對話、數(shù)據(jù)庫模式之間的復(fù)雜交互進(jìn)行建模，通過一種動態(tài)記憶衰退機(jī)制豐富對話和數(shù)據(jù)庫模式的上下文表示。（6）PICARD [11]，提出一種增量式的語義解析，對語言模型的自回歸解碼模型進(jìn)行約束，在每個解碼步驟中，通過約束解碼結(jié)果的可接受性來尋找合法的輸出序列。（7）DELTA [12]，首先使用一個對話重寫模型解決對話上下文的完整性問題，然后將完整的對話輸入一個單輪 Text-to-SQL 語義解析模型，得到最終 SQL 查詢語句。（8）HIE-SQL [13]，從多模態(tài)的角度出發(fā)，將自然語言和 SQL 看作兩種模態(tài)，探索所有歷史對話和上一句預(yù)測的 SQL 查詢語句之間上下文依賴信息，提出了一個雙模態(tài)預(yù)訓(xùn)練模型并且設(shè)計了一個對話和 SQL 查詢語句之間的模式鏈接圖。

整體實驗結(jié)果  如圖 4 所示，從實驗結(jié)果可以看出，STAR 模型在 SParC 和 CoSQL 兩個數(shù)據(jù)集上的效果遠(yuǎn)勝于其他對比方法。在預(yù)訓(xùn)練模型對比方面，STAR 模型都遠(yuǎn)超于其他預(yù)訓(xùn)練模型（如 BERT，RoBERTa，GRAPPA，SCoRe），在 CoSQL dev 數(shù)據(jù)集上，對比 SCoRE 模型，QM 分?jǐn)?shù)提升 7.4%，IM 分?jǐn)?shù)提升 7.5%。在下游 Text-to-SQL 模型對比方面，以 STAR 為預(yù)訓(xùn)練模型底座的 LGESQL 模型，效果遠(yuǎn)勝于將其他預(yù)訓(xùn)練語言模型當(dāng)作底座的下游方法，例如目前效果最好的以 GRAPPA 為底座的 HIE-SQL 模型。

圖 4. 在 SParC 和 CoSQL 數(shù)據(jù)集上的實驗結(jié)果

消融實驗結(jié)果  本文還補(bǔ)充了完整的消融實驗來說明 STAR 模型中每個模塊的有效性。消融實驗結(jié)果如圖 5 所示，當(dāng)去掉 SST 或者 UDT 預(yù)訓(xùn)練目標(biāo)時，效果會大幅下降，而結(jié)合所有預(yù)訓(xùn)練目標(biāo)的實驗結(jié)果在所有數(shù)據(jù)集上都達(dá)到了最好的效果，這說明了 SST 和 UDT 的有效性。另外，該研究針對 UDT 中的兩種 SQL 相似度計算方法進(jìn)行了進(jìn)一步的實驗，從圖 6 可以看出，兩種 SQL 相似度計算方法都能提升 STAR 模型的效果，并且結(jié)合后的效果最佳。

圖 5. 針對預(yù)訓(xùn)練目標(biāo)的消融實驗結(jié)果。

圖 6. 針對 SQL 相似度計算方法的消融實驗結(jié)果。

不同難度樣本的模型效果  如圖 7 所示，從 SParC 和 CoSQL 兩個數(shù)據(jù)集上的不同難度樣本的實驗結(jié)果可以看出，STAR 模型針對各種難度樣本的預(yù)測效果都遠(yuǎn)勝于其他對比方法，即使是在難度最大的 extra hard 樣本中也效果顯著。

圖 7. 在 SParC 和 CoSQL 數(shù)據(jù)集上不同難度樣本的實驗結(jié)果。

不同輪次樣本的模型效果  如圖 8 所示，從 SParC 和 CoSQL 兩個數(shù)據(jù)集上的不同輪次樣本的實驗結(jié)果可以看出，隨著對話輪次的增加，基準(zhǔn)模型的 QM 指標(biāo)在急劇下降，而 STAR 模型即使在第三輪和第四輪也能表現(xiàn)出更穩(wěn)定的性能。這表明 STAR 模型可以更好地追蹤和探索對話歷史中的交互狀態(tài)，以幫助模型更好地解析當(dāng)前對話。

圖 8. 在 SParC 和 CoSQL 數(shù)據(jù)集上不同輪次樣本的實驗結(jié)果。

實例分析  為了評估 STAR 模型的實際效果，該研究從 CoSQL 驗證集中選擇了兩個樣本，并在圖 9 中對比了 SCoRe 模型和 STAR 模型生成的 SQL 查詢語句。從第一個例子我們可以看到 STAR 模型能夠很好地使用歷史 SQL 的模式狀態(tài)信息（例如，[car_names.Model]），從而正確生成了第三輪對話的 SQL 查詢語句，而 SCoRe 模型則無法跟蹤這種模式狀態(tài)信息。在第二個例子中，STAR 模型有效地跟蹤了第一輪和第四輪話語之間的長期對話依賴關(guān)系，并通過跟蹤和引用第二輪對話中的 “the number of” 信息，在第四輪 SQL 查詢語句中正確地生成了 SQL 關(guān)鍵字 [SELECT COUNT (*)]。然而，SCoRe 模型無法跟蹤這種長期依賴關(guān)系，并受到第三輪話語的干擾生成了錯誤的 SQL 查詢語句。

圖 9. 實例分析。

ModelScope 模型開源社區(qū)

本文在 CoSQL 數(shù)據(jù)集上訓(xùn)練得到的模型，目前已集成到 ModelScope 模型開源社區(qū)。讀者可以直接在 notebook 中選擇 V100 GPU 環(huán)境，通過一個簡單 pipeline 即可使用 demo 模型用于多輪 Text-to-SQL 語義解析任務(wù)。

總結(jié)

本文中，研究團(tuán)隊提出了一個新穎且有效的多輪表格知識預(yù)訓(xùn)練模型（STAR 模型）。針對多輪 Text-to-SQL 語義解析任務(wù)，STAR 模型提出基于模式狀態(tài)追蹤和基于對話依賴追蹤的表格預(yù)訓(xùn)練目標(biāo)，分別對多輪交互中的 SQL 查詢語句和自然語言問題的意圖進(jìn)行追蹤。STAR 模型在兩個權(quán)威多輪語義解析榜單很好的結(jié)果，連續(xù) 10 個月占據(jù)榜單第一名的成績。

最后，歡迎對中國科學(xué)院深圳先進(jìn)技術(shù)研究院SIAT-NLP組感興趣的同學(xué)申請博后/博士/碩士/實習(xí)等職位，簡歷請發(fā)至[email protected]。

參考文獻(xiàn)

[1] Tao Yu, Rui Zhang, Alex Polozov, Christopher Meek, Ahmed Hassan Awadallah. SCoRe: Pre-Training for Context Representation in Conversational Semantic Parsing. In NeurIPS, 2020.

[2] Tao Yu, Chien-Sheng Wu, Xi Victoria Lin, Bailin Wang, Yi Chern Tan, Xinyi Yang, Dragomir R.Radev, Richard Socher, and Caiming Xiong. Grappa: Grammar-augmented pre-training for table semantic parsing. In ICLR，2021.

[3] Peng Shi, Patrick Ng, Zhi guo Wang, Henghui Zhu, Alexander Hanbo Li, J. Wang, C. D. Santos, and Bing Xiang. Learning contextual representations for semantic parsing with generationaugmented pre-training. In AAAI，2021.

[4] Xiang Deng, Ahmed Hassan Awadallah, Christopher Meek, Oleksandr Polozov, Huan Sun, and Matthew Richardson. Structure-grounded pretraining for text-to-SQL. In NAACL，2021.

[5] Qian Liu, Bei Chen, Jiaqi Guo, Zeqi Lin, and JianGuang Lou. 2021a. TAPEX: table pre-trainin via learning a neural SQL executor. In arxiv，2021.

[6] Victor Zhong, Mike Lewis, Sida I. Wang, Luke Zettlemoyer. Grounded Adaptation for Zero-shot Executable Semantic Parsing. In EMNLP, 2020.

[7] Rui Zhang, Tao Yu, He Yang Er, Sungrok Shim, Eric Xue, Xi Victoria Lin, Tianze Shi, Caiming Xiong, Richard Socher, Dragomir Radev. Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions. In EMNLP, 2019.

[8] Cai, Yitao, and Xiaojun Wan. IGSQL: Database Schema Interaction Graph Based Neural Model for Context-Dependent Text-to-SQL Generation. In EMNLP, 2020.

[9] Runze Wang, Zhenhua Ling, Jingbo Zhou, Yu Hu. Tracking interaction states for multi-turn text-to-sql semantic parsing. In AAAI, 2021.

[10] Binyuan Hui, Ruiying Geng, Qiyu Ren, Binhua Li, Yongbin Li, Jian Sun, Fei Huang, Luo Si, Pengfei Zhu, Xiaodan Zhu. Dynamic hybrid relation exploration network for cross-domain context-dependent semantic parsing. In AAAI, 2021.

[11] Scholak, Torsten, Nathan Schucher, and Dzmitry Bahdanau. PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models. In EMNLP, 2021.

[12] Zhi Chen, Lu Chen, Hanqi Li, Ruisheng Cao, Da Ma, Mengyue Wu, Kai Yu. Decoupled Dialogue Modeling and Semantic Parsing for Multi-Turn Text-to-SQL. In ACL, 2021.

[13] Yanzhao Zheng, Haibin Wang, Baohua Dong, Xingjun Wang, Changshan Li. HIE-SQL: History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing. In ACL, 2022.