GitHub 的 AI 編程工具漏洞高達 40% ，再次陷入爭議……

發(fā)布人：AI科技大本營時間：2021-09-19 來源：工程師

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

在近日發(fā)表的一篇論文中，研究人員對 GitHub Copilot 人工智能編程輔助工具進行了深入調(diào)查。結(jié)果發(fā)現(xiàn)，仍處于測試預(yù)覽階段的 Copilot 具有高達 40% 的錯誤代碼率，意味著開發(fā)者必須在使用時對其保持清醒的認知。此外在多場景測試項目中，約 40% 都被發(fā)現(xiàn)包含了安全漏洞。

AI 編程神器 GitHub Copilot

此前，GitHub 和 OpenAI 推出一種新人工智能自動編程工具 Copilot ，能自動生成代碼，供開發(fā)者參考使用。

官方宣傳語為“你的 AI 結(jié)對編程助手”。

什么是結(jié)對編程呢？

結(jié)對編程（英語：Pair programming）是一種敏捷軟件開發(fā)的方法，兩個程序員在一個計算機上共同工作。一個人輸入代碼，而另一個人審查他輸入的每一行代碼。輸入代碼的人稱作駕駛員，審查代碼的人稱作觀察員（或?qū)Ш絾T）。兩個程序員經(jīng)常互換角色。

在結(jié)對編程中，觀察員同時考慮工作的戰(zhàn)略性方向，提出改進的意見，或?qū)砜赡艹霈F(xiàn)的問題以便處理。這樣使得駕駛者可以集中全部注意力在完成當前任務(wù)的“戰(zhàn)術(shù)”方面。觀察員當作安全網(wǎng)和指南。結(jié)對編程對開發(fā)程序有很多好處。比如增加紀律性，寫出更好的代碼等。

那么AI結(jié)對編程就是人機結(jié)對編程的升級版，具體來說 GitHub Copilot 由 OpenAI Codex 提供支持，可以從開發(fā)者已經(jīng)編寫的代碼和注釋中提取上下文，試圖理解開發(fā)者意圖，生成需要添加的一行、多行代碼或整個函數(shù)，當程序員接受或拒絕建議時，模型就會學習越來越適應(yīng)和匹配開發(fā)者的編程風格。

這使得程序員無需在寫代碼時去查閱大量文檔或搜索相關(guān)示例，更加聚焦于開發(fā)工作本身。

正如 OpenAI 員工 Harri Edwards 所言：“用一種不熟悉的語言編寫代碼，用谷歌搜索所有東西，就像用一本短語手冊去瀏覽一個外國國家。而使用 GitHub Copilot ，好比雇傭一名翻譯?！?/p>

GitHub 首席執(zhí)行官在 6 月 29 日的一篇博客文章中稱：

OpenAI Codex 對人們?nèi)绾问褂么a有著廣泛的了解，且在代碼生成方面較 GPT-3 強大得多，部分原因是其在包含大量公共源碼的數(shù)據(jù)集上展開了訓練。

GitHub Copilot 適用于多種語言框架，但現(xiàn)階段的技術(shù)預(yù)覽版本更側(cè)重于 Python、JavaScript、TypeScript、Ruby 和 Go 語言。

然而 Copilot 很快引發(fā)了多方爭議，尤其涉及代碼質(zhì)量、法律與道德考量、替換人類開發(fā)者的可能性、以及引入安全漏洞的可能性。

GitHub Copilot 的代碼質(zhì)量如何呢？

近日，康奈爾大學的研究人員公布了一項數(shù)據(jù)，為了對 Copilot 的實際價值做出量化，他們?yōu)?GitHubCopilot 生成了 89 個不同的場景，生成了 1692 個程序。其中，大約 40% 的程序存在安全漏洞。

具體說來是，這項研究從三個維度展開了考量，分別是缺陷的多樣性、prompt 的多樣性、以及領(lǐng)域的多樣性。

總體而言，頭部 39.33% 和總體 40.48% 的項目易受攻擊。從安全角度來看，Copilot 在測試場景中的表現(xiàn)也有好有壞。

對于新手來說，Copilot 借鑒的高質(zhì)量代碼還是相當值得推薦的。但若開源存儲庫中的某些錯誤相當明顯，Copilot 也會更加頻繁地重現(xiàn)。

研究人員表示，由于 Copilot 是利用 GitHub 上提供的開源代碼進行訓練的，因此可以推斷，代碼安全質(zhì)量取決于 GitHub 社區(qū)的開源代碼質(zhì)量。

在 GitHub Copilot 推出后，有關(guān)于它的負面消息這并不是第一次。

就在其發(fā)布不到一周的時間里，GitHub Copilot 就被推上了侵權(quán)的風口浪尖，引發(fā)了前所未有的爭議。

原因是有位程序員嘗試了一下平方根倒數(shù)速算法（Fast Inverse Square Root），結(jié)果只是打出來這四個關(guān)鍵詞。

floatQ_rsqrt( float number )
{
long i;
float x2, y;
constfloat threehalfs = 1.5F;
    x2 = number * 0.5F;
    y  = number;
    i  = * ( long * ) &y;                       // evil floating point bit level hacking
    i  = 0x5f3759df - ( i >> 1 );               // what the fuck? 
    y  = * ( float * ) &i;
    y  = y * ( threehalfs - ( x2 * y * y ) );   // 1st iteration
//    y  = y * ( threehalfs - ( x2 * y * y ) );   // 2nd iteration, this can be removed
return y;
}

GitHub Copilot 就逐行“完美復(fù)刻”了當年那段神奇的算法，甚至連當時的原版注釋都被保留下來。