3.2.3 性能測試用例

這里主要考慮兩項重要的性能指標(biāo)的測試：吞吐量和時延。用到的測試工具即上面所提到的SmartBits測試儀。設(shè)計用例如下：(1)吞吐量：G.SHDSL接口卡上下行速率對稱，可以同時測試。包括1、2、4口接口卡的分別測試，對PVC值的選取可以遵循邊界取值法，再隨機取一個值測試。同時關(guān)注1、2、4口的吞吐量是否是倍數(shù)關(guān)系。(2)時延：此項測試是在吞吐量的范圍內(nèi)進(jìn)行的，選取吞吐量的20%、40%、60%、80%分別進(jìn)行測試[2]。測試的前提是無丟包，如果發(fā)現(xiàn)由于某些外界因素而造成的丟包需要重新測試,這樣才能保證測試數(shù)據(jù)的有效性。

3.2.4 異常測試用例

此部分是對G.SHDSL接口卡在壓力下的穩(wěn)定性測試，設(shè)計用例如下：(1)承載大流量的情況下長時間(72 h以上)反復(fù)配置/刪除配置操作，可以借助自動化腳本，隨時抽取檢測鏈路流量是否正常流通，且設(shè)備是否存在內(nèi)存泄漏等;(2)承載大流量的情況下長時間(72 h以上)對接口卡反復(fù)執(zhí)行激活/去激活，包括shutdown/undo shutdown和active/deactive操作;(3)長時間(72 h以上)超出吞吐量范圍打流，測試儀上設(shè)置多條不同流量(包括不同包長、不同協(xié)議流量、分片報文等)，觀察設(shè)備是否出現(xiàn)內(nèi)存泄漏、重啟[2]。

4 測試執(zhí)行及有效性分析

4.1 用例執(zhí)行

(1) 接口卡遍歷。對以上用例的執(zhí)行需要在1、2、4口接口卡上分別執(zhí)行，相對來說工作量較大，因此對于PVC值的選取或是PPPoE最大用戶的測量可以借助簡單的自動化腳本實現(xiàn)。但需要DSLAM端配合的用例則只能手動執(zhí)行。

(2) 測試參數(shù)選取。由于接口卡重啟需要大約30~40 s的時間，對執(zhí)行shutdown/undo shutdown和active/deactive操作時要考慮進(jìn)去。

(3) 注意事項。某些缺陷的暴露是在設(shè)備長期運行情況下產(chǎn)生的，因此對其性能及壓力穩(wěn)定性的測試需要長時間觀察。對設(shè)備接口可以交替變化使用，如GE、FE、5FE等，對上面的測試組網(wǎng)可以靈活變換。對每次測試的組網(wǎng)及條件需要明確，這對缺陷的分析及問題復(fù)現(xiàn)有很大幫助。

4.2 缺陷提交及測試有效性分析

(1) 缺陷發(fā)現(xiàn)的統(tǒng)計

根據(jù)測試過程中發(fā)現(xiàn)的缺陷按照提示、一般、嚴(yán)重和致命的級別提交的問題單統(tǒng)計如圖2所示。

圖2是軟件產(chǎn)品整個測試過程中問題單個數(shù)的統(tǒng)計值，因G.SHDSL是新研發(fā)出來的接口卡，所以出現(xiàn)的致命、嚴(yán)重問題單個數(shù)較多。圖3是軟件交付的問題統(tǒng)計。

這里按照缺陷的級別及數(shù)目可以計算出特性問題單的DI值：

DI值=問題單數(shù)目×每個問題單的權(quán)值

其中提示、一般、嚴(yán)重和致命問題的權(quán)值分別是0.1、1、4、10。由此可以計算出圖2中的DI值=564.1，圖3中的DI值=19.2。

由上面計算出的DI值可以看出，以上的測試方法對軟件產(chǎn)品質(zhì)量的改進(jìn)提供了一定的保障。

(2) 測試有效性分析

用例的設(shè)計遍歷到特性的功能、互操作性、性能、壓力、穩(wěn)定性的測試范圍，且實驗室模擬現(xiàn)網(wǎng)環(huán)境執(zhí)行用例。由Bug提交的DI值可以看出，以上用例的執(zhí)行覆蓋了大部分功能及場景，對開發(fā)人員修改代碼提供了依據(jù)，通過不斷修改代碼、反復(fù)測試的過程保證了產(chǎn)品的質(zhì)量。

本文提出了對多PVC的G.SHDSL接口卡測試的具體方法, 由實驗結(jié)果可以看出,這些用例的設(shè)計確實對G.SHDSL接口卡缺陷的發(fā)現(xiàn)提供了保障。當(dāng)然并不可能發(fā)現(xiàn)全部的問題，測試是一個很靈活的過程，需要測試人員不斷測試、分析等逐步地改進(jìn)測試方法，這是一個反復(fù)操作、不斷循環(huán)、逐步提高的過程，以達(dá)到產(chǎn)品質(zhì)量的提高。