思科成功案例:思科通過Parasoft API測試統(tǒng)一了軟件開發(fā)和質(zhì)量保證
思科數(shù)據(jù)中心交換和安全技術(shù)小組(DSSTG)尋求使測試基礎(chǔ)架構(gòu)自動化并進一步提高軟件質(zhì)量的方法。鑒于其全球1000強客戶依賴高度安全的解決方案來支持其自身的復(fù)合應(yīng)用程序,DSSTG希望顯著提高其測試覆蓋率和生產(chǎn)率,而又不增加實現(xiàn)這些收益所需的時間和資源。
借助Parasoft API /云測試,DSSTG的軟件開發(fā)人員和質(zhì)量保證(QA)專家可以共同創(chuàng)建,使用和共享測試資產(chǎn),從而使測試覆蓋率提高了25%,測試用例生產(chǎn)率提高了50%。通過測試驅(qū)動的開發(fā),他們迅速交付了高價值的高質(zhì)量,關(guān)鍵任務(wù)產(chǎn)品。
挑戰(zhàn):加強開發(fā),擴大測試范圍
DSSTG幾乎沒有錯誤余地。客戶依靠DSSTG來快速有效地部署復(fù)合應(yīng)用程序??紤]到這些應(yīng)用程序和基礎(chǔ)結(jié)構(gòu)的敏感性,客戶的需求和期望值都很高。
為了滿足這些期望,DSSTG在軟件開發(fā)和質(zhì)量管理實踐方面也對自己設(shè)定了很高的期望。質(zhì)量保證總監(jiān)Konstantin Goldin解釋說:“ DSSTG產(chǎn)品供企業(yè)客戶使用,這取決于我們?nèi)旌?4x7全天候運行并保護它們免受后端攻擊?!?“因此,我們產(chǎn)品的高質(zhì)量是必然的?!?
DSSTG知道,軟件開發(fā)和質(zhì)量的提高來自于新思維,增強的方法和自動化的基礎(chǔ)結(jié)構(gòu),而不僅僅是將更多的人投入這些挑戰(zhàn)中。測試驅(qū)動的開發(fā)是一種前瞻性的軟件設(shè)計技術(shù),可將開發(fā)人員帶入質(zhì)量控制和保證領(lǐng)域。DSSTG決定要采用此技術(shù)并將其轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)做法。
“我們能夠用相同數(shù)量的資源和相同的時間分配來增加覆蓋范圍?!?/span>
測試驅(qū)動的開發(fā)首先涉及編寫測試用例,然后僅實現(xiàn)通過測試所需的代碼。通過快速反饋,該方法可確保在修復(fù)過程中成本最低的情況下盡早解決軟件缺陷。
DSSTG有一個本地集成測試框架,該框架接受Java語法的測試用例,并且該公司從軟件測試的角度明確了它的局限性。開發(fā)和質(zhì)量檢查團隊希望添加更多的測試用例并增加其測試范圍。但是現(xiàn)有工具不夠直觀,需要開發(fā)人員進行大量重復(fù)。
“不幸的是,您不得不不斷重復(fù)測試工作,” Goldin補充道。 “接受功能時,您需要進行一些手動測試。然后,您將使用Java編寫集成測試?!?
現(xiàn)有的工具還限制了QA人員的工作效率,因為他們不得不不斷地投入時間來增加Java知識,從而限制了他們編寫新測試用例或擴展與當(dāng)前測試實踐和期望相關(guān)的學(xué)習(xí)曲線的能力。
質(zhì)量檢查最關(guān)注的是增加其測試范圍,尤其是回歸測試。 “從質(zhì)量檢查的角度來看,這非常重要,”質(zhì)量檢查首席工程師Ramalakshmi Vijayakumar說。 “開發(fā)人員編寫測試用例來測試功能。然后,我們將更多測試用例添加到現(xiàn)有測試套件中,或者制作我們自己的測試用例。我們需要處理正面和負(fù)面的案例并進行測試。為了全面測試這些功能,需求是巨大的。”
行動:利用Parasoft改變開發(fā)和質(zhì)量實踐
DSSTG在該領(lǐng)域使用了Parasoft SOAtest數(shù)年,以向客戶展示其網(wǎng)關(guān)解決方案的價值和影響,最終決定開始利用同一平臺來轉(zhuǎn)變其軟件開發(fā)和質(zhì)量實踐。在過去的一年中,它一直在使用Parasoft SOAtest,并且最近對解決方案進行了自定義,使其成為大型測試框架的核心部分。
結(jié)果,Parasoft SOAtest的API測試不僅被質(zhì)量保證專家使用,而且軟件架構(gòu)師和開發(fā)人員也使用了API測試,這證明了Parasoft SOAtest跨越邊界并在多個層面上提供業(yè)務(wù)價值的強大功能。
結(jié)果:統(tǒng)一開發(fā)和質(zhì)量保證
Parasoft對DSSTG的軟件開發(fā)和質(zhì)量檢查操作產(chǎn)生了重大影響。它不僅將這兩個小組統(tǒng)一了,還簡化了他們的流程并將其績效提高到了新的水平。
例如,他們在開發(fā)人員中建立測試驅(qū)動的開發(fā)方法方面取得了重大進展。Goldin將這種方法描述為“非常簡單”。正如他所說:“開發(fā)人員定義了功能。然后,他們實施將適當(dāng)使用該功能的測試用例。他們確保測試通過,并且不退縮任何功能。
“當(dāng)開發(fā)人員完成工作時,他們已經(jīng)完全創(chuàng)建了功能,他們已經(jīng)開發(fā)了完整的集成測試,可以將其添加到集成測試框架中,并且可以完成。他們不必花時間編寫其他測試?!?
這導(dǎo)致了顯著的生產(chǎn)率和質(zhì)量提高。 “發(fā)現(xiàn)已經(jīng)實施的錯誤與在功能中查找錯誤相比,功能的成本要高得多?!彼a充說。
“有了Parasoft,我們就能用一塊石頭殺死兩只鳥,” Goldin說。 “您測試該功能。當(dāng)您對結(jié)果感到滿意時,您將立即生成一個回歸套件,并準(zhǔn)備好進行自動化。您無需再進行兩次測試。一口氣完成所有操作。那是一個巨大的優(yōu)勢?!?
但是,特別值得注意的是軟件開發(fā)和質(zhì)量檢查流程的統(tǒng)一。現(xiàn)在,由開發(fā)人員創(chuàng)建的測試將由質(zhì)量檢查重用。交付測試后,QA測試人員將對其進行擴展并創(chuàng)建其他測試,并將其添加到現(xiàn)有的回歸測試資產(chǎn)集中。
測試覆蓋率也有所提高。實際上,質(zhì)量檢查小組指出,測試覆蓋率提高了25%,尤其是在回歸測試方面。
Vijayakumar說:“我們能夠用相同數(shù)量的資源和相同的分配時間來增加覆蓋范圍?!?“我們的努力獲得了更多回報?!?
現(xiàn)在,質(zhì)量檢查團隊每天運行一次其整個回歸測試套件,以獲得合并結(jié)果。這些結(jié)果提供了基于所有測試的全面功能快照,使團隊可以準(zhǔn)確地知道什么在正確地工作,什么在不正確。通過對軟件質(zhì)量的全面了解,DSSTG能夠盡早發(fā)現(xiàn)回歸。 Goldin說:“回歸不會持續(xù)太久?!?“它們很早就得到解決,從而降低了成本并提高了生產(chǎn)率?!?
他進一步指出,質(zhì)量檢查團隊可以在新功能上花費更多的時間,而在舊功能上花費的時間更少。他說:“這是一個非常積極的周期?!?“將新功能引入產(chǎn)品后,您只需為新功能創(chuàng)建測試,并且測試創(chuàng)建是自動進行的,因此您確實有更多時間花在開發(fā)新功能上。而且,當(dāng)您發(fā)布該版本時,您只需要擔(dān)心當(dāng)前的功能集。減少了返工?!?
另一個好處是可以生成測試用例。開發(fā)人員和QA測試人員現(xiàn)在都可以輕松生成新的測試用例,以確定是否滿足軟件要求。滿足了數(shù)百個新案例到Parasoft SOAtest的軟件需求。在今年早些時候?qū)?shù)百個新案例移植到Parasoft SOAtest之后,質(zhì)量檢查小組估計相關(guān)生產(chǎn)率提高了50%。 Vijayakumar說:“問題不僅是制作新測試用例的時間,還在于制作新測試用例的難易程度?!?
現(xiàn)在,開發(fā)人員和質(zhì)量檢查測試人員更加緊密地合作,以確保軟件質(zhì)量保持極高的水平,并確保出廠的產(chǎn)品絕不包含回歸。
“以前,我們曾經(jīng)有一個集成測試套件,它是由開發(fā)人員驅(qū)動的,” Goldin說。 “現(xiàn)在,我們有兩個集成測試套件。一種是開發(fā)人員測試套件,用于捕獲立即回歸。另一個更為精細(xì)的是QA測試套件,它涵蓋了更多的回歸基礎(chǔ)-添加了更多的測試用例?!弊詈?,DSSTG團隊在測試安全性方面引用了Parasoft的優(yōu)勢。在一種情況下,它能夠隔離一項新功能中隱藏的錯誤,否則很難找到。實際上,不必將安全測試推遲到最后才將其視為僅審核的做法。
在DSSTG中,它已成為規(guī)范且影響深遠(yuǎn)的整體質(zhì)量流程的一部分。 “我們已經(jīng)使用Parasoft進行了廣泛的安全測試,” Goldin說。 “它幫助我們發(fā)現(xiàn)了潛在的安全漏洞?,F(xiàn)在,質(zhì)量檢查可以涵蓋從A到Z的安全性。”
最終,Parasoft的自動化測試基礎(chǔ)架構(gòu)對DSSTG產(chǎn)生了強大的影響。它具有統(tǒng)一的開發(fā)和質(zhì)量保險流程,可幫助團隊創(chuàng)建和重用測試資產(chǎn)。它提高了生產(chǎn)率。而且,它還增強了整體軟件質(zhì)量實踐,從而確保DSSTG仍然是為其高要求客戶提供有價值的解決方案的提供商。 “ Parasoft幫助我們增加了測試范圍,并增加了測試的粒度,” Goldin說。 “這有助于我們確保我們的客戶始終收到高質(zhì)量的產(chǎn)品。”