性能測(cè)試工具的選擇與評(píng)估
在性能工具原理與架構(gòu)一章中，我們了解到性能測(cè)試工具的原理通常是：通過錄制、回放腳本，模擬多用戶同時(shí)訪問被測(cè)試系統(tǒng)，模擬產(chǎn)生負(fù)載壓力，監(jiān)控并記錄各種性能指標(biāo)，生成性能分析結(jié)果和報(bào)告，從而完性能測(cè)試的基本任務(wù)。
對(duì)需要進(jìn)行性能測(cè)試的組織來說，決定使用哪種性能測(cè)試工具也不是一個(gè)簡單的問題。我們有需要對(duì)性能需求進(jìn)行分析，購買成本，人員學(xué)習(xí)使用成本進(jìn)行綜合考慮，從而確定最適合的本次性能測(cè)試的工具。
注：這里所提到的性能測(cè)試工具為狹義上的性能測(cè)試工具，特指包含腳本生成、負(fù)載生成與測(cè)試數(shù)據(jù)搜集的性能測(cè)試工具，從廣義上來講，在性能測(cè)試過程中所用到一切工具，都可以稱為性能測(cè)試工具，其中包括，軟件協(xié)議分析工具，測(cè)試數(shù)據(jù)生成工具，測(cè)試監(jiān)控工具等都屬于性能測(cè)試工具范疇。
我簡單的軟件性能測(cè)試工具分為三類，商業(yè)收費(fèi)工具、開源免費(fèi)工具、自主開發(fā)工具。下面是這三類工具的比較：
通過上面的比較分析，很難判別對(duì)某類工具的取舍，各自有其明顯的優(yōu)勢(shì)，當(dāng)然也有明顯的缺點(diǎn)，如何更好選擇工具，這里就要結(jié)合實(shí)際性能的需求了。
性能需求：
首先要考慮的是否滿足性能需求，例如系統(tǒng)的協(xié)議不支持，無法創(chuàng)建腳本，系統(tǒng)的模擬用戶數(shù)達(dá)不到，或都某此特殊功能無法測(cè)試，如流媒體性能測(cè)試等。一些有性能工具是無法滿足這些需求的，那當(dāng)然要首先排除。
購買成本：
對(duì)于商業(yè)工具的購買成本也是我們需要考慮的問題，其實(shí)，這個(gè)問題也是老板需要考慮的問題，對(duì)性能測(cè)試成本的整體預(yù)算等。當(dāng)然了，在滿足性能需求的前提下，當(dāng)然一切從簡。如果只需要某商業(yè)軟件的部分功能，也可以只購買部分功能。有的是根據(jù)支持協(xié)議的多少、并發(fā)用戶上限來區(qū)分，如loadrunner 。
這里要多扯一點(diǎn)，loadrunner應(yīng)該是性能測(cè)試領(lǐng)域的巨無霸，它的年服務(wù)費(fèi)多百萬，這不是一般的小公司能承受的，可能許多網(wǎng)友用破解習(xí)慣了不以為然。而且loadrunner是可以定制的，一般商業(yè)軟件都是可以定制的，也就是說，你有特定的需求，只要你愿意花錢，提供商都可以幫你定制開發(fā)。這樣算下來成本會(huì)很高。
那么開源軟件呢？ 開源的性能測(cè)試工具其實(shí)非常的多，因?yàn)樗鼈兌挤謩e適合在不同的需求場(chǎng)景下，所以，它們的體積相比商業(yè)軟件會(huì)小很大，當(dāng)然功能也相對(duì)簡陋。但是他們?cè)谀承┣闆r下可以完全滿足某些性能需求，或者可以通過幾款開源工具配合滿足，或者通過對(duì)開源工具進(jìn)行擴(kuò)展進(jìn)行滿足。對(duì)開源工具進(jìn)行擴(kuò)展，對(duì)測(cè)試人員的要求較高。需要測(cè)試人員對(duì)工具的原理及源代碼有相當(dāng)有研究。這里對(duì)測(cè)試人員自動(dòng)能力的提升非常有幫助。
或者你的性能測(cè)試項(xiàng)目特殊，找遍市面上的所有性能工具無一款滿意，商業(yè)定制成本過高?；蛘吣阆霕?gòu)建自己有工具體系。處于公司需求的特殊性與長期性考慮，可以自主開發(fā)一個(gè)性能測(cè)試工具來用。一次開發(fā)，永久收益（當(dāng)然也需要維護(hù)與升級(jí)、擴(kuò)展等），而且更貼近自已的需求。目前很多知明的大公司都有自己的性能測(cè)試工具，用于內(nèi)部使用。
人員學(xué)習(xí)成本：
最后要提到的就是人員對(duì)工具的學(xué)習(xí)成本，其實(shí)，測(cè)試人員在選擇性能測(cè)試工具時(shí)最先考慮的就是從自己會(huì)使用的工具入手，這樣可以最低的控制學(xué)習(xí)成生，如果整一個(gè)工具，測(cè)試人員單學(xué)測(cè)試腳本就學(xué)了半年，老板早讓你走人了。這也是對(duì)性能測(cè)試人員要求較高的地方。所以，對(duì)于性能測(cè)試人員，你最好熟悉一款流程的商業(yè)性能工具，一款開源免費(fèi)性能具，還需要熟悉常見的性能腳本開發(fā)語言等，這是基本要求。
性能測(cè)試工具介紹
商業(yè)工具 ：
QA Load：Compuware公司的QALoad是客戶/服務(wù)器系統(tǒng)、企業(yè)資源配置（ERP）和電子商務(wù)應(yīng)用的自動(dòng)化負(fù)載測(cè)試工具。QALoad是QACenter性能版的一部分，它通過可重復(fù)的、真實(shí)的測(cè)試能夠徹底地度量應(yīng)用的可擴(kuò)展性和性能。QACenter匯集完整的跨企業(yè)的自動(dòng)測(cè)試產(chǎn)品，專為提高軟件質(zhì)量而設(shè)計(jì)。QACenter可以在整個(gè)開發(fā)生命周期、跨越多種平臺(tái)、自動(dòng)執(zhí)行測(cè)試任務(wù)。
SilkPerformer：一種在工業(yè)領(lǐng)域最高級(jí)的企業(yè)級(jí)負(fù)載測(cè)試工具。它可以模仿成千上萬的用戶在多協(xié)議和多計(jì)算的環(huán)境下工作。不管企業(yè)電子商務(wù)應(yīng)用的規(guī)模大小及其復(fù)雜性，通過SilkPerformer，均可以在部署前預(yù)測(cè)它的性能?？梢暤挠脩艋缑妗?shí)時(shí)的性能監(jiān)控和強(qiáng)大的管理報(bào)告可以幫助我們迅速的解決問題，例如加快產(chǎn)品投入市場(chǎng)的時(shí)間，通過最小的測(cè)試周期保證系統(tǒng)的可靠性，優(yōu)化性能和確保應(yīng)用的可擴(kuò)充性。
LoadRunner：一種較高規(guī)模適應(yīng)性的，自動(dòng)負(fù)載測(cè)試工具，它能預(yù)測(cè)系統(tǒng)行為，優(yōu)化性能。LoadRunner強(qiáng)調(diào)的是整個(gè)企業(yè)的系統(tǒng)，它通過模擬實(shí)際用戶的操作行為和實(shí)行實(shí)時(shí)性能監(jiān)測(cè)，來幫助您更快的確認(rèn)和查找問題。此外，LoadRunner 能支持最寬范的協(xié)議和技術(shù)，為您的特殊環(huán)境，量身定做地提供解決方案。
WebRunner：是RadView公司推出的一個(gè)性能測(cè)試和分析工具，它讓web應(yīng)用程序開發(fā)者自動(dòng)執(zhí)行壓力測(cè)試；webload通過模擬真實(shí)用戶的操作，生成壓力負(fù)載來測(cè)試web的性能，用戶創(chuàng)建的是基于javascript的測(cè)試腳本，稱為議程agenda，用它來模擬客戶的行為，通過執(zhí)行該腳本來衡量web應(yīng)用程序在真實(shí)環(huán)境下的性能。
IBM Rational Performance Tester（簡稱 RPT）也是一款性能測(cè)試工具，適用于基于 Web 的應(yīng)用程序的性能和可靠性測(cè)試。Rational Performance Tester 將易用性與深入分析功能相結(jié)合，從而簡化了測(cè)試創(chuàng)建、負(fù)載生成和數(shù)據(jù)收集，以幫助確保應(yīng)用程序具有支持?jǐn)?shù)以千計(jì)并發(fā)用戶并穩(wěn)定運(yùn)行的性能。
開源或免費(fèi)工具：
Apache JMeter是Apache組織開發(fā)的基于Java的壓力測(cè)試工具。用于對(duì)軟件做壓力測(cè)試，它最初被設(shè)計(jì)用于Web應(yīng)用測(cè)試但后來擴(kuò)展到其他測(cè)試領(lǐng)域。 它可以用于測(cè)試靜態(tài)和動(dòng)態(tài)資源例如靜態(tài)文件、Java 小服務(wù)程序、CGI 腳本、Java 對(duì)象、數(shù)據(jù)庫， FTP 服務(wù)器, 等等。JMeter 可以用于對(duì)服務(wù)器、網(wǎng)絡(luò)或?qū)ο竽M巨大的負(fù)載，來在不同壓力類別下測(cè)試它們的強(qiáng)度和分析整體性能。
AutoBench 是一款基于httperf的Perl腳本。它會(huì)在一次測(cè)試中調(diào)用多次httperf來對(duì)web服務(wù)器進(jìn)行測(cè)試，每次會(huì)按照給定的參數(shù)增加并發(fā)連接數(shù)，將 httperf的測(cè)試結(jié)果保存為CSV格式的文件，該文件可以被Excel直接讀取，方便生成測(cè)試報(bào)告。借助于autobench自帶的 bench2graph工具可以生成漂亮的測(cè)試結(jié)果對(duì)比圖。
ApacheBench 工具程式(ab)是 Apache 網(wǎng)站伺服器軟體的一個(gè)附帶的工具軟體，專門用來執(zhí)行網(wǎng)站伺服器的運(yùn)行效能，特別是針對(duì) Apache 網(wǎng)站伺服器 的效能分析。這支程式原本是用來檢測(cè) Apache 網(wǎng)站伺服器(Web Server) 所能夠提供的效能，特別是可以看出 Apache 網(wǎng)站伺服器能提供每秒能送出多少網(wǎng)頁，當(dāng)然的，也可以用在任何其他的網(wǎng)站伺服器 Apache ab的全稱是ApacheBench，是 Apache 附帶的一個(gè)小工具，專門用于 HTTP Server 的benchmark testing，可以同時(shí)模擬多個(gè)并發(fā)請(qǐng)求。
curl-loader（也被稱為“omes-NIK”和“davilka”）是一個(gè)開源的C語言編寫的工具，模擬應(yīng)用負(fù)載和成千上萬的幾十萬人的HTTP / HTTPS和FTP/ FTPS的客戶端應(yīng)用程序的行為，每個(gè)有其自己的源IP地址。相反，其他curl-loader使用真正的C編寫的客戶端協(xié)議棧，即libcurl和TLS/ openssl的SSL的HTTP和FTP協(xié)議棧，支持登錄和驗(yàn)證口味和模擬用戶行為的工具。
Iago 是一個(gè)網(wǎng)站負(fù)載測(cè)試工具，Iago 針對(duì)一個(gè)給定的網(wǎng)站進(jìn)行訪問錄制并合成流量數(shù)據(jù)。它不同于其他的負(fù)載生成工具，它試圖保持恒定的請(qǐng)求率。例如如果你想按每分鐘100K來請(qǐng)求您的服務(wù)，Iago 會(huì)試圖保持這個(gè)速度進(jìn)行測(cè)試。
Pylot 是一款開源的用以測(cè)試 Web Service性能和擴(kuò)展性的工具，它運(yùn)行HTTP負(fù)載測(cè)試，這對(duì)于制定容量計(jì)劃、確定基準(zhǔn)點(diǎn)、分析系統(tǒng)瓶頸以及系統(tǒng)調(diào)優(yōu)都非常有用。在使用過程 中，Pylot會(huì)發(fā)起并發(fā)請(qǐng)求（HTTP Requests），檢驗(yàn)服務(wù)器響應(yīng)，以及帶有相關(guān)指標(biāo)的報(bào)表。它通過GUI或者Shell/Console來執(zhí)行和監(jiān)視對(duì)被測(cè)試網(wǎng)站的測(cè)試過程。
聯(lián)系客服
