Meni

Kako odabrati najbolji alat za ispitivanje automatizacije (cjelovit vodič)

how choose best automation testing tool

Isprobajte Naš Instrument Za Uklanjanje Problema

U ovom uputstvu pokrili smo kriterije za odabir alata za automatizaciju testa i kontrolni popis matricom za usporedbu alata za automatizaciju testa radi lakšeg snalaženja.

Vodič od A do Ž o odabiru najboljeg alata za automatizaciju za vaš projekt:

Ovo je 4thudžbenik u našoj seriji Vodič za automatizaciju ispitivanja. Molimo provjerite sve članke objavljene u ovoj seriji na ovoj stranici: => Vrhunski vodič za pokretanje automatskog testiranja na vašem projektu

Odabir alata za automatizaciju testiranja jedan je od najvažnijih koraka prije pokretanja automatizacije u bilo kojoj organizaciji.

Važno je jer će alat uvelike utjecati na cijeli vaš napor u automatizaciji. Ako je alat dobar i pruža vam potrebne značajke, automatizacija postaje lakša i učinkovitija.

Pri odabiru alata za automatizaciju treba uzeti u obzir mnogo kriterija. O nekima sam razgovarao u jednom od svojih prethodnih članaka. Ovdje sam naveo najvažnije aspekte koje treba uzeti u obzir prilikom odabira alata za automatizaciju ispitivanja.

Kontrolni popis kriterija za odabir alata za automatizaciju

Što ćete naučiti:

Je li automatizirano testiranje rješenje za vas?

U karijeri sam radio na mnogim projektima. Kada radite na istom projektu dulje od jedne godine, počinjete osjećati potrebu za automatizacijom nekih zadataka. Počinjete razmišljati da na projektu uvedete automatizaciju ako to do sada uprava projekta nije razmatrala.

Jedna godina je dovoljno vremena da bilo tko sazna detalje i detalje bilo kojeg projekta. Jednom znate detaljno funkcionalnost projekta, postaje lakše odlučiti koji se zadaci koji se ponavljaju trebaju automatizirati.

Neki testeri se također dosađuju radeći iste ponavljajuće zadatke iznova i iznova i oni počinju osjećati potrebu za automatizacijom ispitivanja.

Znači li to da biste trebali odmah uskočiti u testiranje automatizacije?

Definitivno ne!

Mnogo je kriterija na kojima morate poraditi prije nego što odlučite je li automatizacija rješenje za vas .

Automatizirano ispitivanje

Kada smisla ima automatizacija ispitivanja?

  • Kada postoje mnogi testovi koji se ponavljaju
  • Kada su česte iteracije regresijskog testiranja
  • Kad trebate simuliraju velik broj korisnika koji koriste resurse aplikacije
  • Kada AUT ima relativno stabilno korisničko sučelje
  • Kada imate velik skup BVT slučajeva
  • Kada se za kritičnu funkcionalnost ne možete osloniti samo na ručno izvršavanje testa

Daljnje čitanje:

Jednom kada shvatite da je pravo vrijeme da uložite svoje vrijeme i novac u dobar alat za automatizaciju, možete početi tražiti najbolji alat za automatizaciju koji odgovara vašim potrebama.

Kako odabrati alat za automatizaciju za svoj projekt?

Uspjeh automatiziranog testiranja uvelike ovisi o odabiru pravih alata za testiranje. Potrebno je puno vremena za procjenu relevantnih alata za automatizaciju dostupnih na tržištu. Ali ovo je jednokratna vježba koja će dugoročno koristiti vašem projektu.

Bilo je malo situacija u kojima sam dobio priliku pregledati i odabrati alat za automatizaciju svojih projekata. Zadatak je bio težak jer smo morali upravljati svojim potrebama za testiranjem i ograničenjima troškova, ali to je bilo vrijedno iskustvo.

Evo kriterija koje morate uzeti u obzir prije odabira bilo kojeg alata za testiranje:

Kriteriji ocjenjivanja alata za automatizaciju ispitivanja

1) Imate li potrebne stručne resurse koje ćete izdvojiti za zadatke automatizacije?

2) Koji je vaš proračun?

3) Zadovoljava li alat vaše potrebe za testiranjem? Je li prikladno za projektno okruženje i tehnologiju koju koristite? Podržava li sve alate i objekte koji se koriste u kodu? Ponekad možete zapeti za male testove zbog nemogućnosti alata za prepoznavanje objekata korištenih u aplikaciji.

Gore navedena tri čimbenika smatram najvažnijima za odabir bilo kojeg alata.

4) Pruža li vam alat besplatnu probnu verziju kako biste ga mogli procijeniti prije donošenja odluke? Također, ima li alat sve značajke dostupne u probnoj verziji?

5) Je li trenutna verzija alata stabilna? Je li dobavljačka tvrtka osnovana s dobrom korisničkom podrškom, kao i mrežnim resursima za pomoć i korisničkim priručnikom?

6) Kakva je krivulja učenja alata? Je li vrijeme učenja prihvatljivo za vaše ciljeve?

7) Želite li alat za automatizaciju samo za vaše potrebe projekta ili tražite zajednički alat za sve projekte u vašoj tvrtki? Bilo bi dobar izbor ako odaberete alat koji podržava većinu jezika kodiranja na vašim projektima.

softver za špijuniranje mobitela

8) Koje vrste testiranja podržava? Alat koji podržava maksimalne vrste ispitivanja (jedinica, funkcionalnost, regresija itd.) Uvijek je bolji izbor.Upozorenje- Nemojte se odlučiti za alat samo zato što podržava sve vrste ispitivanja. Također je važno da alat bude dovoljno moćan da automatizira vaše složene zahtjeve.

9) Podržava li alat jednostavno sučelje za stvaranje i održavanje testnih skripti? Alat za snimanje i reprodukciju s mogućnostima uređivanja snimljenih skripti mogao bi biti dobro rješenje.

10) Pruža li jednostavno sučelje, ali snažne značajke za izvršavanje složenih zadataka?

jedanaest) Koliko je jednostavno pružiti ulazne podatke za složene testove ili testove opterećenja? Alat koji podržava unos testnih podataka iz različitih podatkovnih datoteka, kao što su Excel, XML, tekstualna datoteka itd., Bio bi veliko olakšanje za automatizaciju testera.

12) Pruža li snažno izvještavanje s grafičkim sučeljem? Jasna i sažeta izvješća uvijek će vam pomoći da brzo zaključite rezultate testa.

13) Integrira li se dobro s drugim alatima za testiranje, poput planiranja projekata i alati za upravljanje testovima ?

Možda ćete htjeti razmotriti i druge kriterije poput:

14) Pravila povrata dobavljača alata

petnaest) Postojeće recenzije alata za kupce

16) Pruža li dobavljač početnu obuku?

Savjeti: Prikupljanje zahtjeva je daleko najvažniji korak za odabir pravog alata. Svakako kategorizirajte svoje zahtjeve u kategorijama must have, koje je lijepo imati i koje nisu potrebne. To će vam pomoći da brzo procijenite alat. Imajte na umu da na tržištu nećete naći alat koji će podržati sve vaše potrebe za automatizacijom!

Najbolji alati za automatizaciju :

HP QTP / UFT i selen dvije su trenutno najpopularnije mogućnosti funkcionalnog ispitivanja. QTP / UFT je najbolji alat za funkcionalno testiranje podržan na širokom rasponu kodirajućih jezika i platformi, dok je Selenium najbolji alat za funkcionalno web testiranje s otvorenim kodom.

Pročitajte ovaj članak za popis TOP alata:

Top 20 najboljih alata za testiranje automatizacije u 2020. godini (sveobuhvatan popis)

U sljedećem ćemo članku razgovarati izazovi ručnog i automatiziranog ispitivanja .

Kriteriji za odabir alata za automatizaciju i kontrolni popis

10 pitanja koja treba postaviti prije odabira najboljeg alata za ispitivanje automatizacije

Postavite sljedeća pitanja kad god ste u situaciji da odaberete alat za automatizaciju za svoju organizaciju:

Pitanje 1: Koji je proračun vaše organizacije za alat za automatizaciju?

To je, po mom mišljenju, najvažnije što treba uzeti u obzir prilikom odabira alata za automatizaciju.

Zašto tražiti QTP / UFT i istražite ga kad ne možete kupiti licencu? QTP alat košta oko 8000 USD (približno). Ako vaša organizacija može kupiti licencu, a vi ste potvrđeni, trebali biste preuzeti probno razdoblje i na njemu napraviti pivot projekt automatizacije kako biste testirali njegovu značajku. Inače, ne biste trebali trošiti vrijeme na istraživanje o tome. (Govorim o ovom scenariju ako želite koristiti QTP na aktivnom projektu tvrtke. Ako ga preuzimate samo u svrhu učenja, u redu je da preuzmete probu.)

Pitanje br. 2: Kolika je stvarna cijena alata?

Sljedeća je cijena alata za automatizaciju. Ne postoji samo cijena licence već i cijena dodataka (ako je potrebno), naknada za podršku, naknada za trening i naknada za nadogradnju.

Prvo razgovarajmo o licenci.

a) Vrste dozvola:

Postoje sljedeće vrste licenci.

1) Korisnička licenca zaključana čvorom.

Korisnička licenca zaključana čvorom podržavat će alat za automatizaciju ispitivanja koji se koristi na jednom fizičkom računalu u mreži vaše tvrtke. Istodobno možete pokretati samo jedan primjerak alata na licenciranom računalu. Ova je licenca obično vezana uz ime računala računala.

2) Istodobna plutajuća korisnička licenca

Plutajuću korisničku licencu mogu dijeliti različiti strojevi, ali istodobno je može koristiti samo jedan stroj. Nije vezan za ime stroja ili bilo što drugo, već koristi upravitelja licenci (instaliran na poslužitelju) za upravljanje istom licencom na različitim strojevima.

U osnovi, s licencom Node-Locked nemate slobodu instalirati alat na jedan stroj, deinstalirati ga i ponovo instalirati na bilo koji drugi stroj. Ali s plutajućom korisničkom licencom to možete učiniti.

3) Licenca vremena izvođenja

Gore spomenute dvije vrste licenci obično se kupuju za „razvoj“ skripti. Dakle, to su 'razvojne' licence. Da biste izvršavali skripte na različitim strojevima, morate imati licencu „izvršavanje“ ili „Runtime“ za svaki stroj.

Primjer:

Na primjer, ako ispitivač treba razviti i izvršiti test slučajeve na istom stroju, tada je dovoljna jedna razvojna licenca.

Ali ako treba razviti na jednom stroju i izvršiti test slučajeve na tri različita virtualna ili fizička stroja, mora kupiti jednu „razvojnu“ licencu i tri runtime licence.

Neki dobavljači nude besplatne runtime licence (poput kodiranog korisničkog sučelja), a neki nude cijenu (poput Test Complete, Ranorex itd.). Dakle, sve ovisi o dobavljaču.

4) Licenca otvorenog koda

Odluka je vaše tvrtke da se odlučite za komercijalni alat i platite trošak ili za alat otvorenog koda.

Komercijalni alati su skupi, ali nude izvrsnu podršku i jednostavni su za upotrebu s puno materijala za obuku. Komercijalni alati obično su 'jedan alat za sve potrebe'. Alati otvorenog koda su besplatni, ali ih je obično teže naučiti. Službena podrška je mala, ali rješenja možete pronaći posjetom različitih foruma. Rješenja otvorenog koda obično su za određene potrebe.

b) Naknada za podršku, nadogradnju i osposobljavanje:

Za podršku, obuku i naknadu za nadogradnju možda ćete trebati nazvati predstavnika tvrtke. Neke tvrtke nude posebne popuste na skupnu kupnju licenci, pa ponekad ti podaci nisu jasno navedeni na web stranicama. Informacije ćete dobiti samo putem poziva ili e-pošte.

Pitanje br. 3: Podržava li alat operativni sustav / preglednik ili uređaj u kojem se vaša aplikacija izvodi?

Ovo pitanje obično ovisi o vrsti aplikacije koju koristite.

intervju pitanja o testiranju web usluga

a) Ako se temelji na radnoj površini:

Ako radite na desktop aplikaciji, trebali biste to naznačiti na koliko operativnih sustava želite testirati tu aplikaciju. Radio sam na aplikaciji zasnovanoj na radnoj površini i želio sam je testirati na sustavima Windows 7 i Windows 8.1. Stoga sam izabrao Kodirano korisničko sučelje jer podržava oboje.

b) Ako se temelji na pregledniku

Ako radite na web aplikaciji, trebali biste to naznačiti na koliko preglednika želite testirati ovu aplikaciju. Htio sam izvršiti svoje test slučajeve na FireFoxu, Chromeu i IE. Odabrao sam selen za svoju web aplikaciju jer podržava sve ove preglednike. Obavezno provjerite podržava li alat koji odaberete staru i noviju verziju potrebnih preglednika.

c) Ako se temelji na mobilnom uređaju

Ako radite na mobilnim aplikacijama, trebali biste znati na kojim mobilnim operativnim sustavima morate pokrenuti svoje testove. Ako se vaša aplikacija izvodi na Androidu i IOS-u, vaš bi alat to trebao podržati. Selenium ima zasebne upravljačke programe za pokretanje skripti na Androidu, IOS-u, Windows Phoneu i BlackBerryju. Također možete koristiti zasebni alat za svaki od mobilnih OS-a. Tu su Robotium za Android, Appium za IOS i Android te CodedUI za Windows telefonske aplikacije.

Opet, ovo dolazi do rasprave o otvorenom izvoru vs komercijalnom. Kao što vidite, postoje zasebni otvoreni kod alati za testiranje putem weba , na mobilnoj bazi i desktop aplikacija. Ali ako se odlučite za komercijalni alat kao što je Test Complete, Ranorex ili Test Studio, mogu testirati sve tri vrste (aplikacije za mobilne uređaje, radne površine i preglednike). Dakle, u slučaju komercijalnog alata, morate naučiti samo jedan alat za testiranje web, stolnih i mobilnih aplikacija.

Pitanje # 4: Podržava li alat tehnologije i kontrole nezavisnih proizvođača koje se koriste u vašoj aplikaciji?

Ovo je vrlo važan aspekt prilikom odabira alata. Trebali biste iz prve ruke znati koje se tehnologije koriste u vašoj aplikaciji. Posavjetujte se sa svojim programerima i zapišite ih. Ako u web aplikacijama koriste HTML 5 ili SilverLight, pripazite, nema puno alata za automatizaciju koji ih podržavaju. Ako alat tvrdi da podržava ove tehnologije, preuzmite probnu verziju tog alata i pokušajte identificirati različite objekte u svojoj aplikaciji. Ako ih alat ne uspije identificirati, njihova je tvrdnja lažna. Ta će vas aktivnost spasiti od kasnije bijede.

Matrica za usporedbu alata za automatizaciju ispitivanja:

Sljedeća tablica uspoređuje različite alate s obzirom na njihovu cijenu licenciranja i njihovu podršku različitim tehnologijama. (Ovu biste tablicu trebali uzeti kao praksu učenja kako stvarati usporedbe između različitih alata, ali točnost danih podataka nije 100%)

(Kliknite na sliku za uvećan prikaz)

Troškovi alata za automatizaciju

Y = podržano, N = nije podržano, U = nepoznato

Pitanje br. 5: Koliko jezika alat podržava? Imate li vješte resurse za ove jezike?

Učenje alata jedan je aspekt. Učenje jezika je drugi aspekt. Ako imate resurse koji imaju stručnost u Javi, a vaš alat ne podržava Javu, vrijeme za učenje novog jezika dodat će se vašem automatizacijskom naporu.

Sljedeći je aspekt da ako je vaš proizvod izgrađen na Javi, morate imati tim programera koji su stručnjaci za Javu. Ovi programeri također mogu pomoći timu za automatizaciju u pogledu problema vezanih uz jezik. Odabir alata koji nudi jezik koji je upoznat s vašim resursima je važan i pomoći će vam da umanjite krivulju učenja za svoje resurse.

The Selen WebDriver nudi pisanje skripti na više jezika kao što su C #, Java, Python, Ruby i JavaScript. TestComplete također nudi skriptu za pisanje na više skriptnih jezika kao što su VBScript, JScript, DelphiScript, C ++ Script i C # Script.

Pitanje br. 6: Podržava li alat povezivanje s različitim izvorima podataka?

Ako koristimo automatizacijski okvir poput ključnih riječi ili podataka, moramo imati mogućnost povezivanja našeg alata s bilo kojim izvorom podataka. Ako alat lako omogućuje povezivanje s različitim izvorima podataka, to će biti vrlo korisno.

Pogledajte podršku za uobičajene izvore podataka kao što su CSV datoteka, Excel datoteka, XML datoteka i Baza podataka. Ako su oni prisutni u alatu, dobro je krenuti.

Pitanje br. 7: Kakav je mehanizam izvještavanja alata za automatizaciju?

Kada izvršimo skriptu, ona će ili proći ili ne uspjeti. U slučaju prolaska, nije potrebno puno podataka, osim podataka o trajanju i okolišu. Ali u slučaju neuspjeha, trebamo sveobuhvatno izvješće o kvaru. Izvještaj bi nam trebao reći da točno na kojem koraku skripta ne uspije. Snimka trenutka neuspjeha bit će dodatna prednost.

Također, ovo bi se izvješće trebalo izvesti u različite formate kako bismo ga mogli podijeliti s dionicima. U mnoge su alate ove mogućnosti ugrađene, a u neke alate postoje načini kako vaše izvješće učiniti sveobuhvatnim. Ovo je još jedna stvar na koju morate paziti kada preuzmete probnu verziju alata. Ako daje opsežna izvješća o kvarovima, najbolje je za organizaciju.

Pitanje br. 8: Može li se alat integrirati s spremištima za test slučajeve i upravljanje programskim pogreškama?

Postoji velika vjerojatnost da vaša organizacija već koristi bilo koji testni slučaj ili alat za upravljanje bugovima . Tvrtke očito žele da njihov automatizirani alat bude integriran sa njihovim postojećim alatom za upravljanje testnim slučajevima, tako da se cjelokupnim životnim ciklusom njihovih aplikacija pravilno upravlja. Ovaj aspekt treba vidjeti i prilikom odabira alata za automatizaciju ispitivanja.

QTP podržava QLM, Kodirano korisničko sučelje podržava TFS i TestComplete podržava QAComplete. Neki alati otvorenog koda također imaju podršku za integraciju s postojećim alatima za upravljanje testom otvorenog koda. Sve ovisi o tome što vaša organizacija zapravo koristi.

Pitanje br. 9: Kako je službena tehnička podrška za alat?

Ovdje govorimo samo o komercijalnim alatima. Kada odaberete komercijalni alat, aspekt njihove podrške vrlo je važan. Pogledajte materijal za obuku na web mjestu. Sadrži li web mjesto videozapise i vodiče? Ima li web stranica službeni forum za postavljanje pitanja? Preuzmite probno razdoblje i snimite pitanje na njihovom forumu i pogledajte koliko će dana dobiti odgovor. Pružaju li podršku za poziv?

Gornja pitanja zaista treba postaviti svaki put jer na alat trošite dobru svotu novca. Ako alat nema dobru potporu, nemojte se truditi kupiti ga.

Pitanje br. 10: Neki tehnički aspekti koje treba vidjeti

Postoje i neki drugi tehnički aspekti, kao što su:

a) Podrška za snimanje i reprodukciju

Nije preporučeni pristup u automatizaciji ispitivanja, ali dobro je imati alat. Pojednostavljuje proces učenja alata i pomaže jednostavnim scenarijima da se lako automatiziraju.

b) Različite metode prepoznavanja objekata i podrška za mapiranje objekata

Trebalo bi raznoliko odabrati isti objekt različitim metodama. Neke je predmete teško prepoznati. Stoga su razne metode odabira uvijek korisne.Na primjer, selen podržava odabir objekata prema id, ime, klasa, test veze, XPATH , CSS selektor i JavaScript. Evo vodiča o - kako QTP jedinstveno identificira objekte . Ako jedna metoda odabira ne funkcionira, imamo na raspolaganju niz drugih metoda koje su uvijek korisne.

pitanja i odgovori za internetske usluge za odmor

Slično tome, trebala bi postojati opcija za pravilno mapiranje tih objekata u spremištu objekata. Ovo spremište trebalo bi biti lako ažurirati i njime se može upravljati. Samo da vas podsjetim da Selenium nema ugrađenu podršku za mapiranje objekata.

c) Različite kontrolne točke ili podrška za tvrdnje.

Test slučaj je prošao ili nije uspio na temelju kontrolnih točaka ili tvrdnji. Ako alat ima razne metode za provjeru vaših očekivanih rezultata, to je korisno. QTP ima razne kontrolne točke kao što su Standard , Bitmapa , Stol , XML, Baza podataka i točke provjere sadržaja datoteke.

d) Rukovanje scenarijima oporavka.

Ako test slučaj ne uspije i želite nastaviti s izvršavanjem, podržava li alat tako lako? Ako je scenarijima oporavka lako upravljati u alatu, omogućit će vam izvršavanje testnih slučajeva bez ikakvih kvarova. Testne slučajeve možete izvoditi noću, a ujutro dobivate rezultate koji navode koji testni slučajevi nisu uspjeli i koji su testni slučajevi položeni. To će se dogoditi samo ako alat lako može upravljati oporavkom iz neuspjelih testnih slučajeva. Inače će se potrošiti dobar napor u automatizaciji prilikom rukovanja scenarijima oporavka. Vidjeti upravljanje scenarijima oporavka u QTP-u .

Zaključak

Uvijek imajte na umu da nijedan alat nije dobar ili loš alat. Sve ovisi o vašim zahtjevima i prirodi proizvoda.

Selen je možda najpopularniji alat za automatizaciju, ali ako je vaš proizvod zasnovan na radnoj površini, ovaj alat za vas nema koristi. Prvo razumite svoj proizvod, a zatim potražite odgovarajući alat koji odgovara vašim zahtjevima koristeći se smjernicama spomenutim u ovom vodiču.

Ispravan odabir alata za automatizaciju igra vitalnu ulogu u uspješnoj automatizaciji.

Sljedeći vodič - Sljedeći vodič u ovoj seriji govori o 'Okvirima za razvoj skripti i automatizaciju s primjerima'. Opet, provjeri svi vodiči u ovoj seriji na ovoj stranici .

Slobodno objavite svoje upite / komentare u nastavku o odabiru pravog alata za automatizaciju.

PREV Tutorial # 3 | DALJE Vodič br. 5

Preporučena literatura

^