multivariate testing
Uvod:
moja sql intervju pitanja i odgovori pdf
Mnogo je web stranica i aplikacija koje često koristimo. Iako ih koristimo, vjerojatno ne obraćamo puno pozornosti na to kako je web stranica postala njegova trenutna verzija - s druge strane, ako se nešto ne čini u redu, vjerojatno više nikada nećemo posjetiti web mjesto / aplikaciju.
Pitanje je - što je potrebno da se 'to' ispravno ispravi?
Što ćete naučiti:
- Multivarijantno ispitivanje i A / B testiranje
- Što je viševarijantno ispitivanje?
- Vrste MVT ispitivanja:
- Kako se vrši viševarijantno testiranje
- Pogreške koje treba izbjegavati
- Što se smije i ne smije
- Za i protiv
- A / B ispitivanje
- Prednosti i nedostaci A / B testova:
- A / B testiranje nasuprot multivarijantnog testiranja naspram split testiranja
- Multivarijantno ispitivanje
- A / B / Split / Alati za višestruko ispitivanje
- Preporučena literatura
Multivarijantno ispitivanje i A / B testiranje
'To' je najčešće funkcionalnost - koju imamo solidne QA procese za testiranje i procjenu. Ali i 'ono' sastoji se od dizajna, kombinacije elemenata, postavljanja sadržaja na stranicu, ponekad čak i boje, orijentacije itd. koji igraju istaknutu ulogu u sveukupno prihvaćanje proizvoda od strane krajnjeg korisnika.
Područje ispitivanja koje može u velikoj mjeri pomoći u ovom području je Multivarijantno ispitivanje i A / B testiranje .
U današnjem ćemo članku razgovarati Multivarijantno (MVT) ispitivanje i A / B testiranje vrste u detalje.
Obje su usmjerene na optimizaciju web stranica i poboljšanje stope konverzije (stope kojom posjetitelji postaju kupci ili posjetitelji koji se vraćaju - zauzvrat, posao) za web stranicu.
Što je viševarijantno ispitivanje?
Počnimo s Primjer .
Ako određeno web mjesto radi na dizajniranju / redizajniranju / određivanju učinkovitosti stranice koja bi trebala imati sliku i odgovarajući tekst - Nakon pažljivog razmatranja i razmatranja ako tvrtka uđe u uži izbor za sljedeće dvije slike i dvije rečenice - moguće kombinacije istih biti sljedeći:
1) Slika 1
2) Slika 2
3) Naslov / rečenica 1: 'Cilj mora biti nula nesreća'
4) Naslov / rečenica 2: “Naš CILJ: NEMA NESREĆE”
Kombinacije:
U gornjem primjeru testirali smo varijacije kombinacija polja kako bismo vidjeli koje se dobro uklapa. Jednostavno rečeno, upravo tu postoji Multivariate testiranje.
Tehnički i konkretnije, donja formula koristi se za određivanje br. mogućih kombinacija koje su potrebne za testiranje različitih kombinacija, a to je:
[# Varijacije na elementu A] X [# Varijacije na elementu B] ... .. = [Ukupno # varijacije]
U gornjem primjeru postoje 2 varijacije za naslov kao i dvije varijacije za sliku.
Dakle, prema formuli, postoje ukupno 4 kombinacije varijacija koje se istodobno moraju testirati kako bi se pronašla najbolja kombinacija varijacija.
- Glavni cilj izvođenja multivarijantnog testiranja je mjerenje i utvrđivanje učinkovitosti svake kombinacije varijacija na konačnom sustavu.
- Nakon finaliziranja kombinacija varijacija, započinje testiranje kako bi se utvrdilo najuspješniji dizajn kada web mjesto primi dovoljno prometa.
- Rezultati dobiveni svakom kombinacijom varijacija uspoređuju se s drugima kako bi se utvrdilo koji je dizajn najprikladniji za postizanje krajnjeg cilja (u većini slučajeva to je Prodajni ).
- Ove statistike daju jasnu sliku je li određena promjena bila korisna ili ne.
- Također se može analizirati pozitivan ili negativan utjecaj na interakciju korisnika
Cijeli ovaj postupak kontinuiranog multivarijantnog testiranja, poboljšanje dizajna na temelju dobivenih rezultata i postizanje poslovnih ciljeva zbog toga ( Primjer: duže vrijeme angažmana za korisnika na određenoj stranici) Optimizacija odredišne stranice - čiji je cilj privući više korisnika i zadržati ih angažiranim na određenoj stranici.
Ovaj postupak uglavnom uključuje ispitivanje s više varijacija, prikupljanje statistika i uvođenje promjena na temelju dobivenih vrijednosti / rezultata.
Ne samo da je ograničeno na web stranice, već je za mobilne aplikacije potrebno i viševarijantno testiranje. Web stranice i mobilne aplikacije sastoje se od kombinacija varijabilnih elemenata pa se stoga provodi multivarijacijsko testiranje kako bi se utvrdilo koja kombinacija varijacija najbolje djeluje.
To igra presudnu ulogu u strategiji internetskog marketinga.
Vrste MVT ispitivanja:
Na temelju raspodjele prometa na više inačica varijacija, postoje višestruko vrste multivarijatnog ispitivanja koji se mogu izvesti:
a) Potpuno faktorsko ispitivanje:
To je najpoželjniji oblik MVT testiranja u kojem se svaka moguća kombinacija varijacija elemenata testira jednako preusmjeravanjem prometa na web mjestu dok se ne pronađe pobjednik. Sve moguće kombinacije imaju jednaku vjerojatnost. Najbolja stvar kod ove metode je što ne postoje pretpostavke i temelji se na tvrdim brojevima / statistikama što je čini vrlo pouzdanom i najpreporučljivijom.
Jedina mana je promet. S povećanjem broja različitih kombinacija, potrebno je puno prometa na web mjestu da bi se analizirali podaci i odlučilo pobjednik.
b) Djelomično ili djelomično faktorsko ispitivanje:
Kako naziv ukazuje, samo je dio svih inačica kombinacija varijacija izložen prometu na web mjestu. Za ostatak kombinacija rade se statički matematički izračuni kako bi se pronašla najbolja stopa pretvorbe.
Taguchi metoda je najpopularnija metoda frakcijskog faktorskog multivarijantnog ispitivanja. Ova metoda daje manje precizan rezultat jer se ispituje samo uzorak varijacija, a ne sve. Iako ovoj metodi treba manje vremena za analizu pobjednika, rezultat se nikada ne može smatrati točnim kao što je to slučaj u slučaju testiranja s punim faktorima.
c) Adaptivno viševarijantno ispitivanje:
Ovo je novi pristup multivarijatnom testiranju. U ovom se slučaju analizira odgovor posjetitelja na web stranici u stvarnom vremenu kako bi se utvrdila najbolja verzija kombinacije varijacija.
d) Diskretni izbor:
Ova metoda otkriva efekte interakcije, recimo kako ljudi stvaraju kompromise iz perspektive odluke o kupnji. To je složena tehnika koja sustavno mijenja atribute ili elemente sadržaja.
e) Optimalan dizajn:
Ova metoda uključuje ponavljanje i val testiranja. Uz testiranje maksimalnog broja varijacija kreativnog oglasa u minimalnom vremenu, marketinškim stručnjacima omogućuje i razmatranje odnosa, interakcija i ograničenja u elementima sadržaja web stranice ili aplikacije. To pomaže u pronalaženju optimalnog rješenja.
Prijeđimo dalje na važno pitanje: Može li se web marketing optimizirati viševarijantnim testiranjem?
Odgovor je odlučno 'Da'.
Korištenjem multivarijantnog testiranja možemo jasno odrediti što treba primijeniti, a što izbjegavati. Sve je usmjereno na iskustvo posjetitelja.
Sljedeći aspekti uzimaju se u obzir prilikom provođenja multivarijatnog ispitivanja:
# 1. Preduvjet za multivarijatno testiranje je: Definirajte marketinške ciljeve ili ispitajte ciljeve za web stranicu. U nastavku slijedi nekoliko primjera:
- Ostvarite maksimalan prihod / dobit oglašavanjem, prodajom proizvoda, plaćanjem klikova.
- Stvorite svijest o brandu u klijenteli
- Uštedite na troškovima - npr.: Vodite korisnike do samoposluživanja putem često postavljanih pitanja, umjesto putem interneta, u osobnoj usluzi.
#dva. Treba testirati samo one stvari koje istinski ciljaju marketinške ciljeve organizacije.
# 3. Odaberite samo one elemente koji će točno mjeriti marketinške ciljeve.
Primjeri bi mogli biti:
- Da biste zaradili više novca, stranice koje uključuju opcije poput 'Kupi odmah' / 'plaćanje' / tokovi za dovršetak registracije ili registracije trebaju biti usmjerene na.
- Da biste osvijestili posjetitelje i promociju, 'pošalji prijatelju' / 'preporuči prijatelja' / 'podijeli' itd. Može vam dobro doći
- Radi uštede fokus bi mogao biti na elementima poput često postavljanih pitanja, pomoći, kontakta, poziva, klikova ‘Dodaj u košaricu’ koji vode do stranica zahvale itd.
Kako se vrši viševarijantno testiranje
1. Utvrdite problem
Prvi korak je identificiranje problema. To vam daje opseg poboljšanja za vašu web lokaciju ili aplikaciju. Na primjer, problem može biti bilo kakav poput zašto posjetitelji web stranice ne klikću na gumb za preuzimanje.
2. Formulirajte hipotezu
Postavite hipotezu za poboljšanje web stranice. Primjerice, hipoteza može biti da kupci ne klikaju gumb za preuzimanje jer njegova vidljivost nije privlačna. Dakle, čineći ga privlačnim, povećalo bi se preuzimanje.
3. Stvorite varijacije
Odaberite čimbenike i stvorite varijacije. Pretpostavimo da su dva čimbenika naslov 'Preuzmi' i veza 'Proizvođač PDF-a'. Kao primjer imamo ispod 12 varijacija:
4. Odredite veličinu uzorka
Otkrijte koliko je posjetitelja potrebno na svakoj stranici, koliko vam treba vremena za pokretanje testa, koliko varijacija imate i statističku značajnost.
5. Testirajte svoj alat
Testirajte sve (uglavnom radi li vaša web stranica / aplikacija u redu) prije nego što započnete s izvođenjem testa, tako da ništa ne otrova rezultate testa.
6. Počnite voziti promet
Počnite usmjeravati promet prema svojim varijacijama.
7. Analizirajte svoje rezultate
Nakon značajnog vremena provođenja testa, dobivate rezultate za analizu. Primjer je prikazan u nastavku:
Oni koji imaju 95% ili više stupnja pouzdanosti statistički su značajni rezultati.
8. Učite iz svojih rezultata
Ovo je posljednji i važan korak. Iz testa multivarijacije saznajete o svojim web stranicama / aplikaciji i njezinim posjetiteljima. Ovo učenje možete koristiti za buduće testove.
css3 pitanja i odgovori na intervju pdf
Riječ opreza - Pri izvođenju multivarijatnog testiranja čuvajte se sljedećih stvari:
Pogreške koje treba izbjegavati
- Nepravilan izbor varijanti . Jer npr. pretpostavimo da istovremeno mijenjamo veličinu fonta, boju i stil teksta naslova u jednoj verziji kombinacije varijacije. Tada će iz primljenih podataka biti teško analizirati zbog koje je varijacije naslova (bez obzira na veličinu fonta, boju ili stil) posjetitelj drugačije reagirao.
- Prekratak raspon probnog rada Multivariate . Rano okončanje probnog rada i odabir malog raspona podataka za analizu pobjednika može dovesti do nevaljanih statistika.
- Predugo raspon probnog rada Multivarijate. Predugo izvođenje testa za analizu rubnih podataka također dovodi do velikog gubljenja vremena
- Pogrešno razumijevanje ključnih pokazatelja. Fokusiranje, analiza i praćenje varijabilne kombinacije onih pokazatelja koji su beznačajni ili nisu povezani sa krajnjim ciljem
- Samo nekoliko ključnih pokazatelja uspješnosti su identificirani dok se mnogi drugi ne prate
- Odlučivanje o vrsti prometa posjetitelja na web stranici. To može biti vrlo rizično i problematično jer nisu svi posjetitelji isti.
- Ne analiziranje rezultata i uvođenjem ispravnih promjena na web mjestu.
Do’s i Don'ts
Sa gornjeg popisa sažetak što se smije i ne smije može biti:
Ne treba:
Ne pokušavajte uključiti puno varijabli u test. Što je veći broj varijabli koje treba testirati; veće će biti kombinacije, što zauzvrat znači da je za prikupljanje značajnih statistika potrebno više prometa.
Do:
1. Pregledajte sve inačice kombinacija varijacija prije početka probnog rada, jer bi neki od njih mogli biti nespojivi ili nelogični. Na primjer, jedna od varijabilnih kombinacija Naslova govori '50% popusta na pretplatu' i gumba za isključivanje 'Besplatna pretplata'. Takve treba ukloniti.
2. Odlučite o utjecaju verzija kombinacija na stopu pretvorbe. Uključivanje samo onih kombinacija koje imaju veći utjecaj na stopu konverzije dobra je ideja.
3. Procijenite promet na web stranici kako biste prikupili značajne statističke podatke. Prije početka probnog rada bolje je imati jasnu predodžbu o prometu na web stranici. Ako web stranica dnevno ima samo 100-200 posjetitelja, trebali bismo razmotriti nekoliko varijabli samo za izvršavanje testa multivarijacije.
Za i protiv
Do sada smo vidjeli što je multivarijacijsko testiranje, kako se to radi, pogreške, čimbenici, čine li i ne čine itd. Pogledajmo sada neke Pros i Protiv od toga:
Pros:
- Bolji uvid i razumijevanje učinka varijabli ili elemenata na stopu pretvorbe Više prometa dovodi do više statističkih podataka što zauzvrat dovodi do bolje analize i donošenja odluka u smislu najbolje kombinacije varijabli za postizanje krajnjeg cilja.
- Što se tiče promjena dizajna i izgleda, viševarijantno testiranje je fleksibilno.
Protiv:
- Za viševarijantne probne vožnje treba više vremena.
- Za dobivanje značajnih statistika potrebno je puno prometa na web stranicama.
- Složenije postaviti probne vožnje.
- Zahtijeva veći broj verzija varijabilnih kombinacija za probno pokretanje.
A / B ispitivanje
Budući da je to kratki popis svih stvari Multivarijantnog testiranja, raznolikosti testova koji se mogu obaviti za optimizaciju web stranica nema kraja, a druga popularna dostupna metoda je A / B testiranje .
Što je A / B testiranje?
[ slika izvor]
A / B testiranje je ponekad poznato i kao Split testiranje . Međutim, podijeljeno testiranje je drugačije. Razliku između njih vidjet ćemo u kasnijem dijelu ovog vodiča.
U A / B testiranju, dvije verzije iste web stranice stavljaju se na test s jednakom količinom prometa na web stranici. Verzija koja postigne maksimalan broj konverzija konačni je pobjednik. Ova nova verzija definitivno povećava stopu pretvorbe.
Primjer A / B split ispitivanja:
Razumijemo rad A / B testiranja s malim primjerom :
Gornja slika web stranice je za svijest o sigurnosti.
Ova se slika sastoji od sivog gumba na kojem stoji ' Sudjelujte u kvizu i osvojite uzbudljive nagrade '. Ova se izvorna web stranica smatra' Verzijom '. Sada je ‘B verzija’ dizajnirana s varijacijom boje gumba od sive do crvene.
To je prikazano na donjoj slici:
Promet web stranica uživo preusmjeren je na obje verzije. Nakon što je dovoljno posjetitelja pristupilo testu i sa dobivenim statističkim podacima, lako se može utvrditi koja verzija ima veći učinak na stopu konverzije.
Ovdje u gornjem primjeru, gumb koji kaže ' Sudjelujte u kvizu i osvojite uzbudljive nagrade ”U crvenoj boji privuklo je više posjetitelja da pritisnu tipku i pristupe kvizu od starijeg sivog gumba.
Tako je postignut krajnji cilj web stranice da poveća veći prihod.
Pros i Protiv A / B testova:
Pros:
- Jednostavna i jednostavna metoda za postavljanje eksperimenata za optimizaciju web stranica.
- Pouzdani i točni rezultati mogu se lako odrediti čak i uz mali promet na web stranici.
- Ispitivanja se mogu izvršiti vrlo brzo i statistički podaci mogu se analizirati kako bi se postigao konačni cilj.
- Ne ovisi puno o bilo kojem obliku tehnologije.
- Prikladnije za promjene u izgledu, sadržaju i dizajnu bilo koje web stranice.
Protiv:
- Odjednom se na web stranici može izvršiti samo nekoliko ili recimo ograničeni broj promjena.
- Nije moguće utvrditi utjecaj različitih varijabli prisutnih na web stranici jedni na druge.
Usporedna tablica:
A / B testiranje nasuprot multivarijantnog testiranja naspram split testiranja
A / B testiranje, multivarijantno testiranje i split testiranje tri su glavne vrste UX (User experience) varijanti testiranja. Da vidimo kako se međusobno razlikuju.
A / B ispitivanje | Multivarijantno ispitivanje |
---|---|
Promet web stranica podijeljen je na dvije ili više potpuno različitih verzija web stranice. | Određuje se nekoliko ključnih varijabli i vrši se njihova kombinacija za stvaranje verzija. |
Relativno manje prometa potrebno je za A / B split testiranje. | Više varijantna metoda ispitivanja zahtijeva ogroman promet. |
Testira samo jednu varijablu kako bi se vidio učinak promjene. | Zajedno testira više varijabli kako bi se vidio kombinirani učinak promjene |
A / B metoda ispitivanja najprikladnija je za redizajn web stranice s različitim idejama što dovodi do povećane stope konverzije. | Multivarijacijsko testiranje optimizira postojeću web stranicu bez puno rada ili redizajniranja. |
Sljedeće dvije slike daju vam vrlo dobru ilustrativnu usporedbu A / B testiranja i multivarijantnog testiranja.
Multivarijantno ispitivanje
Split testiranje:
Ovdje imamo još jednu varijantu koja je poznata kao testiranje podijeljenog URL-a, a koja je puno složenija od A / B testiranja i uključuje promjene na strani poslužitelja , gdje imamo dvije različite web stranice koje su testirane jedna protiv druge. Ova vrsta testiranja dobro funkcionira za odredišne stranice u slučajevima kada dizajnerski tim treba odlučiti koja će raditi bolje.
A / B / Split / Alati za višestruko ispitivanje
Na tržištu je dostupno puno alata za ove tri vrste UX testiranja. Ovdje bih imenovao nekoliko najboljih koje možete istražiti. To su Google Optimize, Optimizely, VMO, Qubit, Maxymiser i AB Tasty.
Zaključak :
Obje metode, A / B i Multivariate testiranje povećavaju stopu pretvorbe, poboljšavaju performanse i optimiziraju web stranice i aplikacije. Obje su korisne na svoj način, a dolaze i sa svojim jedinstvenim nedostacima i izazovima - na nama je da identificiramo i analiziramo koja će metoda najbolje odgovarati zahtjevima.
besplatne anime emisije za gledanje na mreži
Mi, testeri, uglavnom smo uključeni u testiranje promjena izvršenih za primjenu Multivariate ili A / B testova. Jednom kada se ove promjene naprave i testiraju, marketinški ili poslovni tim može ih pokrenuti u proizvodnom okruženju radi prikupljanja rezultata.
Dakle, vrlo je važno da testeri vrlo pažljivo testiraju ove promjene, inače bi konačni rezultati bili netočni, što bi rezultiralo velikim poslovnim gubicima, jer je to većinu vremena izravno povezano s poslovnim prihodima.
Preporučena literatura
- Najbolji alati za testiranje softvera 2021. [Alati za automatizaciju ispitivanja kvalitete]
- Preuzimanje e-knjige za testiranje primera
- Statičko ispitivanje i dinamičko ispitivanje - razlika između ove dvije važne tehnike ispitivanja
- Ispitivanje opterećenja pomoću HP LoadRunner vodiča
- Razlika između testiranja radne površine, klijentskog poslužitelja i web testiranja
- Što je gama testiranje? Završna faza ispitivanja
- Što je ispitivanje sukladnosti (ispitivanje sukladnosti)?
- Posao za QA pomoćnika za testiranje softvera