ETL naspram DB testiranja - detaljniji pogled na potrebe ETL testiranja, planiranje i ETL alate

etl vs db testing closer look etl testing need

Testiranje softvera ima razna područja koja treba koncentrirati. Glavne sorte su funkcionalna i nefunkcionalna ispitivanja. Funkcionalno testiranje je proceduralni način da se osigura da razvijena funkcionalnost radi kako se očekivalo. Nefunkcionalno ispitivanje pristup je kojim se mogu osigurati nefunkcionalni aspekti poput poboljšanih ili izvedbe na prihvatljivoj razini.

Postoji još jedan okus testiranja koji se zove DB testiranje . Podaci su u bazi podataka organizirani u obliku tablica. Za posao mogu postojati tokovi gdje podaci iz više tablica mogu se spojiti ili obraditi u jednu tablicu i obrnuto.

ETL ispitivanje je još jedna vrsta testiranja koja je poželjna u poslovnom slučaju kada klijenti traže neku vrstu izvješćivanja. Izvještavanje se traži kako bi se analizirali zahtjevi, potrebe i ponuda kako bi klijenti, poduzeća i krajnji korisnici bili vrlo dobro usluženi i imali koristi.

Što ćete naučiti u ovom vodiču?

U ovom vodiču naučit ćete što je testiranje baze podataka, što je ETL testiranje, razlika između DB testiranja i ETL testiranja te više detalja o ETL testiranju, procesu i planiranju sa stvarnim primjerima.

Također smo detaljnije obradili ETL testiranje na donjoj stranici. Također, pogledajte ga.

=> ETL testiranje / testiranje skladišta podataka Savjeti i tehnike

Što ćete naučiti:

• DB testiranje naspram ETL testiranja
  • Usporedna studija ETL i DB ispitivanja
  • Zašto bi posao trebao ići za ETL-om?
  • Planiranje ETL ispitivanja
  • Kritične ETL potrebe
  • Osnovna pitanja u ETL ispitivanju
  • Bodovi koje treba zapamtiti tijekom planiranja i izvršavanja ETL testova
  • ETL alati i njihova značajna upotreba
  • Zaključak
  • Preporučena literatura

DB testiranje naspram ETL testiranja

Većina nas je pomalo zbunjena s obzirom da su i testiranje baze podataka i ETL testiranje slični i isti. Činjenica je da su slični, ali ne i isti.

DB testiranje:

DB testiranje obično se intenzivno koristi u poslovnim tokovima gdje se u aplikaciji javlja više protoka podataka iz više izvora podataka u jednu tablicu. Izvor podataka može biti tablica, ravna datoteka, aplikacija ili bilo što drugo što može dati neke izlazne podatke.

Zauzvrat, dobiveni izlazni podaci i dalje se mogu koristiti kao ulaz za sekvencijalni tijek poslovanja. Stoga, kada provodimo DB testiranje, najvažnija stvar koju treba uhvatiti je način na koji se podaci mogu transformirati iz izvora, zajedno s načinom na koji se spremaju na odredišno mjesto.

Sinkronizacija je jedna glavna i bitna stvar koju treba uzeti u obzir prilikom izvođenja DB testiranja. Zbog pozicioniranja aplikacije u arhitektonskom tijeku, moglo bi biti malo problema s sinkronizacijom podataka ili DB-a. Stoga tijekom izvođenja ispitivanja treba voditi računa o tome jer se time može prevladati potencijal nevaljani nedostaci ili bube.

Primjer # 1:

Projekt 'A' ima integriranu arhitekturu u kojoj određena aplikacija koristi podatke iz nekoliko drugih heterogenih izvora podataka. Stoga se mora izvršiti integritet ovih podataka s odredišnim mjestom, zajedno s provjerama za sljedeće:

• Primarna provjera inozemnog ključa
• Stupac vrednuje integritet
• Null vrijednosti za bilo koji stupac

Što je ETL testiranje?

ETL testiranje posebna je vrsta testiranja koju klijent želi učiniti za svoje predviđanje i analizu svog poslovanja. To se uglavnom koristi za potrebe izvještavanja. Na primjer, ako klijenti trebaju izvijestiti o kupcima koji koriste ili se odluče za njihov proizvod na temelju dana kupnje, moraju se koristiti ETL izvješćima.

Objavi analiza i izvještavanje , ovaj podatak je pohranjeni podaci u skladište podataka u koje se moraju premjestiti stari povijesni poslovni podaci.

Ovo je ispitivanje na više razina jer se podaci iz izvora transformiraju u više okruženja prije nego što dođu na konačno određeno mjesto.

Primjer # 2:

loadrunner intervju pitanja i odgovori za iskusne

Razmotrit ćemo skupinu 'A' koja posluje s maloprodajnim kupcima putem tržnice na kojoj kupac može kupiti sve kućanske potrepštine potrebne za svakodnevno preživljavanje. Ovdje svi kupci koji posjećuju imaju jedinstveni ID članstva pomoću kojeg mogu osvojiti bodove svaki put kad dođu kupiti stvari s tržnice.

Propisi koje je donijela grupa kažu da osvojeni bodovi istječu svake godine. A ovisno o njihovoj upotrebi, članstvo se može ili nadograditi u člana višeg razreda ili smanjiti u člana nižeg razreda usporedno s trenutnim razredom.

Nakon 5 godina uspostavljanja tržnog tržišta, uprava sada želi proširiti svoje poslovanje zajedno s prihodima.

Stoga im je bilo potrebno malo poslovnih izvještaja kako bi mogli promovirati svoje kupce.

U testiranju baze podataka izvodimo sljedeće:

# 1) Provjere valjanosti na ciljnim tablicama koje su stvorene sa stupcima s logičkim izračunima kako je opisano u listu logičkog mapiranja i dokumentu usmjeravanja podataka.

#dva) Manipulacije poput umetanja, ažuriranja i brisanja korisničkih podataka mogu se izvoditi na bilo kojoj POS aplikaciji krajnjeg korisnika u integriranom sustavu, zajedno sa pozadinskom bazom podataka, tako da se iste promjene odražavaju na krajnjem sustavu.

# 3) DB testiranje mora osigurati da nema korisničkih podataka koji su pogrešno protumačeni ili čak skraćeni. To bi moglo dovesti do ozbiljnih problema poput netočnog mapiranja podataka kupaca s njihovom lojalnošću

U ETL testiranju provjeravamo sljedeće:

# 1) Pod pretpostavkom da u izvoru ima 100 kupaca, provjerit ćete jesu li svi ti kupci, zajedno s njihovim podacima iz 100 redaka, premješteni iz izvornog sustava u cilj. Ovo je poznato kao provjera Provjera cjelovitosti podataka.

#dva) Provjera jesu li podaci kupaca pravilno obrađeni i prikazani u 100 redaka. To se jednostavno naziva provjera Provjera točnosti podataka .

# 3) Izvješća za kupce koji su u određenom razdoblju osvojili bodove veće od x vrijednosti.

Usporedna studija ETL i DB ispitivanja

Ispitivanje ETL-a i DB-a ima nekoliko aspekata koji se u sebi razlikuju, a važnije je razumjeti ih prije izvođenja. To nam pomaže u razumijevanju vrijednosti i značaja testiranja i načina na koji pomaže poslu.

Slijedi tablični obrazac koji opisuje osnovno ponašanje oba formata testiranja.

Zašto bi posao trebao ići za ETL-om?

Dostupno im je puno poslovnih potreba da razmotre ETL testiranje. Svaka tvrtka mora imati svoju jedinstvenu misiju i poslovnu liniju. Sva poduzeća imaju svoj životni ciklus proizvoda koji ima generički oblik:

Jasno je da bilo koji novi proizvod na tržište ulazi sa strahovitim rastom prodaje i do faze zvane zrelost, a nakon toga prodaja opada. Ova postupna promjena svjedoči definitivnom padu poslovnog rasta. Stoga je važnije analizirati potrebe kupaca za poslovnim rastom i ostale čimbenike potrebne da bi organizacija postala profitabilnija.

U stvarnosti, klijenti žele analizirati povijesne podatke i strateški osmisliti neka izvješća.

Planiranje ETL ispitivanja

Jedan od glavnih koraka u ETL testiranju odnosi se na planiranje testa koji će se izvršiti. Bit će slično kao Plan ispitivanja za ispitivanje sustava koji se obično izvodi, osim nekoliko atributa poput zahtjeva i test slučajeva.

Ovdje zahtjevi nisu ništa drugo do a kartografski list koji će imati svojevrsno mapiranje između podataka u različitim bazama podataka. Budući da smo svjesni da se ispitivanje ETL-a odvija na više razina, za provjeru valjanosti postoje različita mapiranja.

Podaci u većini slučajeva iz izvornih baza podataka nisu izravno. Svi izvorni podaci imat će prikaz tablica odakle se podaci mogu koristiti.

Primjer: Slijedi primjer kako se mogu pružiti preslikavanja. Dva stupca VIEW_NAME i TABLE_NAME mogu se koristiti za predstavljanje pogleda za čitanje podataka iz izvora i tablice u ETL okruženju.

Preporučljivo je održavati konvenciju imenovanja koja nam može pomoći tijekom planiranja automatizacije. Generička notacija koja se može koristiti samo je prefiks naziva okoline.

kako popraviti nedefiniranu referencu u c ++ - u

Najvažnija stvar u ETL-u je identificiranje osnovnih podataka i tablica iz izvora. Sljedeći je važan korak mapiranje tablica iz izvora u ETL okruženje.

Slijedi primjer kako mapiranje između tablica iz različitih okruženja može biti povezano s ETL svrhom.

Gornje mapiranje pretpostavlja podatke iz izvorne tablice u stupnjevanje tablice. I od tada pa nadalje do tablica u EDW-u pa do OLAP što je konačno izvještajno okruženje. Stoga je u bilo kojem trenutku sinkronizacija podataka vrlo važna zbog ETL-a.

Kritične ETL potrebe

Kao što razumijemo, ETL je potreba za predviđanjem, izvještavanjem i analizom poslovanja kako bi se uzastopnije uhvatile potrebe kupaca. To će poslu omogućiti veće zahtjeve nego u prošlosti.

Evo nekoliko kritičnih potreba bez kojih se ETL testiranje ne može postići:

1. Identifikacija podataka i tablica : Ovo je važno jer može postojati mnogo drugih nebitnih i nepotrebnih podataka koji mogu biti od najmanje važnosti prilikom predviđanja i analize potreba kupaca. Stoga relevantni podaci i tablice moraju biti odabrani prije pokretanja ETL-ovih radova.
2. Kartografski list : Ovo je jedna od kritičnih potreba tijekom izvođenja ETL-ovih radova. Mapiranje prave tablice od izvora do odredišta obvezno je i svi problemi ili netočni podaci na ovom listu mogu utjecati na cjelokupnu isporuku ETL-a.
3. Dizajn tablice i podaci, vrsta stupca : Ovo je sljedeći glavni korak pri razmatranju preslikavanja izvornih tablica u suđene tablice. Vrsta stupca mora odgovarati tablicama na oba mjesta itd.
4. Pristup bazi podataka : Glavna stvar je pristup bazi podataka u kojoj se odvija ETL. Sva ograničenja pristupa imat će jednak utjecaj.

ETL izvještavanje i testiranje

Izvješćivanje u ETL-u je važnije jer objašnjava i usmjerava klijente koji su potrebni kupcu. Na taj način mogu predvidjeti i analizirati točne potrebe kupaca

Primjer # 3:

Tvrtka koja proizvodi svilenu tkaninu željela je analizirati njihovu godišnju prodaju. Pregledom njihove godišnje prodaje otkrili su da je tijekom kolovoza i rujna došlo do strahovitog pada prodaje korištenjem izvješća koje su generirali.

Stoga su odlučili izbaciti promotivnu ponudu poput razmjene, popusta itd., Koja je poboljšala njihovu prodaju.

Osnovna pitanja u ETL ispitivanju

Tijekom izvođenja ETL ispitivanja može doći do brojnih problema, poput sljedećih:

• Pristup izvornim tablicama ili pogledi neće biti valjani.
• Naziv stupca i vrsta podataka od izvora do sljedećeg sloja možda se neće podudarati.
• Broj zapisa iz izvorne tablice u namijenjenu tablicu možda se neće podudarati.

A moglo bi biti i puno više.

Slijedi uzorak lista za mapiranje na kojem su prisutni stupci poput VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE i TRANSFORMATION LOGIC.

Prva 3 stupca predstavljaju detalje izvorne baze podataka, a sljedeća 3 su detalji za neposrednu prethodnu bazu podataka. Posljednja kolona je vrlo važna. Logika transformacije način je na koji se podaci iz izvora čitaju i pohranjuju u određenu bazu podataka. To ovisi o poslovanju i ETL potrebama.

ispisati niz obrnutim redoslijedom java

Bodovi koje treba zapamtiti tijekom planiranja i izvršavanja ETL testova

Najvažnija stvar u ETL testiranju je učitavanje podataka na temelju kriterija izvlačenja iz izvornog DB-a. Kada je ovaj kriterij nevaljan ili zastario, u tablici neće biti podataka za provođenje ETL ispitivanja koji doista donose više problema.

Slijedi nekoliko točaka koje treba voditi računa prilikom planiranja i izvršavanja ETL testa:

# 1) Podaci se izdvajaju iz heterogenih izvora podataka
#dva) Rukovanje ETL procesima u integriranom okruženju koje imaju različite:

• DBMS
• VAS
• Hardver
• Komunikacijski protokoli

# 3) Nužnost posjedovanja logičkog lista za mapiranje podataka prije nego što se fizički podaci mogu transformirati
# 4) Razumijevanje i ispitivanje izvora podataka
# 5) Početno i inkrementalno opterećenje
# 6) Revizijski stupci
# 7) Učitavanje činjenica i dimenzija

ETL alati i njihova značajna upotreba

ETL alati se u osnovi koriste za izgradnju i pretvaranje datoteke logika transformacije uzimajući podatke iz izvora u drugu primjenjujući logiku transformacije. Također možete mapirati sheme od izvora do odredišta što se događa na jedinstvene načine, transformirati i očistiti podatke prije nego što se premjeste na odredište, zajedno s učinkovitim učitavanjem na odredištu.

To može značajno smanjiti ručne napore jer se može izvršiti mapiranje koje se koristi za gotovo sve provjere i provjere ETL-a.

ETL alati :

1. Informatika - PowerCenter - jedan je od popularnih ETL alata koji je uvela korporacija Informatica. Ovo ima vrlo dobru bazu kupaca koja pokriva široka područja. Glavne komponente alata su njegovi alati za klijente te alati spremišta i poslužitelji. Da biste saznali više o alatu, kliknite ovdje
2. IBM - Informacijski poslužitelj Infosfere - IBM koji je tržišni lider u smislu računalne tehnologije razvio je Infosphere Information server koji se koristi za integraciju i upravljanje informacijama 2008. godine. Da biste saznali više o alatu, kliknite ovdje
3. Oracle - integrator podataka - Oracle Corporation razvila je svoj ETL alat u ime Oracle - Data Integrator. Njihova sve veća korisnička podrška natjerala ih je da ažuriraju svoje ETL alate u raznim verzijama. Da biste saznali više o alatu, kliknite ovdje

Još primjera upotrebe ETL testiranja:

Uzimajući u obzir neke zrakoplovne tvrtke koje žele pokrenuti promocije i ponude kako bi strateški privukle kupce. Prvo će pokušati razumjeti zahtjeve i potrebe specifikacija kupca. Da bi to postigli, bit će im potrebni povijesni podaci, po mogućnosti podaci iz prethodne 2 godine. Koristeći podatke, oni će analizirati i pripremiti izvješća koja će biti korisna za razumijevanje potreba kupaca.

Izvještaji mogu biti sljedeće vrste:

1. Kupci iz regije A koji putuju u regiju B određenim datumima
2. Kupci s određenim dobnim kriterijem putuju u grad XX

A može biti i mnogo drugih izvještaja.

Analiza ovih izvješća pomoći će klijentima u prepoznavanju vrsta promocija i ponuda koje će koristiti kupcima, a istovremeno mogu poslužiti tvrtkama u kojima to može postati win-win situacija. To se lako može postići ETL testiranjem i izvješćima.

Paralelno s tim, IT segment suočava se s ozbiljnim problemom s DB-om koji je primijećen i koji je zaustavio više usluga, zauzvrat, može imati utjecaja na poslovanje. Tijekom istrage utvrđeno je da su neki nevaljani podaci oštetili nekoliko baza podataka koje je trebalo ručno ispraviti.

U prvom će slučaju biti potrebna ETL izvješća i ispitivanja.

Dok je potonji slučaj gdje DB testiranje treba provesti pravilno kako bi se prevladali problemi s nevaljanim podacima.

Zaključak

Nadamo se da je gornji vodič pružio jednostavan i jasan pregled onoga što je ETL testiranje i zašto se to mora raditi zajedno s poslovnim utjecajima ili koristima koje oni donose. Ovo se ovdje ne zaustavlja, ali se može proširiti i na predviđanje rasta poslovanja.

O autoru: Ovaj je vodič napisao Nagarajan. Voditelj je testa s više od 6 godina iskustva u testiranju softvera u raznim funkcionalnim područjima kao što su bankarstvo, zrakoplovne tvrtke i telekom, u pogledu ručnog i automatiziranja.

Javite nam svoje misli / pitanja u komentarima u nastavku.

Preporučena literatura

• Pitanja i odgovori za ispitivanje ETL-a
• Vodič za ispitivanje skladišta podataka ETL-a (cjelovit vodič)
• Top 10 ETL alata za testiranje 2021. godine
• Kako izvesti ETL testiranje pomoću alata Informatica PowerCenter
• 31 Najpopularnija ispitivanja baza podataka Intervju pitanja i odgovori
• 40+ najboljih alata za testiranje baza podataka - popularna rješenja za testiranje podataka
• Kompletan vodič za testiranje baze podataka (Zašto, što i kako testirati podatke)
• Ispitivanje baze podataka selena (pomoću WebDriver-a i JDBC API-ja)