Meni

Vodič za ispitivanje skladišta podataka sa primjerima | Vodič za ispitivanje ETL-a

  • Glavni
  • Ostalo
  • Vodič za ispitivanje skladišta podataka sa primjerima | Vodič za ispitivanje ETL-a

data warehouse testing tutorial with examples etl testing guide

Isprobajte Naš Instrument Za Uklanjanje Problema

Ovaj vodič detaljno pokriva ciljeve i značaj testiranja skladišta podataka, odgovornosti za testiranje ETL-a, pogreške u implementaciji DW-a i ETL-a:

U ovome Serija obuka za dubinsko skladište podataka , pogledali smo Što je ET L postupak u skladištu podataka u pojedinosti u našem prethodnom vodiču.

Ovaj vodič će vam dati razumijevanje kako se testiranje skladišta podataka može provesti u organizaciji. Također ćete se upoznati s ciljevima DW testiranja, kako i kakvo testiranje se može izvesti na pozadini, tko je sve uključen u taj proces, DW pogreške i ETL razmještanje u detalje.

=> Ovdje provjerite SVE upute za skladištenje podataka.

ETL testiranje skladišta podataka

Ciljana publika

  • Programeri i ispitivači skladišta podataka / ETL.
  • Stručnjaci za baze podataka s osnovnim znanjem o konceptima baza podataka.
  • Administratori baze podataka / stručnjaci za velike podatke koji žele razumjeti koncepte Skladišta podataka / ETL.
  • Fakulteti / studenti koji traže posao u skladištu podataka.

Što ćete naučiti:

Ispitivanje skladišta podataka (ETL)

Kakav je značaj testiranja skladišta podataka i sustava poslovne inteligencije?

Testiranje igra presudnu ulogu u uspjehu bilo kojeg od gore navedena dva sustava, osiguravajući točnost podataka koji grade vjeru krajnjih korisnika.

Općenito, kvar pronađen u kasnijim fazama životnog ciklusa razvoja softvera košta više da bi se popravio taj nedostatak. Ova se situacija u DW-u može pogoršati jer su se pogrešni podaci pronađeni u kasnijim fazama do tada mogli koristiti u važnim poslovnim odlukama.

Stoga je popravak DW-a skuplji u smislu procesa, ljudi i tehnoloških promjena. DW testiranje možete započeti već u fazi prikupljanja zahtjeva.

Priprema se i pregledava matrica sljedivosti zahtjeva, koja uglavnom mapira značajke DW-a s njihovim poslovnim zahtjevima. Matrica sljedivosti djeluje kao ulaz u plan ispitivanja DW koji izrađuju ispitivači. Plan ispitivanja opisuje ispitivanja koja treba provesti za provjeru valjanosti DW sustava.

Također opisuje vrste ispitivanja koja će se provoditi na sustavu. Nakon što je testni plan spreman, svi detaljni testni slučajevi bit će pripremljeni za različite scenarije DW-a. Tada će se izvršiti svi testni slučajevi i evidentirati nedostaci.

U operativnom svijetu postoji standard koji održava različita okruženja za razvoj, ispitivanje i proizvodnju. U DW svijetu, programeri i ispitivači pobrinut će se da razvojna i testna okruženja budu dostupna s replikama proizvodnih podataka prije početka rada.

Ovo se kopira za popis tablica s ograničenim ili potpunim podacima, ovisno o potrebama projekta, jer su proizvodni podaci stvarno veliki. Programeri razvijaju svoj kôd u okruženju programera i dostavljaju ga testerima.

Ispitivači će testirati kod isporučen u testnim okruženjima kako bi osigurali rade li svi sustavi. Tada će kôd biti aktivan u proizvodnim okruženjima. DW kod se također održava u različitim verzijama na temelju nedostataka utvrđenih u svakom izdanju. Održavanje više okruženja i verzija koda pomaže u izgradnji kvalitetnog sustava.

razlika između b stabla i b stabla

Ciljevi ispitivanja skladišta podataka (ETL)

Pogledajmo ciljeve ispitivanja skladišta podataka.

# 1) Kompletnost podataka: Provjerite jesu li svi podaci iz različitih izvora učitani u skladište podataka. Ispitni tim provjerava jesu li svi DW zapisi učitani u odnosu na izvornu bazu podataka i ravne datoteke slijedeći dolje opisane strategije.

  • Ukupan broj zapisa učitanih iz izvornog sustava trebao bi odgovarati ukupnom broju zapisa učitanih u DW. Ako postoji razlika, onda možete razmisliti o odbijenim zapisima.
  • Usporedite podatke učitane u svako polje DW s poljima podataka izvornog sustava. Ovo će otkriti pogreške u podacima ako ih ima.

# 2) Transformacija podataka: Tijekom prijenosa izvornih podataka u skladište podataka, malo se polja može izravno učitati s izvornim podacima, ali malo će se polja učitati s podacima koji se transformiraju prema poslovnoj logici. Ovo je složeni dio ispitivanja DW (ETL).

Ispod su primjeri strategija za testiranje:

  • Možete testirati stvaranjem i usporedbom podataka u proračunskim tablicama. Učitajte izvorne transformirane podatke i DW podatke u proračunske tablice i napravite usporedbu. Ne bi trebalo biti neusklađenosti.
  • Ispitivači bi trebali pisati upite prema logici transformacije kako bi usporedili DW podatke s izvornim podacima. Izvršenje upita jamčit će da provjera valjanosti podataka za bilo koje polje ne nedostaje.

# 3) Kvaliteta podataka: Sustav skladišta podataka (ETL) mora osigurati kvalitetu podataka učitanih u njega odbijanjem (ili) ispravljanjem podataka.

DW može odbiti nekoliko podataka izvornog sustava na temelju logike poslovnih zahtjeva. Na primjer, odbiti zapis ako određeno polje ima ne-numeričke podatke. Svi odbijeni zapisi učitavaju se u tablicu odbijanja radi reference.

Odbijeni podaci prijavljuju se klijentima jer nema šanse da se upoznaju s tim propuštenim podacima, jer se neće učitati u DW sustav. DW može ispravno podatke učitavanjem nule na mjesto nultih vrijednosti itd.

# 4) Skalabilnost i izvedba: Skladište podataka mora osigurati skalabilnost sustava s povećanim opterećenjima. Uz to, ne bi trebalo doći do pogoršanja izvedbe tijekom izvršavanja upita, s očekivanim rezultatima u određenim vremenskim okvirima. Tako ispitivanje performansi otkriva sve probleme i rješava ih prije proizvodnje.

Ispod su primjeri strategija za ispitivanje performansi i skalabilnosti:

  • Izvršite testiranje izvedbe učitavanjem proizvodnih količina podataka i osigurajte da vremenski okviri nisu propušteni.
  • Provjerite izvedbu svakog upita skupnim podacima. Testirajte izvedbu pomoću jednostavnih i višestrukih spajanja.
  • Učitajte dvostruko (ili) trostruko na količine podataka za koje se očekuje da približno izračunaju kapacitet sustava.
  • Testirajte izvođenjem poslova za sva navedena izvješća istovremeno.

# 5) Integracijsko testiranje: Skladište podataka trebalo bi provesti integracijsko testiranje s ostalim uzvodnim i nizvodnim aplikacijama. Ako je moguće, bolje je kopirati proizvodne podatke u testno okruženje za integracijsko testiranje.

Svi timovi sustava trebali bi biti uključeni u ovu fazu kako bi premostili praznine uz razumijevanje i testiranje svih sustava zajedno.

# 6) Jedinstveno testiranje: To izvode pojedini programeri na svojim rezultatima. Programeri će pripremiti scenarije jediničnog testiranja na temelju njihovog razumijevanja zahtjeva, pokrenuti će unit testove i dokumentirati rezultate. To pomaže programerima da isprave bilo koje programske pogreške ako ih pronađu, prije nego što predaju kod testnom timu.

# 7) Ispitivanje regresije: Potvrđuje da DW sustav ne radi ispravno nakon uklanjanja bilo kakvih nedostataka. To se izvodi mnogo puta sa svakom novom promjenom koda.

# 8) Ispitivanje prihvaćanja korisnika: Ovo testiranje provode poslovni korisnici kako bi provjerili funkcionalnost sustava. UAT okruženje razlikuje se od QA okruženja. Odjava s UAT-a podrazumijeva da smo spremni premjestiti kôd u proizvodnju.

koji je najbolji youtube za mp3

Iz perspektive Skladišta podataka i sustava poslovne inteligencije, poslovni korisnici mogu provjeriti valjanost različitih izvješća putem korisničkog sučelja (UI). Mogu provjeriti valjanost specifikacija izvješća prema zahtjevima, mogu provjeriti ispravnost podataka u izvješćima, mogu provjeriti koliko brzo sustav vraća rezultate itd.

DW dijagram toka ispitivanja:

Dijagram toka ispitivanja skladišta podataka

Odgovornosti za testiranje skladišta podataka

U nastavku su navedeni različiti timovi koji sudjeluju u isporuci uspješnog DW sustava:

  • Poslovni analitičari: Prikupite sve poslovne zahtjeve za sustav i dokumentirajte one koji odgovaraju svima.
  • Infrastrukturni tim: Postavite različita okruženja kako je potrebno i za programere i za testere.
  • Programeri: Razviti ETL kôd prema zahtjevima i izvesti jedinična ispitivanja.
  • QA (osiguranje kvalitete) / testeri: Razviti plan ispitivanja, test slučajeve itd. Utvrđivanjem nedostataka u sustavu izvršavanjem test slučajeva. Izvršite različite razine testiranja.
  • DBA: DBA-i preuzimaju pretvorbu logičnih scenarija ETL baze podataka u fizičke scenarije ETL baze podataka i također uključuju testiranje performansi.
  • Poslovni korisnici: Uključite se u testiranje prihvaćanja korisnika, pokrenite upite i izvješća na DW tablicama.

Pogreške u skladištu podataka

Kada vadite, transformirate i učitavate podatke (ETL) iz više izvora, postoji vjerojatnost da ćete dobiti loše podatke koji mogu prekinuti dugotrajne poslove.

Slijede ključni uzroci kvara u DW sustavu:

# 1) Kršenje poslovnih pravila (logičke pogreške): Logično pogrešni podaci krše poslovna pravila. Takvi se podaci mogu uglavnom rukovati tijekom faza transformacije ili učitavanja.

# 2) Kršenje pravila podataka (pogreške u podacima): Pogreške u podacima javljaju se unutar sustava baze podataka DW poput neusklađenosti tipova podataka, neuspjeha ograničenja podataka itd.

Uvođenje ETL-a

Ovo je faza u kojoj svi vaši napori idu uživo. Treba pripremiti sve dokumente za potporu proizvodnji.

Dokumentacija će drugima reći o slijedu izvršenih poslova, scenarijima oporavka od neuspjeha, materijalima za obuku timovima za podršku DW-a za nadgledanje sustava nakon implementacije i administrativnom timu za podršku za izvršavanje izvješća.

Zaključak

O ciljevima testiranja skladišta podataka, odgovornostima ispitivanja ETL-a, pogreškama u DW-u i implementaciji ETL-a detaljno smo saznali u ovom vodiču.

Nadamo se da ste dobili ideju o tome kako se detaljno testiranje može obaviti u sustavu skladišta podataka (ETL).

=> Posjetite ovdje kako biste od nule naučili skladištenje podataka.

Preporučena literatura

^