Meni

Vodič za ispitivanje skladišta podataka ETL-a (cjelovit vodič)

etl testing data warehouse testing tutorial

Isprobajte Naš Instrument Za Uklanjanje Problema

Proces ETL testiranja / pohrane podataka i izazovi:

Danas ću vam uzeti trenutak i objasniti svoje bratstvo za testiranje o jednoj od vrlo traženih i nadolazećih vještina za moje prijatelje testere, tj. O ETL testiranju (ekstrakt, transformacija i učitavanje).

Ovaj vodič će vam predstaviti cjelovitu ideju o ETL testiranju i onome što radimo za testiranje ETL procesa.

Potpuni vodiči za popis u ovoj seriji:

  • Vodič br. 1 : Uvod u ETL testiranje skladišta podataka za testiranje
  • Vodič br. 2 : ETL testiranje pomoću alata Informatica PowerCenter
  • Vodič br. 3 : ETL naspram DB testiranja
  • Vodič br. 4 : Testiranje poslovne inteligencije (BI): Kako testirati poslovne podatke
  • Vodič br. 5 : 10 najboljih ETL alata za testiranje

Primijećeno je da neovisna provjera i provjera valjanosti dobiva ogroman tržišni potencijal i mnoge tvrtke to sada vide kao potencijalnu poslovnu dobit.

ETL testiranje _ Ispitivanje skladišta podataka - savjeti, tehnike, postupci i izazovi

Kupcima je ponuđena različita paleta proizvoda u smislu ponude usluga, distribuiranih u mnogim područjima na temelju tehnologije, procesa i rješenja. ETL ili skladište podataka jedna je od ponuda koja se brzo i uspješno razvija.

ETL postupak

Kroz ETL postupak, podaci se dohvaćaju iz izvornih sustava, transformiraju prema poslovnim pravilima i konačno učitavaju u ciljni sustav (skladište podataka). Skladište podataka je trgovina na razini cijele tvrtke koja sadrži integrirane podatke koji pomažu u procesu poslovnog odlučivanja. To je dio poslovne inteligencije.

Što ćete naučiti:

Zašto organizacijama treba skladište podataka?

Organizacije s organiziranom IT praksom raduju se stvaranju sljedeće razine transformacije tehnologije. Oni se sada pokušavaju učiniti puno operativnijima pomoću podataka koji su laki za interoperaciju.

Kad smo rekli da su podaci najvažniji dio svake organizacije, to mogu biti svakodnevni podaci ili povijesni podaci. Podaci su okosnica svakog izvješća, a izvještaji su osnova na kojoj se donose sve ključne upravljačke odluke.

Većina tvrtki čini korak naprijed za izgradnju svog skladišta podataka za pohranu i nadzor podataka u stvarnom vremenu, kao i povijesnih podataka. Izraditi učinkovito skladište podataka nije lak posao. Mnoge su organizacije distribuirale odjele s različitim aplikacijama koje rade na distribuiranoj tehnologiji.

ETL alat koristi se kako bi se izvršila besprijekorna integracija između različitih izvora podataka iz različitih odjela. ETL alat će raditi kao integrator, izvlačeći podatke iz različitih izvora; pretvarajući ga u preferirani format temeljen na pravilima poslovne transformacije i učitavajući u kohezivni DB poznati Data Warehouse.

Dobro planiran, dobro definiran i učinkovit opseg ispitivanja jamči glatku pretvorbu projekta do produkcije. Tvrtka dobiva stvarnu uzgon nakon što ETL procese provjeri i potvrdi neovisna skupina stručnjaka kako bi se osiguralo da je skladište podataka konkretno i robusno.

Ispitivanje ETL-a ili skladišta podataka kategorizirano je u četiri različita angažmana bez obzira na tehnologiju ili ETL alate koji se koriste:

  • Testiranje novog skladišta podataka - Novi DW izrađen je i provjeren od nule. Unos podataka uzima se iz zahtjeva kupaca i različitih izvora podataka, a novo skladište podataka gradi se i provjerava uz pomoć ETL alata.
  • Ispitivanje migracije - U ovoj vrsti projekta kupac će imati postojeći DW i ETL koji obavljaju posao, ali žele spremiti novi alat kako bi poboljšali učinkovitost.
  • Zahtjev za promjenu - U ovoj vrsti projekta novi podaci dodaju se iz različitih izvora u postojeći DW. Također, možda postoji uvjet kada kupac treba promijeniti svoje postojeće poslovno pravilo ili može integrirati novo pravilo.
  • Izvještaj o testiranju - Izvještaj je krajnji rezultat bilo kojeg skladišta podataka i osnovni prijedlog za koji DW gradi. Izvješće se mora testirati provjerom valjanosti izgleda, podataka u izvješću i izračuna.

ETL postupak

( Bilješka : Kliknite na sliku za uvećani prikaz)

ETL ispitivanje

ETL tehnike ispitivanja

1) Ispitivanje transformacije podataka : Provjerite jesu li podaci ispravno transformirani u skladu s različitim poslovnim zahtjevima i pravilima.

2) Ispitivanje izvora do ciljanog broja : Provjerite podudara li se broj zapisa učitanih u cilju s očekivanim brojanjem.

3) Ispitivanje ciljanih podataka : Provjerite jesu li svi projicirani podaci učitani u skladište podataka bez gubitka i skraćivanja podataka.

4) Ispitivanje kvalitete podataka : Pazite da aplikacija ETL na odgovarajući način odbije, zamijeni zadanim vrijednostima i prijavi nevaljane podatke.

5) Ispitivanje performansi : Provjerite jesu li podaci učitani u skladište podataka u propisanim i očekivanim vremenskim okvirima kako biste potvrdili poboljšanu izvedbu i skalabilnost.

kako mogu otvoriti apk datoteku

6) Ispitivanje valjanosti proizvodnje: Potvrdite podatke u proizvodnom sustavu i usporedite ih s izvornim podacima.

7) Ispitivanje integracije podataka : Provjerite jesu li podaci iz različitih izvora pravilno učitani u ciljni sustav i provjerene su sve vrijednosti praga.

8) Testiranje migracije aplikacije : U ovom testiranju osigurava se da ETL aplikacija dobro funkcionira na premještanju na novi okvir ili platformu.

9) Provjera podataka i ograničenja : U ovom se slučaju ispituju tip podataka, duljina, indeks, ograničenja itd.

10) Provjera dvostrukih podataka : Testirajte postoje li duplicirani podaci u ciljnim sustavima. Dvostruki podaci mogu dovesti do pogrešnih analitičkih izvješća.

Osim gore navedenih ETL metoda ispitivanja, provode se i druge metode ispitivanja poput testiranja integracije sustava, testiranja prihvaćanja korisnika, inkrementalnog testiranja, regresijskog ispitivanja, ponovnog testiranja i navigacijskog testiranja kako bi se osiguralo da je sve u redu i pouzdano.

ETL / Skladište podataka Postupak ispitivanja

Slično bilo kojem drugom ispitivanju koje se nalazi pod Neovisnom provjerom i provjerom valjanosti, ETL također prolazi kroz istu fazu.

  • Razumijevanje zahtjeva
  • Provjera valjanosti
  • Procjena ispitivanja na temelju niza tablica, složenosti pravila, volumena podataka i izvedbe posla.
  • Planiranje ispitivanja na temelju podataka iz procjene testa i poslovnih zahtjeva. Ovdje moramo utvrditi što je u opsegu, a što izvan opsega. Također u ovoj fazi pripazimo na ovisnosti, rizike i planove ublažavanja.
  • Dizajniranje test slučajeva i testirajte scenarije sa svih dostupnih ulaza. Također trebamo dizajnirati mapiranje dokumenata i SQL skripti.
  • Nakon što su svi ispitni slučajevi spremni i odobreni, ispitni tim nastavlja s izvršavanjem provjere prije izvršenja i priprema podataka o ispitivanju za ispitivanje
  • Na kraju, izvršenje se izvodi dok se ne zadovolje izlazni kriteriji. Dakle, faza izvršenja uključuje pokretanje ETL poslova, praćenje izvođenja poslova, izvršavanje SQL skripte, bilježenje kvara, ponovno testiranje kvara i testiranje regresije.
  • Nakon uspješnog završetka priprema se sažeti izvještaj i završava postupak zatvaranja. U ovoj fazi daje se znak za unapređenje posla ili šifre u sljedeću fazu.

Prve dvije faze, tj. Razumijevanje zahtjeva i provjera valjanosti mogu se smatrati prethodnim koracima procesa ispitivanja ETL-a.

Dakle, glavni postupak može se predstaviti na sljedeći način:

glavni proces

Potrebno je definirati strategiju ispitivanja koju bi dionici trebali međusobno prihvatiti prije početka stvarnog testiranja. Dobro definirana strategija ispitivanja pobrinut će se da se slijedi ispravan pristup u skladu sa težnjom testiranja.

Testiranje ETL-a / skladišta podataka može zahtijevati opsežno pisanje SQL izjava od strane tima za testiranje ili možda prilagođavanje SQL-a koji nudi razvojni tim. U svakom slučaju, tim za testiranje mora biti svjestan rezultata koje pokušava dobiti pomoću tih SQL izraza.

Razlika između testiranja baze podataka i skladišta podataka

Popularno je nesporazum da testiranje baze podataka i Skladište podataka je sličan dok je činjenica da oboje imaju različit smjer u ispitivanju.

  • Testiranje baze podataka vrši se pomoću manjeg opsega podataka obično s OLTP (internetska obrada transakcija) vrstama baza podataka, dok se testiranje skladišta podataka vrši s velikim brojem podataka koji uključuju OLAP (mrežna analitička obrada) baza podataka.
  • U testiranju baze podataka obično se podaci dosljedno ubrizgavaju iz jedinstvenih izvora, dok u testiranju skladišta podataka većina podataka dolazi iz različitih vrsta izvora podataka koji su uzastopno nedosljedni.
  • Uobičajeno izvodimo jedinu operaciju CRUD (Izrada, čitanje, ažuriranje i brisanje) u testiranju baze podataka, dok u testiranju skladišta podataka koristimo operaciju samo za čitanje (Select).
  • Normalizirane baze podataka koriste se u DB testiranju, dok se demoralizirane DB koriste u testiranju skladišta podataka.

Postoji niz univerzalnih provjera koje se moraju provesti za bilo koju vrstu testiranja skladišta podataka.

Ispod je popis objekata koji se u ovom testiranju tretiraju kao bitni za provjeru valjanosti:

  • Provjerite radi li pretvorba podataka iz izvora u odredište kako se očekuje
  • Provjerite jesu li očekivani podaci dodani u ciljni sustav
  • Provjerite jesu li sva DB polja i podaci o poljima učitani bez skraćivanja
  • Provjerite kontrolnu sumu podataka za podudaranje broja zapisa
  • Provjerite generiraju li se ispravni dnevnici pogrešaka za odbačene podatke sa svim pojedinostima
  • Provjerite NULL polja vrijednosti
  • Provjerite da duplicirani podaci nisu učitani
  • Provjerite cjelovitost podataka

=> Upoznajte razlika između testiranja ETL-a / skladišta podataka i testiranja baze podataka .

Izazovi ispitivanja ETL-a

Ovo se ispitivanje prilično razlikuje od uobičajenog ispitivanja. Mnogo je izazova s ​​kojima smo se suočili tijekom testiranja skladišta podataka.

Evo nekoliko izazova koje sam doživio na svom projektu:

  • Nespojivi i duplicirani podaci
  • Gubitak podataka tijekom ETL procesa
  • Nedostupnost inkluzivnog ispitnog prostora
  • Ispitivači nemaju privilegiju samostalno izvršavati ETL poslove
  • Količina i složenost podataka vrlo su velike
  • Greška u poslovnom procesu i postupcima
  • Problemi s dobivanjem i izgradnjom podataka o ispitivanju
  • Nestabilno okruženje za testiranje
  • Nedostaju informacije o tijeku poslovanja

Podaci su važni za tvrtke da donose ključne poslovne odluke. ETL testiranje igra značajnu ulogu u potvrđivanju i osiguravanju točnosti, dosljednosti i pouzdanosti poslovnih podataka. Također, smanjuje opasnost od gubitka podataka u proizvodnji.

Nadamo se da će vam ovi savjeti pomoći da vaš ETL postupak bude točan, a da je izgradnja skladišta podataka ovo konkurentska prednost za vaše poslovanje.

Cjelovit popis vodiča za ispitivanje ETL-a:

  • Vodič br. 1 : Uvod u ETL testiranje skladišta podataka za testiranje
  • Vodič br. 2 : ETL testiranje pomoću alata Informatica PowerCenter
  • Vodič br. 3 : ETL naspram DB testiranja
  • Vodič br. 4 : Testiranje poslovne inteligencije (BI): Kako testirati poslovne podatke
  • Vodič br. 5 : 10 najboljih ETL alata za testiranje

Ovo je gost Vishala Chhaperije koji radi u MNC-u u ulozi upravljanja testovima. Ima veliko iskustvo u upravljanju multi-tehnološkim QA projektima, procesima i timovima.

Jeste li radili na ETL testiranju? U nastavku podijelite svoje ETL / DW savjete i izazove za testiranje.

Preporučena literatura

^