Osnove skladištenja podataka: konačni vodič s primjerima

data warehousing fundamentals

Saznajte sve o osnovama skladištenja podataka. Ovaj detaljni vodič objašnjava što je skladištenje podataka zajedno s njegovim vrstama, karakteristikama, zaslugama i nedostacima:

Skladište podataka najnoviji je trend pohrane u današnjoj IT industriji.

Ovaj će vodič objasniti što je skladište podataka? Zašto je skladištenje podataka presudno? Vrste aplikacija Skladišta podataka, Karakteristike Skladišta podataka, Prednosti i nedostaci skladištenja podataka.

što je shockwave flash datoteka

Popis vodiča o skladištenju podataka u ovoj seriji:

Vodič br. 1: Osnove skladištenja podataka
Vodič br. 2: Što je ETL postupak u skladištu podataka?
Vodič br. 3: Ispitivanje skladišta podataka
Vodič br. 4: Dimenzionalni model podataka u skladištu podataka
Vodič br. 5: Vrste shema u modeliranju skladišta podataka
Vodič br. 6: Data Mart Vodič
Vodič br. 7: Metapodaci u ETL-u

Pregled tutorijala u ovoj seriji skladištenja podataka

Što ćete naučiti:

• Osnove skladištenja podataka: cjelovit vodič
  • Što je skladištenje podataka?
  • Zašto je skladištenje podataka presudno?
  • Vrste aplikacija skladišta podataka
    • # 1) Obrada informacija
    • # 2) Analitička obrada
    • # 3) Rudarstvo podataka
  • Karakteristike skladišta podataka
  • Prednosti skladišta podataka
  • Nedostaci skladištenja podataka
• Zaključak
  • Preporučena literatura

Osnove skladištenja podataka: cjelovit vodič

Ciljana publika

• Programeri i ispitivači skladišta podataka / ETL-a.
• Stručnjaci za baze podataka s osnovnim znanjem koncepata baza podataka.
• Administratori baze podataka / stručnjaci za velike podatke koji žele razumjeti koncepte skladištenja podataka.
• Fakulteti / studenti koji traže posao u skladištu podataka.

Što je skladištenje podataka?

Skladište podataka (DW) spremište je ogromne količine organiziranih podataka. Ovi se podaci objedinjuju iz jednog ili više različitih izvora podataka. DW je relacijska baza podataka koja je uglavnom dizajnirana za analitičko izvještavanje i pravovremeno donošenje odluka u organizacijama.

Podaci u tu svrhu izolirani su i optimizirani od izvornih podataka o transakcijama, što neće imati utjecaja na glavno poslovanje. Ako organizacija uvede bilo kakvu poslovnu promjenu, tada se DW koristi za ispitivanje učinaka te promjene, a time se i DW koristi za praćenje postupka donošenja odluka.

Skladište podataka uglavnom je sustav samo za čitanje jer su operativni podaci u velikoj mjeri odvojeni od DW-a. To pruža okruženje za dohvaćanje najveće količine podataka uz dobro pisanje upita.

Stoga će DW djelovati kao pozadinski pokretač alata za poslovnu inteligenciju koji prikazuje izvješća, nadzorne ploče za poslovne korisnike. DW se intenzivno koristi u bankarskom, financijskom, maloprodajnom sektoru itd.

Zašto je skladištenje podataka presudno?

U nastavku su navedeni neki od razloga zbog kojih je Skladište podataka presudno.

1. Skladište podataka prikuplja sve operativne podatke iz nekoliko heterogenih izvora „različitih formata“ i kroz postupak izdvajanja, transformiranja i učitavanja (ETL) učitava podatke u DW u „standardiziranom dimenzionalnom formatu“ u cijeloj organizaciji.
2. Skladište podataka održava i „trenutne podatke i povijesne podatke“ za analitičko izvještavanje i donošenje odluka na temelju činjenica.
3. Pomaže organizacijama da donesu 'pametnije i brže odluke' o smanjenju troškova i povećanju prihoda, uspoređujući tromjesečna i godišnja izvješća kako bi poboljšale svoju izvedbu.

Vrste aplikacija skladišta podataka

Business Intelligence (BI) grana je skladištenja podataka dizajnirana za donošenje odluka. Jednom kada se podaci u DW učitaju, BI igra glavnu ulogu analizirajući podatke i prezentirajući ih poslovnim korisnicima.

Izraz 'aplikacije za skladište podataka' praktički podrazumijeva u koliko se različitih vrsta podataka može obrađivati ​​i koristiti.

Imamo tri vrste DW aplikacija kao što je spomenuto u nastavku.

1. Obrada informacija
2. Analitička obrada
3. Rudarstvo podataka koje služi u svrhu BI-a

# 1) Obrada informacija

Ovo je vrsta aplikacije u kojoj skladište podataka omogućuje izravan jedan-jedan kontakt s podacima koji su u njemu pohranjeni.

Kako se podaci mogu obrađivati ​​pisanjem izravnih upita na podatke (ili) s osnovnom statističkom analizom podataka, a krajnji rezultati bit će prijavljeni poslovnim korisnicima u obliku izvješća, tablica, grafikona ili grafikona.

DW podržava sljedeće alate za obradu informacija:

(i) Alati za upite: Poslovni (ili) analitičar pokreće upite pomoću alata za upite za istraživanje podataka i generiranje rezultata u obliku izvještaja ili grafika prema poslovnom zahtjevu.

(ii) Alati za izvještavanje: Ako poduzeće želi vidjeti rezultate u bilo kojem definiranom formatu i na rasporedu, tj. Dnevno, tjedno ili mjesečno, tada će se koristiti alati za izvještavanje. Takve se izvještaje mogu spremiti i pregledati u bilo kojem trenutku.

(iii) Alati za statistiku: Ako poduzeće želi napraviti analizu širokog prikaza podataka, tada će se za izradu takvih rezultata koristiti statistički alati. Poduzeća mogu donositi zaključke i predviđanja razumijevanjem ovih strateških rezultata.

# 2) Analitička obrada

Ovo je vrsta aplikacije u kojoj skladište podataka omogućuje analitičku obradu podataka pohranjenih u njemu. Podaci se mogu analizirati slijedećim operacijama kao što su 'Narezanje i kockanje', 'Bušenje prema dolje', 'Zamotavanje' i 'okretanje'.

(i) Narežite kockice : Skladište podataka omogućuje operacije rezanja i kockanja za analizu podataka kojima se pristupa s više razina u kombinaciji različitih perspektiva. Operacija narezivanja i kockanja interno koristi mehanizam za bušenje. Rezanje radi na dimenzionalnim podacima.

Kao dio poslovnog zahtjeva, ako se usredotočimo na jedno područje, tada rezanje analizira dimenzije tog određenog područja prema zahtjevima i daje rezultate. Radovi na kockanju na analitičkim operacijama. Kockanje zumira određeni skup atributa u svim dimenzijama kako bi se osigurale različite perspektive. Dimenzije se uzimaju u obzir iz jedne ili više uzastopnih kriški.

(ii) Izbušiti : Ako poduzeće želi prijeći na detaljniju razinu bilo kojeg broja sažetka, tada je detaljna obrada operacija za pomicanje tog sažetka na manje detaljne razine. To daje sjajnu predodžbu o tome što se događa i gdje posao mora biti bliže usredotočen.

Analizirajte tragove s razine hijerarhije do manje razine detalja za analizu osnovnog uzroka. To se lako može razumjeti na primjeru jer se može dogoditi smanjenje prodaje Razina države -> razina regije -> razina države -> razina okruga -> razina trgovine.

(iii) Smotajte : Zamotavanje radi suprotno od postupka bušenja. Ako poduzeće želi sažete podatke, tada se pojavljuje roll up. Prikuplja podatke na razini detalja pomicanjem prema dimenzijskoj hijerarhiji.
Zbirni pregledi koriste se za analizu razvoja i izvedbe sustava.

To se može razumjeti pomoću Primjer kao u prodajnom zamotavanju odakle se mogu saviti ukupni iznosi Razina grada -> Na državnoj razini -> Razina regije -> Razina zemlje .

(iv) Pivot : Pivotiranje analizira podatke o dimenzijama rotiranjem podataka na kockama. Na primjer, dimenzija retka može se zamijeniti u dimenziju stupca i obrnuto.

# 3) Rudarstvo podataka

Ovo je vrsta aplikacije u kojoj skladište podataka omogućuje otkrivanje podataka, a rezultati će biti predstavljeni alatima za vizualizaciju. U gornje dvije vrste aplikacija podatke mogu pokretati korisnici.

vr slušalice za računalo i ps4

Kako podataka ima mnogo u raznim tvrtkama, teško je upitati i analizirati skladište podataka kako biste dobili sve moguće uvide u podatke. Tada dolazi do iskopavanja podataka kako bi se postiglo otkriće znanja.

To ulazi u podatke sa svim prošlim asocijacijama, rezultatima itd. I predviđa budućnost. Stoga se ovo temelji na podacima, a ne na korisniku. Podaci se mogu otkriti pronalaženjem skrivenih obrazaca, asocijacija, klasifikacija i predviđanja.

Istraživanje podataka ide u dubinu s podacima kako bi se predvidjela budućnost. Na temelju predviđanja, ona također predlaže radnje koje treba poduzeti.

Dolje su navedene razne aktivnosti Data Mininga:

• Obrasci: Istraživanje podataka otkriva obrasce koji se javljaju u bazi podataka. Korisnici mogu pružiti poslovne inpute na kojima se očekuje neko znanje o obrascima za donošenje odluka.
• Udruge / odnosi: Istraživanje podataka otkriva veze između objekata s učestalošću pravila pridruživanja. Ovaj odnos može biti između dva ili više objekata (ili) može otkriti pravila unutar svojstava istog objekta.
• Klasifikacija: Data mining organizira podatke u skupu unaprijed definiranih klasa. Dakle, ako se bilo koji objekt preuzme iz podataka, klasifikacija pridružuje odgovarajuću oznaku klase tom objektu.
• Predviđanje: Data mining uspoređuje skup postojećih vrijednosti kako bi se pronašle najbolje moguće buduće vrijednosti / trendovi u poslovanju.

Stoga, na temelju svih gore navedenih rezultata, Data mining također predlaže skup radnji koje treba poduzeti.

Karakteristike skladišta podataka

Skladište podataka izgrađeno je na temelju sljedećih karakteristika podataka kao Subjektno orijentirana, Integrirana, Trajna i Vremenska varijanta.

# 1) Predmetno orijentirano: Skladište podataka možemo definirati kao predmetno orijentirano jer možemo analizirati podatke s obzirom na određeno predmetno područje, a ne primjenom mudrih podataka. To daje rezultate koji su više definirani za lako donošenje odluka. S obzirom na obrazovni sustav, predmetna područja mogu biti učenici, predmeti, ocjene, učitelji itd.

# 2) Integrirano: Podaci u skladištu podataka integrirani su iz različitih izvora kao što su druge relacijske baze podataka, ravne datoteke itd. Takva velika količina podataka dohvaća se za učinkovitu analizu podataka. No, može doći do sukoba podataka, jer različiti izvori podataka mogu biti u različitim formatima. Skladište podataka donosi sve ove podatke u dosljednom formatu kroz cijeli sustav.

# 3) Nehlapljivi: Kad se podaci učitaju u skladište podataka, ne mogu se mijenjati. Logično je to prihvatljivo jer česta promjena podataka neće vam omogućiti analizu podataka. Česte promjene u operativnoj bazi podataka mogu se učitati u skladište podataka po rasporedu, tijekom tog postupka dodaju se novi podaci, međutim, raniji podaci se ne brišu i ostaju kao povijesni podaci.

# 4) Vremenska varijanta: Svi povijesni podaci zajedno s nedavnim podacima u skladištu podataka igraju presudnu ulogu za dohvaćanje podataka bilo kojeg trajanja. Ako poduzeće želi izvješća, grafikone itd., Za usporedbu s prethodnim godinama i analizu trendova potrebni su svi stari podaci stari 6 mjeseci, 1-godišnji ili čak stariji podaci itd.

Prednosti skladišta podataka

Kad je sustav skladišta podataka produktivan, organizacija koristi sljedeće koristi:

1. Poboljšana poslovna inteligencija
2. Povećane performanse sustava i upita
3. Poslovna inteligencija iz više izvora
4. Pravovremeni pristup podacima
5. Poboljšana kvaliteta podataka i dosljednost
6. Povijesna inteligencija
7. Visok povrat ulaganja

# 1) Poboljšana poslovna inteligencija: Ranijih dana kada nije bilo skladištenja podataka i poslovne inteligencije, poslovni korisnici i analitičari donosili su odluke s ograničenom količinom podataka i s vlastitim osjećajima.

DW & BI su unijeli promjenu davanjem uvida u stvarne činjenice i podatke o stvarnoj organizaciji koji se prikupljaju tijekom određenog vremenskog razdoblja. Poslovni korisnici mogu izravno ispitivati ​​bilo koji podatak o poslovnim procesima kao što su marketing, financije, prodaja itd., Na temelju svojih potreba za strateškim odlukama i pametnim poslovnim odlukama.

# 2) Povećana izvedba sustava i upita: Skladištenje podataka prikuplja glomazne informacije iz heterogenih sustava i smješta ih pod jedan sustav tako da se jedan mehanizam upita može koristiti za brzo pronalaženje podataka.

# 3) Poslovna inteligencija iz više izvora: Znate li kako Business Intelligence općenito radi na podacima? Apsorbira podatke iz više sustava, podsustava, platformi i izvora podataka za rad na projektu. Međutim, Data warehouse ovaj problem rješava za BI objedinjavanjem svih projektnih podataka bez duplikata.

# 4) Pravovremeni pristup podacima: Poslovni će korisnici profitirati trošenjem manje vremena na pronalaženje podataka. Oni imaju pri ruci neke alate pomoću kojih mogu tražiti podatke s minimalnim tehničkim znanjem i generirati izvješća. To čini da poslovni korisnici troše dovoljno vremena na analizu podataka, a ne na prikupljanje podataka.

# 5) Poboljšana kvaliteta i dosljednost podataka: Skladištenje podataka transformira podatke s različitim formatima izvornih sustava u jedan format. Stoga, možda iste poslovne jedinice koje dovode podatke do skladišta podataka mogu ponovno upotrijebiti DW spremište za svoja poslovna izvješća i upite.

Stoga će, s gledišta organizacije, sve poslovne jedinice ostati u pripravnosti s dosljednim rezultatima / izvješćima. Stoga ovi kvalitetni i dosljedni podaci pomažu u uspješnom poslovanju.

koja je razlika između testa i strategije ispitivanja

# 6) Povijesna inteligencija: Skladište podataka održava sve povijesne podatke koje ne održava nijedan transakcijski sustav. Ova velika količina podataka koristi se za analizu podataka za određeno vremensko trajanje i izvještavanje o njima te za analiziranje trendova za predviđanje budućnosti.

# 7) Visok povrat ulaganja (ROI): Svatko započinje posao očekujući dobar povrat ulaganja, u smislu veće dobiti i manjih troškova. U stvarnom svijetu podataka mnoga su istraživanja dokazala da je implementacija skladišta podataka i sustava Business Intelligence generirala velike prihode i uštedjela troškove.

Do sada biste trebali moći razumjeti kako dobro dizajnirani DW sustav dodaje prednosti vašem poslovanju.

Nedostaci skladištenja podataka

Iako je to vrlo uspješan sustav, dobro je znati neke zamke u sustavu:

• Stvaranje skladišta podataka definitivno je dugotrajan i složen proces.
• Troškovi održavanja su teški jer sustav treba kontinuirane nadogradnje. Također se može povećati ako se ne koristi pravilno.
• Programerima, ispitivačima i korisnicima treba pružiti odgovarajuću obuku kako bi razumjeli DW sustav i tehnički ga primijenili.
• Možda postoje osjetljivi podaci koji se ne mogu učitati u DW za donošenje odluka.
• Restrukturiranje bilo kojih poslovnih procesa (ili) izvornih sustava ima glavni učinak na DW.

Zaključak

Nadamo se da je ovaj uvodni vodič pružio pozadinu osnova skladištenja podataka. Detaljno smo pogledali sve temeljne koncepte skladištenja podataka.

Definiciju, vrste, karakteristike, prednosti i nedostatke skladištenja podataka naučili smo u ovom opsežnom vodiču.

=> Pročitajte seriju obuke za jednostavno skladištenje podataka.

Preporučena literatura

• Primjeri rudarenja podataka: Najčešća primjena rudarstva podataka 2021
• Kako funkcionira testiranje na temelju podataka (primjeri QTP-a i selena)
• Rudarstvo podataka: proces, tehnike i glavni problemi u analizi podataka
• Vodič za ispitivanje skladišta podataka ETL-a (cjelovit vodič)
• Najbolji BESPLATNI vodiči za C #: Krajnji vodič za C # za početnike
• Vodič za računalno umrežavanje: Krajnji vodič
• QTP vodič # 18 - Pokrenuti podacima i hibridni okviri objašnjeni s primjerima QTP-a
• 10+ najboljih alata za prikupljanje podataka sa strategijama prikupljanja podataka